Value iteration

$V_{k+1}(s)={\max }_a{\sum }_{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma V_k(s^{\prime })\right]$ Co znamenají jednotlivé symboly:

• $V_k(s)$ = Hodnota stavu v aktuálním kroku $k$.
• $a$ = Akce, kterou můžeme provést (např. “jdi nahoru”).
• $s^{\prime }$ = Nový stav, do kterého se po akci dostaneme.
• $P(s^{\prime }|s,a)$ = Pravděpodobnost přechodu. Svět nemusí být deterministický (např. chcete jít rovně, ale s 10% šancí uklouznete doleva).
• $R(s,a,s^{\prime })$ = Odměna, kterou získáme za tento krok.
• $\gamma$ (Gama) = Diskontní faktor (číslo mezi 0 a 1). Určuje, jak moc si ceníme okamžité odměny oproti odměně ve vzdálené budoucnosti. Běžná hodnota je např. 0.9.