带你从不同角度了解强化学习算法的分类

全文共1804字，预计学习时长5分钟

图源：unsplash

本文将介绍强化学习算法的分类法，从多种不同角度学习几种分类法。话不多说，大家深呼吸，一起来学习RL算法的分类吧！

无模型（Model-Free）VS基于模型（Model-Based）

无模型VS模型分类法 [图源：作者，OpenAISpinning Up再创作]

RL算法的一种分类方法是询问代理是否能访问环境模型。换言之，询问环境会否响应代理的行为。基于这个观点有两个RL算法的分支：无模型和基于模型。

· 模型RL算法根据环境的学习模型来选择最佳策略。

· 无模型RL算法通过代理反复测试选择最佳策略。

两种算法都各有优缺点，如下表所示：

基于价值VS 基于政策

RL算法的另一种分类方法是考虑算法优化了价值函数还是策略。在深入了解之前，我们先了解策略和价值功能。

策略

策略π是从状态s到动作a的映射，其中π（a | s）是在状态s时采取动作a的概率。策略可以是确定的，也可以是随机的。

假设我们在玩剪刀石头布这个非常简单的游戏，两个人通过同时执行三个动作（石头/剪刀/布）中的一个来比输赢。规则很简单：

· 剪刀克布

· 石头克剪刀

· 布克石头

把策略看作是迭代的剪刀石头布

· 确定性策略容易被利用-如果我意识到你出“石头”较多，那么我可以利用这一点，获得更大赢面。

· 统一的随机策略（uniform random policy）最佳—如果你的选择完全随机，那我就不知道该采取什么行动才能取胜。

价值函数

价值函数是根据对未来回报（返回值）的预测来衡量状态良好程度的函数。返回值（Gt）基本等于“折扣”回报的总和（自t时起）。

γ ∈ [0,1]是折扣因数。折扣因数旨在抵扣未来的回报，有以下几个原因：

· 方便数学计算

· 打破状态变化图中的无限循环

· 未来回报的高度不确定性（比如股价变化）

· 未来回报不能立时受益（比如人们更愿意当下享乐而非十年后）

了解了返回值的概念后，接下来定义价值函数的数学形式吧！

价值函数的数学形式有二：

· 状态-动作价值函数（Q值）是t时状态动作组合下的期望返回值：

Q值和价值函数之间的区别是动作优势函数（通常称为A值）：

现在知道了什么是价值函数和动作-状态价值函数。接下来学习有关RL算法另一个分支的更多信息，该分支主要关注算法优化的组件。

价值算法与策略算法[图源：作者，David Silver RL课程再创作]

· 价值RL旨在学习价值/行动-价值函数，以生成最佳策略(即，隐式生成最佳策略)；

· 策略RL旨在使用参数化函数直接学习策略。

· Actor-Critic RL旨在学习价值函数和策略。

下表列出了价值和策略算法的优缺点。

· 价值算法必须选择使动作-状态价值函数最大的动作，如果动作空间非常高维或连续，成本就会很高，而策略算法是通过直接调整策略的参数来运行的，不需要进行最大化计算。

· 如果操作不当 (收敛性质差/不稳定)，价值算法会出现一系列问题，而策略算法更稳定，收敛性质更好，因为它们只对策略梯度进行很少的增量更改。

· 策略算法既可以学习确定性策略，也可以学习随机策略，而价值算法只能学习确定性策略。

· 与价值算法相比，原本的策略算法速度更慢，方差更大。价值算法试图选择使动作-状态价值函数最大化的动作，这将优化策略 (运算更快、方差更小)，策略算法只需几步，并且更新顺畅、稳定，但同时效率较低，有时会导致方差变大。

· 策略算法通常收敛于局部最优而不是全局最优。

策略和非策略算法

还有一种RL算法分类方法是基于策略来源分类。

可以说策略算法是“边做边学”。也就是说该算法试着从π采样的经验中了解策略π。而非策略算法是通过“监视”的方式来工作。换句话说，该算法试图从μ采样的经验中了解策略π。例如，机器人通过观察人类的行为来学习如何操作。