强化学习-学习笔记14 | 策略梯度中的 Baseline

本篇笔记记录学习在 策略学习 中使用 Baseline，这样可以降低方差，让收敛更快。

14. 策略学习中的 Baseline

14.1 Baseline 推导

• 在策略学习中，我们使用策略网络 (pi(a|s;theta)) 控制 agent，

• 状态价值函数

  (V_pi(s)=mathbb{E}_{Asim pi}[Q_pi(s,A)]=sumlimits_{a}pi(a|s;theta)cdot Q_pi(a,s))

• 策略梯度：

  (frac{partial V_pi(s)}{partial theta}=mathbb{E}_{Asimpi}[frac{partial ln pi(A|s;theta)}{partial theta}cdot Q_pi(s,A)])

在策略梯度算法中引入 Baseline 主要是用于减小方差，从而加速收敛

Baseline 可以是任何 独立于 动作 A 的数，记为 b。

Baseline的性质：

• 这个期望是0： (mathbb{E}_{Asimpi}[bcdot frac{partial lnpi(A|s;theta)}{partialtheta}]=0)

  • 因为 b 不依赖 动作 A ，而该式是对 A 求期望，所以可以把 b 提出来，有：(bcdot mathbb{E}_{Asimpi}[frac{partial lnpi(A|s;theta)}{partialtheta}])

  • 而期望 E 这一项可以展开：(bsum_a pi(a|s;theta)cdotfrac{partialln_pi(A|s;theta)}{partialtheta})

    这个性质在策略梯度算法用到的的两种形式有提到过。

  • 用链式法则展开后面的导数项，即: (frac{partialln_pi(A|s;theta)}{partialtheta}={frac{1}{pi(a|s;theta)}cdot frac{partialpi(a|s;theta)}{partialtheta}})

  • 这样整个式子为：(bsum_a pi(a|s;theta)cdot{frac{1}{pi(a|s;theta)}cdot frac{partialpi(a|s;theta)}{partialtheta}}=bcdot sum_afrac{partialpi(a|s;theta)}{partialtheta})

  • 由于连加是对于 a 进行连加，而内部求导是对于 θ 进行求导，所以求和符号可以和导数符号交换位置：

    (bcdot frac{partialsum_api(a|s;theta)}{partialtheta})

    这是数学分析中 级数部分 的内容。

  • 而 (sum_api(a|s;theta)=1)，所以有(bcdot frac{partial 1}{partial theta}=0)

根据上面这个式子的性质，可以向 策略梯度中添加 baseline

• 策略梯度 with baseline：$$frac{partial V_pi(s)}{partial theta}=mathbb{E}{Asimpi}[frac{partial ln pi(A|s;theta)}{partial theta}cdot Qpi(s,A)]- mathbb{E}{Asimpi}[bcdot frac{partial lnpi(A|s;theta)}{partialtheta}] =mathbb{E}{Asimpi}[frac{partial ln pi(A|s;theta)}{partial theta}cdot(Q_pi(s,A)-b)]$$
• 这样引入b对期望 (mathbb{E}) 没有影响，为什么要引入 b 呢？
  • 策略梯度算法中使用的并不是 严格的上述式子，而是它的蒙特卡洛近似；
  • b不影响期望，但是影响蒙特卡洛近似；
  • 如果 b 好，接近 (Q_pi)，那么会让蒙特卡洛近似的方差更小，收敛速度更快。

14.2 策略梯度的蒙特卡洛近似

上面我们得到：(frac{partial V_pi(s_t)}{partial theta}=mathbb{E}_{A_tsimpi}[frac{partial ln pi(A_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,A_t)-b)])

但直接求期望往往很困难，通常用蒙特卡洛近似期望。

• 令 (g(A_t)=[frac{partial ln pi(A_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,A_t)-b)])

• 根据策略函数 (pi) 随机抽样 (a_t) ，计算 (g(a_t))，这就是上面期望的蒙特卡洛近似；(g(a_t)=[frac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,a_t)-b)])

• (g(a_t)) 是对策略梯度的无偏估计；

  因为：(mathbb{E}_{A_tsimpi}[g(A_t)]=frac{partial V_pi(s_t)}{partialtheta})，期望相等。

• (g(a_t)) 是个随机梯度，是对策略梯度 (mathbb{E}_{A_tsimpi}[g(A_t)])的蒙特卡洛近似

• 在实际训练策略网络的时候，用随机梯度上升更新参数θ：(theta leftarrow theta+betacdot g(a_t))

• 策略梯度是 (g(a_t)) 的期望，不论 b 是什么，只要与 A 无关，就都不会影响 (g(A_t)) 的期望。为什么不影响已经在 14.1 中讲过了。

  • 但是 b 会影响 (g(a_t))；
  • 如果 b 选取的很好，很接近 (Q_pi)，那么随机策略梯度(g(a_t))的方差就会小；

14.3 Baseline的选取

介绍两种常用的 baseline。

a. b=0

第一种就是把 baseline 取0，即与之前相同：(frac{partial V_pi(s)}{partial theta}=mathbb{E}_{Asimpi}[frac{partial ln pi(A|s;theta)}{partial theta}cdot Q_pi(s,A)])

b. b= (V_pi)

另一种就是取 b 为 (V_pi)，而 (V_pi) 只依赖于当前状态 (s_t)，所以可以用来作为 b。并且 (V_pi) 很接近 (Q_pi)，可以降低方差加速收敛。

因为 (V_pi(s_t)=mathbb{E}[Q_pi(s_t,A_t)])，作为期望，V 很接近 Q。

14.4 Reinforce with Baseline

把 baseline 用于 Reinforce 算法上。

a. 基本概念

• 折扣回报：(U_t=R_t+gammacdot R_{t+1}+gamma^2cdot R_{t+2}+...)

• 动作价值函数：(Q_pi(s_t,a_t)=mathbb{E}[U_t|s_t,a_t].)

• 状态价值函数：(V_pi(s_t)=mathbb{E}_A[Q_pi(s_t,A)|s_t])

• 应用 baseline 的策略梯度：使用的是上面第二种 baseline：

  (frac{partial V_pi(s_t)}{partial theta}=mathbb{E}_{A_tsimpi}[g(A_t)]=mathbb{E}_{A_tsimpi}[frac{partial ln pi(A_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,A_t)-V_pi(s_t))])

• 对动作进行抽样，用 (g(a_t)) 做蒙特卡洛近似，为无偏估计（因为期望==策略梯度）：(a_tsimpi(cdot|s_t;theta))

  (g(a_t)) 就叫做 随机策略梯度，用随机抽取的动作 对应的值来代替期望，是策略梯度的随即近似；这正是蒙特卡洛方法的应用。

  • (g(a_t)=[frac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,a_t)-b)])

但上述公式中还是有不确定的项:(Q_pi V_pi)，继续近似：

• 用观测到的 (u_t) 近似 (Q_pi)，因为 (Q_pi(s_t,a_t)=mathbb{E}[U_t|s_t,a_t].)这也是一次蒙特卡洛近似。

  这也是 Reinforce 算法的关键。

• 用神经网络-价值网络 (v(s;w)) 近似 (V_pi)；

所以最终近似出来的 策略梯度 是：

[frac{partial V_pi(s_t)}{partial theta}approx g(a_t)approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot(u_t-v(s;w)) ]

当我们知道 策略网络(pi)、折扣回报(u_t) 以及 价值网络(v)，就可以计算这个策略梯度。

我们总计做了3次近似：

1. 用一个抽样动作 (a_t) 带入 (g(a_t)) 来近似期望；

2. 用回报 (u_t) 近似动作价值函数(Q_pi)；

   1、2都是蒙特卡洛近似；

3. 用神经网络近似状态价值函数(V_pi)

   函数近似。

b. 算法过程

我们需要建立一个策略网络和一个价值网络，后者辅助训练前者。

• 策略网络：

• 价值网络：

• 参数共享：

用 Reinforce 算法训练策略网络，用回归方法训练价值网络。

• 在一次训练中 agent 获得轨迹：(s_1,a_1,r_1,s_2,a_2,r_2,...)

• 计算 (u_t=sum_{i=t}^ngamma^{i-t}r^i)

• 更新策略网络

  1. 得到策略梯度：(frac{partial V_pi(s_t)}{partial theta}approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot(u_t-v(s;w)))

  2. 梯度上升，更新参数：(thetaleftarrow theta + betacdotfrac{partiallnpi(a_t|s_t;theta)}{partialtheta}cdot(u_t-v(s_t;w)))

     记 (u_t-v(s_t;w)) 为 (-delta_t)

     (thetaleftarrow theta - betacdotfrac{partiallnpi(a_t|s_t;theta)}{partialtheta}cdot delta_t)

• 更新价值网络

  回顾一下价值网络的目标：(V_pi) 是 (U_t) 的期望，训练价值网络是让v接近期望 (V_pi)

  1. 用观测到的 (u_t) 拟合 v，两者之间的误差记为

     prediction error:(delta_t=v(s_t;w)-u_t)，

  2. 求导得策略梯度: (frac{partial delta^2/2}{partial w}=delta_tcdot frac{partial v(s_t;w)}{partial w})

  3. 梯度下降更新参数：(wleftarrow w-alphacdotdelta_tcdotfrac{partial v(s_t;w)}{partial w})

• 如果轨迹的长度为n，可以对神经网络进行n次更新

14.5 A2C算法

a.基本概念

Advantage Actor Critic. 把 baseline 用于 Actor-Critic 上。

所以需要一个策略网络 actor 和一个价值网络 critic。但与 第四篇笔记AC算法有所不同。

• 策略网络还是 (pi(a|s;theta))，而价值网络是 (v(s;w))，是对(V_pi) 的近似，而不是第四篇笔记中的 (Q_pi)。

  因为 V 不依赖于动作，而 Q 依赖动作和状态，故 近似V 的方法可以引入 baseline。

• A2C 网络结构：

与 14.4 中的结构相同，区别在于训练方法不同。

b. 训练过程

1. 观察到一个 transition((s_t，a_t,r_t,s_{t+1}))

2. 计算 TD target：(y_t=r_t+gammacdot v(s_{t+1};w))

3. 计算 TD error：(delta_t=v(s_t;w)-y_t)

4. 用策略网络梯度更新策略网络θ：(thetaleftarrow theta-betacdotdelta_tcdotfrac{partiallnpi(a_t|s_t;theta)}{partial theta})

   注意！这里的 (delta_t)​ 是前文中的 “(u_t-v(s_t;w)) 为 (-delta_t)”

5. 用TD更新价值网络：(wleftarrow w-alphacdotdelta_tcdotfrac{partial v(s_t;w)}{partial w})

c. 数学推导

A2C的基本过程就在上面，很简洁，下面进行数学推导。

1.价值函数的性质

• (Q_pi)

  • TD算法推导时用到过这个式子：(Q_pi(s_t,a_t)=mathbb{E}_{S_{t+1},A_{t+1}}[R_t+gammacdot Q_pi(S_{t+1},A_{t+1})])

  • 随机性来自 (S_{t+1},A_{t+1})，而对之求期望正好消掉了随机性，可以把对 (A_{t+1}) 的期望放入括号内，(R_t) 与 (A_{t+1}) 无关，则有 定理一：

    (Q_pi(s_t,a_t)= mathbb{E}_{S_{t+1}}[R_t+gammacdot mathbb{E}_{A_{t+1}}[Q_pi(S_{t+1},A_{t+1})]\=mathbb{E}_{S_{t+1}}[R_t+gammacdot V_pi(s_{t+1})])

  • 即：(Q_pi(s_t,a_t)=mathbb{E}_{S_{t+1}}[R_t+gammacdot V_pi(s_{t+1})])

• (V_pi)

  • 根据定义： (V_pi(s_t)=mathbb{E}[Q_pi(s_t,A_t)])

  • 将 Q 用 定理一 替换掉：

    [V_pi(s_t)=mathbb{E}_{A_t}mathbb{E}_{S_{t+1}}[R_t+gammacdot V_pi(S_{t+1})]\=mathbb{E}_{A_t,S_{t+1}}[R_t+gammacdot V_pi(S_{t+1})] ]

  • 这就是 定理二：(V_pi(s_t)=mathbb{E}_{A_t,S_{t+1}}[R_t+gammacdot V_pi(S_{t+1})])

这样就将 Q 和 V 表示为期望的形式，A2C会用到这两个期望，期望不好求，我们是用蒙特卡洛来近似求期望：

• 观测到 transition((s_t,a_t,r_t,s_{t+1}))

• (Q_pi)

  • (Q_pi(s_t,a_t)approx r_t+gammacdot V_pi(s_{t+1}))
  • 训练策略网络；

• (V_pi)

  • (V_pi(s_t)approx r_t+gammacdot V_pi(s_{t+1}))
  • 训练价值网络，这也是TD target 的来源；

2. 更新策略网络

即使用 baseline 的策略梯度算法。

• (g(a_t)=[frac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot(Q_pi(s_t,a_t)-V_pi(s_t))]) 是策略梯度的蒙特卡洛近似。

• 前面Dueling Network提到过，(Q_pi-V_pi)是优势函数 Advantage Function.

  这也是 A2C 的名字来源。

• Q 和 V 都还不知道，需要做近似，14.5.c.1 中介绍了：

  • (Q_pi(s_t,a_t)approx r_t+gammacdot V_pi(s_{t+1}))
  • 所以是：(g(a_t)approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot[(r_t+gammacdot V_pi(s_{t+1}))-V_pi(s_t)])
  • 对 (V_pi) 进行函数近似 (v(s;w))
  • 则得最终：(g(a_t)approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot[(r_t+gammacdot v(s_{t+1;w}))-v(s_{t;w})])

  用上式更新策略网络。

• 而 (r_t+gammacdot v(s_{t+1;w})) 正是 TD target (y_t)

• 梯度上升更新参数：(thetaleftarrow theta-betacdotfrac{partiallnpi(a_t|s_t;theta)}{partial theta}cdot (y_t-v(s_t;w)))

  这样的梯度上升更好。

因为以上式子中都有 V，所以需要近似计算 V：

(g(a_t)approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdotunderbrace{[(r_t+gammacdot V_pi(s_{t+1}))-V_pi(s_t)]}_{evaluation made by the critic})

3. 更新价值网络

采用 TD 算法 更新价值网络，根据 14.5.b 有如下式子：

• (V_pi(s_t)approx r_t+gammacdot V_pi(s_{t+1}))
• 对上式得 (V_pi) 做函数近似， 替换为 (v(s_t;w),v(s_{t+1;w}))；
• (v(s_t;w)approx underbrace{r_t+gammacdot v(s_{t+1};w)}_{TD target y_t})
• 训练价值网络就是要让 (v(s;w)) 接近 (y_t)
  • TD error: (delta_t=v(s_t;w)-y_t)
  • 梯度: (frac{partialdelta^2_t/2}{partial w}=delta_tcdotfrac{partial v(s_t;w)}{partial w})
  • 更新：(wleftarrow w-alphacdotdelta_tcdotfrac{partial v(s_t;w)}{partial w})

4. 有关的策略梯度

在A2C 算法中的策略梯度：(g(a_t)approxfrac{partial ln pi(a_t|s_t;theta)}{partial theta}cdot[(r_t+gammacdot v(s_{t+1;w}))-v(s_{t;w})])

会有这么一个问题，后面这一项是由价值网络给出对策略网络选出的动作进行打分，那么为什么这一项中没有动作呢，没有动作怎么给动作打分呢？

• 注意这两项：
• ((r_t+gammacdot v(s_{t+1;w}))) 是执行完 (a_t) 后作出的预测
• (v(s_t;w)) 是未执行 (a_t) 时作出的预测；
• 两者之差意味着动作 (a_t) 对于 V 的影响程度
• 而在AC算法中，价值网络给策略网络的是 q，而在A2C算法中， 价值网络给策略网络的就是上两式之差 advantage.

14.6 RwB 与A2C 的对比

• 两者的神经网络结构完全一样

• 不同的是价值网络

  • RwB 的价值网络只作为 baseline，不评价策略网络，用于降低随机梯度造成的方差；
  • A2C 的价值网络时critic，评价策略网络；

• RwB 是 A2C 的特殊形式。这一点下面 14.7 后会讲。

14.7 A2C with m-step

单步 A2C 就是上面所讲的内容，具体请见 14.5.b。

而多步A2C就是使用 m 个连续 transition：

• (y_t=sum_{i=0}^{m-1}gamma^icdot r_{t+1}+gamma^mcdot v(s_{t+m};w))
• 具体参见m-step
• 剩下的步骤没有任何改变，只是 TD target 改变了。

下面解释 RwB 和 A2C with m-step 的关系：

• A2C with m-step 的TD target：(y_t=sum_{i=0}^{m-1}gamma^icdot r_{t+1}+gamma^mcdot v(s_{t+m};w))
• 如果使用所有的奖励，上面两项中的第二项（估计）就不存在，而第一项变成了
  • (y_t=u_t=sum_{i=t}^n gamma^{i-t}cdot r_i)
  • 这就是 Reinforce with baseline.

x. 参考教程

• 视频课程：深度强化学习（全）_哔哩哔哩_bilibili
• 视频原地址：https://www.youtube.com/user/wsszju
• 课件地址：https://github.com/wangshusen/DeepLearning