一、算法背景

大部分强化学习算法很难保证单调收敛，这使得即使参数空间中看似很小的差异也会在性能上产生非常大的差异结果，因此一个错误的步骤可能会导致策略性能崩溃。而TRPO通过采取尽可能大的步骤提高性能来更新策略，利用KL散度对新旧策略接近程度进行约束，避免了这种情况。

置信域策略优化算法（Trust Region Policy Optimization,TRPO）是一种基于策略的方法，即先对策略进行参数化，并设计衡量策略质量的指标或目标函数，然后通过梯度上升法来最大化这指标，让策略逼近局部最优。一般的策略梯度算法在沿着策略梯度更新参数时，可能因为步长太大，使策略变差。TRPO在更新参数的时候会先试探权重参数下一步要更新的位置是否失控，如果失控则调整步长，否则视该区域为置信域（Trust Region）,在该区域内能保障策略提升的单调性。

二、定义

策略评估(policy evaluation)

策略$\pi$$\pi$下产生的一系列状态-动作对的预期累计回报：

状态值函数(state value function)

状态-动作值函数(state-action value function)

动作优势函数(advantage action function)

即状态s下使用动作a产生的回报与状态s时所有动作产生平均回报的差，衡量某个特定动作相对平均收益的优势

三、将新策略的回报表示为旧策略的回报+其他值

证明：

$$\begin{array}{rl}& E_{\tau \mid \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{A}_{\pi }(s_t,a_t)]\\ & =E_{\tau \mid \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t[Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)]]\\ & =E_{\tau \mid \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t(r(s_t)+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t))]\\ & =E_{\tau \mid \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^{t}r(s_t)]+E_{\tau \mid \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t(\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t))]\\ & =\eta (\tilde{\pi })+E_{\tau \mid \tilde{\pi }}[-V_{\tilde{\pi }}(s_0)+\gamma V_{\tilde{\pi }}(s_1)-\gamma V_{\tilde{\pi }}(s_1)+{\gamma }^2{V}_{\tilde{\pi }}(s_2)+\cdots ]\\ & =\eta (\tilde{\pi })+(-E_{s_0}[V_{\pi }(s_0)])⟶\text{此}\text{处}{s}_0\sim \pi \text{等}\text{价}\text{于}{s}_0\sim \tilde{\pi }\\ & =\eta (\tilde{\pi })-\eta (\pi )\\ \text{其}\text{中}：\\ & E_{s_0}[V_{\pi }(s_0)]\\ & =E_{s_0}[E_{a_0,s_1,\cdots }[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^{t}r(s_{0+t})]]\\ & =E_{a_0,s_1,\cdots }[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^{t}r(s_{0+t})]\\ & =\eta (\pi )\\ \text{证}\text{毕}\end{array}$$

定义：

即每个状态的（未标准化的）折扣访问频率（Discounted Visitation Frequencies），其将时间步上的累加，转为了状态上的累加。当$\gamma$$\gamma$为1时，可以将其理解为状态的占用度量。

将该定义带入式（5），得到：

证明：

$$\begin{array}{rl}\eta (\tilde{\pi })& =\eta (\pi )+\sum _{t=0}^{\mathrm{\infty }}\sum _{s}P(s_t=s|\tilde{\pi })\sum _a[\tilde{\pi }(a|s)\cdot {\gamma }^t\cdot A_{\pi }(s,a)]\\ & =\eta (\pi )+\sum _s\sum _{t=0}^{\mathrm{\infty }}{\gamma }^{t}P(s_t=s|\tilde{\pi })\sum _a[\tilde{\pi }(a|s)\cdot A_{\pi }(s,a)]\\ & =\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\cdot \sum _a\tilde{\pi }(a|s)\cdot A_{\pi }(s,a)\end{array}$$

四、对$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$近似，获得替代回报函数

如果先大量采样得到${\rho }_{\tilde{\pi }}(s)$$\rho_{\widetilde{\pi}}(s)$，再验证式（7）右边第二项$\ge$$\ge$0，计算量太大，需要对不同的$\tilde{\pi }$$\widetilde{\pi}$都进行大量采样,也就是盲目地选择一个策略，然后大量采样，看看式（7）第二项是否大于0，这种方法显然是不现实的，而强化学习的目标就是减少采样次数。

考虑这样一种情况，将原回报函数中的${\rho }_{\tilde{\pi }}(s)$$\rho_{\widetilde{\pi}}(s)$替换为${\rho }_{\pi }(s)$$\rho_{\pi}(s)$，定义替换函数：

当$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$和$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$相差很小时，两者可以相互替代，将其均看成$\tilde{\pi }$$\widetilde{\pi}$的函数，$\tilde{\pi }$$\widetilde{\pi}$和$\pi$$\pi$均为$\theta$$\theta$的函数，当$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$和$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$在${\pi }_{{\theta }_{old}}$$\pi_{\theta_{old}}$处一阶近似时，即：

证明：

1）对于式(9)的第一个式子：

式（7）中的$\pi$$\pi$和${\pi }_{old}$$\pi_{old}$是一样的，都是指的原来的策略，故：

$$\eta ({\pi }_{old})=\eta ({\pi }_{old})+\sum _s{\rho }_{{\pi }_{old}}(s)\sum _a{\pi }_{old}(a|s)A_{{\pi }_{old}}(s,a)$$

其中,

$$\sum _a{\pi }_{old}(a|s)A_{{\pi }_{old}}(s,a)=0$$

上式等号右边第二项为0，故式（9）第一个式子得证。

2）对于式（9）的第二个式子，分别让式（7）和（8）对$\theta$$\theta$求偏导，得：

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }\eta (\tilde{\pi }){|}_{\theta ={\theta }_{\text{old }}}& ={\mathrm{\nabla }}_{\theta }\eta ({\pi }_{{\pi }_{{\theta }_{old}}})+\sum _s{\mathrm{\nabla }}_{\theta }{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\mathrm{\nabla }\tilde{\pi }(a|s)A_{\pi }(s,a)\\ & (1)\text{第}\text{一}\text{项}\eta ({\pi }_{{\theta }_{old}})\text{是}\text{常}\text{数}，\text{故}\mathrm{\nabla }\eta ({\pi }_{{\theta }_{old}})=0\\ & (2)\text{当}\tilde{\pi }={\pi }_{old}\text{时}，\text{即}\tilde{\pi }\text{的}\text{参}\text{数}\theta \text{等}\text{于}{\pi }_{old}\text{的}\text{参}\text{数}{\theta }_{old}\text{时}，\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)=0，\text{故}\text{有}\\ & =\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\mathrm{\nabla }\tilde{\pi }(a|s)A_{\pi }(s,a)\\ & \text{代}\text{入}\theta ={\theta }_{old}，\text{即}\tilde{\pi }={\pi }_{old}\\ & =\sum _s{\rho }_{{\pi }_{{\theta }_{old}}}(s)\sum _a\mathrm{\nabla }\tilde{\pi }(a|s)A_{{\pi }_{{\theta }_{old}}}(s,a)\end{array}$$

$${\mathrm{\nabla }}_{\theta }{L}_{{\pi }_{{\theta }_{old}}}(\tilde{\pi }){|}_{\theta ={\theta }_{\text{old }}}=0+\sum _s{\rho }_{{\pi }_{{\theta }_{old}}}(s)\sum _a\mathrm{\nabla }\tilde{\pi }(a|s)A_{{\pi }_{{\theta }_{old}}}(s,a)⟶\text{原}\text{式}\text{第}\text{一}\text{项}\eta ({\pi }_{{\theta }_{old}})\text{是}\text{常}\text{数}，\text{故}\mathrm{\nabla }\eta ({\pi }_{{\theta }_{old}})=0$$

证毕。

当$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$和$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$在${\pi }_{{\theta }_{old}}$$\pi_{\theta_{old}}$处一阶近似时，则在${\pi }_{old}$$\pi_{old}$附近，改善L的策略也能改善原汇报函数$\eta$$\eta$，只要步长控制在${\pi }_{old}$$\pi_{old}$合理的邻域内。

五、控制$\pi$$\pi$和$\tilde{\pi }$$\widetilde{\pi}$之间的散度小于$\alpha$$\alpha$，就能保证回报单调增长

如果要使用L回报函数替代$\eta$$\eta$回报函数，则$\pi$$\pi$和$\tilde{\pi }$$\widetilde{\pi}$不能差太多，否则一阶近似邻域将非常小，导致极其小的步长，会使得训练变慢。

Kakade和Langford在2002年提出过一个保守策略迭代更新方案，可以为$\eta$$\eta$更新提供明确的下界，即对于策略改进采用以下混合方式时：

其中，${\pi }^{\prime }=arg\underset{{\pi }^{\prime }}{min}{L}_{{\pi }_{old}}({\pi }^{\prime })$$\pi'=arg \min_{\pi'}L_{\pi_{old}}(\pi')$，有

证明：

首先定义$\bar{A}(s)$$\overline{A}(s)$：

$$\bar{A}(s)=E_{a\sim \tilde{\pi }(a|s)}[A_{\pi }(s,a)]$$

$\bar{A}(s)$$\overline{A}(s)$表示在状态s时采用策略$\tilde{\pi }$$\widetilde{\pi}$相对于之前策略的改进。

用$\bar{A}(s)$$\overline{A}(s)$改写式(7)和(8)，得到：

$$\begin{array}{l}\eta (\tilde{\pi })=\eta (\pi )+E_{\tau \sim \tilde{\pi }}\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t\overline{A}\left(s_t\right)\right]\\ L_{\pi }(\tilde{\pi })=\eta (\pi )+E_{\tau \sim \pi }\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t\overline{A}\left(s_t\right)\right]\end{array}$$

由于策略按照 ${\pi }_{new}(a|s)=(1-\alpha ){\pi }_{old}(a|s)+\alpha {\pi }^{‘}(a|s)\text{的}\text{模}\text{式}\text{混}\text{合}，\text{假}\text{设}\text{新}\text{策}\text{略}\tilde{\pi }\text{是}\text{由}{\pi }_{old}\text{和}{\pi }^{‘}$$\pi_{new}(a|s)=(1-\alpha)\pi_{old}(a|s)+\alpha \pi^`(a|s)的模式混合，假设新策略\widetilde{\pi}是由\pi_{old}和\pi^`$各自按照一定权重进行混合的，策略可以表示为策略对$(\pi ,\tilde{\pi })$$(\pi,\widetilde{\pi})$，由策略对产生的动作对$(a,\tilde{a})$$(a,\widetilde{a})$。

从这种视角看，产生动作$\tilde{a}$$\widetilde{a}$的概率为$\alpha$$\alpha$,因为不同策略也可能产生相同的动作，所以在改进的策略${\pi }_{new}$$\pi_{new}$中，产生和原策略的动作（即a）不同的概率最多为$\alpha$$\alpha$，即$P(a\ne \tilde{a}|s)\le \alpha$$P(a\neq \widetilde{a}|s)\le\alpha$。

于是有：

$$\begin{array}{rl}\bar{A}& =E_{\tilde{a}\sim \tilde{\pi }}[A_{\pi }(s,\tilde{a})]⟶\text{定}\text{义}\\ & =E_{(a,\tilde{a})\sim (\pi ,\tilde{\pi })}[A_{\pi }(s,\tilde{a})-A_{\pi }(s,a)]⟶E_{a\sim \pi }{A}_{\pi }(s,a)=0，\text{所}\text{以}\text{这}\text{个}\text{等}\text{号}\text{就}\text{是}\text{减}\text{去}\text{了}0\\ & =P(a\ne \tilde{a}|s)E_{(a,\tilde{a})\sim (\pi ,\tilde{\pi })|a\ne \tilde{a}}[A_{\pi }(s,\tilde{a})-A_{\pi }(s,a)]⟶\text{当}a=\tilde{a}\text{时},A_{\pi }(s,\tilde{a})-A_{\pi }(s,a)=0\end{array}$$

于是有：

$$\begin{array}{}\text{(12)}& |\bar{A}|\le P(a\ne \tilde{a}|s)(|E_{\tilde{a}\sim \tilde{\pi }}[A_{\pi }(s,\tilde{a})|+|E_{a\sim \pi }{A}_{\pi }(s,a)]|)\le \alpha \cdot 2\cdot \underset{s,a}{max}|A_{\pi }(s,a)|\end{array}$$

用$n_t$$n_t$表示在时刻t之前策略$\pi$$\pi$和$\tilde{\pi }$$\widetilde{\pi}$产生的不同动作的数量，有：

$$\begin{array}{}\text{(13)}& E_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_i\right)\right]=P(n_t=0)E_{s_t\sim \tilde{\pi }|n_t=0}\left[\bar{A}\left(s_t\right)\right]+P(n_t>0)E_{s_t\sim \tilde{\pi }|n_t>0}\left[\bar{A}\left(s_t\right)\right]\end{array}$$

和

$$\begin{array}{}\text{(14)}& E_{s_t\sim \pi }\left[\bar{A}\left(s_i\right)\right]=P(n_t=0)E_{s_t\sim \pi |n_t=0}\left[\bar{A}\left(s_t\right)\right]+P(n_t>0)E_{s_t\sim \pi |n_t>0}\left[\bar{A}\left(s_t\right)\right]\end{array}$$

$n_t=0$$n_t=0$时，策略$\pi$$\pi$和$\tilde{\pi }$$\widetilde{\pi}$动作相同，将到达相同的状态，则有：

$$E_{s_t\sim \tilde{\pi }|n_t=0}\left[\bar{A}\left(s_t\right)\right]=E_{s_t\sim \pi |n_t=0}\left[\bar{A}\left(s_t\right)\right]$$

则式（13）减去式（14）有：

$$\begin{array}{rl}|E_{s_t\sim \tilde{\pi }|n_t>0}\left[\bar{A}\left(s_t\right)\right]-E_{s_t\sim \pi |n_t>0}\left[\bar{A}\left(s_t\right)\right]|& \le |E_{s_t\sim \tilde{\pi }|n_t>0}\left[\bar{A}\left(s_t\right)\right]|+|E_{s_t\sim \pi |n_t>0}\left[\bar{A}\left(s_t\right)\right]|⟶\text{使}\text{用}\text{式}(12)\text{的}\text{结}\text{论}\\ & \le 4\alpha \underset{s,a}{max}|A_{\pi }(s,a)|\end{array}$$

又$P(n_t=0)\ge (1-\alpha {)}^t$$P(n_t =0) \ge(1-\alpha)^{t}$，故$P(n_t>0)\le 1-(1-\alpha {)}^t$$P(n_t>0) \le 1-(1-\alpha)^t$

于是有：

$$\begin{array}{rl}|E_{s_t\sim \tilde{\pi }}\left[\bar{A}\left(s_i\right)\right]-E_{s_t\sim \pi }\left[\bar{A}\left(s_i\right)\right]|& =P(n_t>0)|E_{s_t\sim \tilde{\pi }|n_t>0}\left[\bar{A}\left(s_t\right)\right]-E_{s_t\sim \pi |n_t>0}\left[\bar{A}\left(s_t\right)\right]|\\ & \le (1-(1-\alpha {)}^t)\cdot 4\alpha \underset{s,a}{max}|A_{\pi }(s,a)|\end{array}$$

从而有：

$$\begin{array}{rl}|\eta (\tilde{\pi })-L_{\pi }(\tilde{\pi })|& =\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t|E_{\tau \sim \tilde{\pi }}[\bar{A}(s_t)]-E_{\tau \sim \pi }[\bar{A}(s_t)]|\\ & \le \sum _{t=0}^{\mathrm{\infty }}{\gamma }^t\cdot 4ϵ\alpha (1-(1-\alpha {)}^t)⟶ϵ=\underset{s}{max}|A_{\pi }(s,a)|\text{而}\text{不}\text{是}\underset{s}{max}|E_{a\sim \tilde{\pi }(a|s)}[A_{\pi }(s,a)]|\\ & =4ϵ\alpha (\frac{1}{1-\gamma }-\frac{1}{1-\gamma (1-\alpha )})\\ & =\frac{4{\alpha }^2\gamma ϵ}{(1-\gamma )(1-\gamma (1-\alpha ))}\\ & \le \frac{4{\alpha }^2\gamma ϵ}{(1-\gamma {)}^2}\end{array}$$

证毕。

由式（11）可知，可以保证在一定的误差范围内可以用$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$代替$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$。

但混合策略，即式（12）在实际应用中用得很少，个人理解是超参数$\alpha$$\alpha$很难设定，而$\alpha$$\alpha$其实表征的是两个策略之间的距离，而策略其实就是概率分布，衡量两个概率分布的相似程度自然而然想到散度，于是使用总方差散度(the Total Variation divergence)。

对于离散的取值，我们有：

又有：

从而有：

可以用KL散度控制$\pi$$\pi$和$\tilde{\pi }$$\widetilde{\pi}$之间的距离小于$\alpha$$\alpha$时，就能够在误差确定的情况下使用$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$替代$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$，从而在优化$L_{\pi }(\tilde{\pi })$$L_{\pi}(\widetilde{\pi})$时，$\eta (\tilde{\pi })$$\eta(\widetilde{\pi})$也在优化。

在保证回报函数单调不减的情况下，求取更新策略的算法：

算法：保证预期回报$\eta$$\eta$不减的近似策略迭代算法

输入：初始化策略${\pi }_0$$\pi_0$

For i=0,1,2,3,$\cdots$$\cdots$ until 收敛 do:

计算优势函数$A_{{\pi }_i}(s,a)$$A_{\pi_i}(s,a)$

求解如下约束问题：

${\pi }_{i+1}=argma{x}_{\pi }(L_{{\pi }_i}(\pi )-\frac{4ϵ\gamma }{(1-\gamma {)}^2}{D}_{KL}^{max}({\pi }_i,\pi ))$$\pi_{i+1}=arg max_{\pi}(L_{\pi_{i}}(\pi)-\frac{4\epsilon\gamma}{(1-\gamma)^2}D_{KL}^{max}(\pi_i,\pi))$,

其中$ϵ=\underset{s}{max}|E_{a\sim \tilde{\pi }(a|s)}[A_{\pi }(s,a)]$$\epsilon=\max_{s}|E_{a \thicksim \widetilde{\pi}(a|s) }[A_{\pi}(s,a)]$

$L_{{\pi }_i}({\pi }_i)=\eta ({\pi }_i)+\sum _s{\rho }_{{\pi }_i}(s)\sum _a\pi (a|s)A_{{\pi }_i}(s,a)$$L_{\pi_{i}}(\pi_i)=\eta(\pi_i)+\sum_{s}\rho_{\pi_i}(s)\sum_{a}\pi(a|s)A_{\pi_i}(s,a)$

End for

证明以上算法的有效性：

设$M_i(\pi )=L_{{\pi }_i}(\pi )-C{D}_{KL}^{max}({\pi }_i,\pi )$$M_i(\pi)=L_{\pi_i}(\pi)-CD_{KL}^{max}(\pi_i,\pi)$

则$M_i({\pi }_i)=L_{{\pi }_i}({\pi }_i)=\eta ({\pi }_i)⟶D_{KL}^{max}({\pi }_i,{\pi }_i)=0$$M_i(\pi_i)=L_{\pi_i}(\pi_i)=\eta(\pi_i) \longrightarrow D_{KL}^{max}(\pi_i,\pi_i)=0$

取${\pi }_{i+1}=argma{x}_{\pi }(L_{{\pi }_i}(\pi )-C\cdot D_{KL}^{max}({\pi }_i,\pi ))$$\pi_{i+1}=arg max_{\pi}(L_{\pi_i}(\pi)-C \cdot D_{KL}^{max}(\pi_i,\pi))$

则$\eta ({\pi }_{i+1})\ge M_{i+1}({\pi }_{i+1})$$\eta(\pi_{i+1}) \ge M_{i+1}(\pi_{i+1})$

于是有 $\eta ({\pi }_{i+1})-\eta ({\pi }_i)\ge M_i({\pi }_{i+1}-M_i({\pi }_i))$$\eta(\pi_{i+1})-\eta(\pi_i) \ge M_i(\pi_{i+1}-M_i(\pi_i))$

故改善$M_i$$M_i$也会改善$\eta$$\eta$

证毕。

六、采取重要性采样，Q函数替代A函数，对算法进一步近似

参数化的策略是通过改变参数来优化目标函数，即实现$\underset{\theta }{max}(L_{{\theta }_{old}}(\theta )-C\cdot D_{KL}^{max}({\theta }_{old},\theta ))$$\max_{\theta}(L_{\theta_{old}}(\theta)-C \cdot D_{KL}^{max}(\theta_{old},\theta))$，可以改写为：

但上式的约束太严格，要求状态空间的每一点都维持在KL散度在一定范围内，所以在实际应用中用平均散度来作为最大KL散度的近似，这样就可以使用采样的方法，即：

则有：

式（18）中的$\sum _s{\rho }_{{\theta }_{old}}(s)[\cdots ]$$\sum_s\rho_{\theta_{old}}(s)[\cdots]$可以根据其定义，使用$\frac{1}{1-\gamma }{E}_{s\sim {\rho }_{{\theta }_{old}}}[\cdots ]$$\frac{1}{1-\gamma}E_{s \sim \rho_{\theta_{old}}}[\cdots]$代替（将$\rho$$\rho$定义中的$\gamma$$\gamma$考虑为权重，要让权重为1，则必须先乘上$1-\gamma$$1-\gamma$，然后再除以$1-\gamma$$1-\gamma$，这样$\sum _s\rho (s)=1$$\sum_s\rho(s)=1$。

解释：

$$\begin{array}{rl}\sum _s{\rho }_{{\theta }_{old}}(s)[\cdots ]& =\sum _s\sum _t{\gamma }^{t}P(s_t|{\pi }_{{\theta }_{old}})[\cdots ]\\ & =\sum _t{\gamma }^t\sum _{s}P(s_t|{\pi }_{{\theta }_{old}})[\cdots ]\\ & \approx \frac{1}{1-\gamma }{E}_{s\sim {\rho }_{{\theta }_{old}}}[\cdots ]\end{array}$$

又因为式（18）第二个$\sum$$\sum$的策略是按照新的策略，所以得引入重要性采样，用原策略采样得到的轨迹来训练

即：

再一个优化是用状态-动作价值函数Q(s,a)代替优势函数A(s,a)

解释：

$$\begin{array}{rl}\sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)& =\sum _a{\pi }_{\theta }(a|s)[Q_{{\theta }_{old}}(s)-V_{{\theta }_{old}}(s,a)]\\ & =\sum _a[{\pi }_{\theta }(a|s)Q_{{\theta }_{old}}(s,a)]-V_{{\theta }_{old}}(s)\sum _a{\pi }_{\theta }(a|s)\\ & =\sum _a[{\pi }_{\theta }(a|s)Q_{{\theta }_{old}}(s,a)]-V_{{\theta }_{old}}(s)⟶V_{{\theta }_{old}}(s)\text{是}\text{常}\text{数}\end{array}$$

原论中提到可以用Q替代A，但在代码实现中还是用A来实现的居多，应该是运用了类似Dueling DQN差不多的技巧，以加快训练速度。

最终TRPO的目标转化为转化为：

七、对目标函数进行一阶逼近，对约束函数进行二阶逼近

纯理论上的TRPO更新不是最容易使用的，所以实际的TRPO算法进行了一些近似操作以快速获得答案。

1）对目标函数进行一阶逼近

记$L_{{\theta }_{old}}(\theta )=E_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]$$L_{\theta_{old}}(\theta)=E_{s \sim \rho_{\theta_{old}},a \sim \pi_{\theta_{old}}}[\frac{\pi_{\theta}(a|s)}{\pi_{\theta_{old}}(a|s)}A_{\theta_{old}}(s,a)]$

得到：

解释：

函数f(x)在x=a处的一阶泰勒展开为 $f(x)=f(a)+f^{‘}(a)(x-a)$$f(x)=f(a)+f^`(a)(x-a)$

故对式（20）的第一个式子在$\theta ={\theta }_{old}$$\theta=\theta_{old}$处进行一阶泰勒展开，得到

$$L_{{\theta }_{old}}(\theta )=L_{{\theta }_{old}}({\theta }_{old})+{\mathrm{\nabla }}_{\theta }{L}_{{\theta }_{old}}(\theta ){|}_{\theta ={\theta }_{old}}\cdot (\theta -{\theta }_{old})$$

显然等号第一项为0，最大化一个数等价于最小化它的相反数，且在机器学习中一般习惯于最小化目标函数

故

$$\underset{s}{max}{E}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]\iff \underset{\theta }{min}-({\mathrm{\nabla }}_{\theta }{L}_{{\theta }_{old}}(\theta ){|}_{\theta ={\theta }_{old}}\cdot (\theta -{\theta }_{old}))$$

2）对约束函数进行二阶逼近

得到：

解释：

根据KL散度的定义得：

$$\begin{array}{rl}{D}_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))& =\int {\pi }_{{\theta }_{old}}(\cdot |s)\log \frac{{\pi }_{{\theta }_{old}}(\cdot |s)}{{\pi }_{\theta }(\cdot |s)}dx\\ & =\int {\pi }_{{\theta }_{old}}(\cdot |s))\log {\pi }_{{\theta }_{old}}(\cdot |s))dx-\int {\pi }_{{\theta }_{old}}(\cdot |s))\log {\pi }_{\theta }(\cdot |s))\\ & =E_{x\sim {\pi }_{{\theta }_{old}}}\log {\pi }_{{\theta }_{old}}-E_{x\sim {\pi }_{{\theta }_{old}}}\log {\pi }_{\theta }\end{array}$$

对$D_{KL}$$D_{KL}$进行一阶求导，即：

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }{D}_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))& =-\int {\pi }_{{\theta }_{old}}(x|s)){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(x|s))dx\\ & =-\int {\pi }_{{\theta }_{old}}(x|s)\cdot \frac{{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(x|s)}{{\pi }_{\theta (x|s)}}dx⟶\text{代}\text{入}\theta ={\theta }_{old}\\ & =-\int {\mathrm{\nabla }}_{\theta }{\pi }_{{\theta }_{old}}(x|s)dx\\ & =-\mathrm{\nabla }\int {\pi }_{{\theta }_{old}}(x|s)dx\\ & =\mathrm{\nabla }\text{常}\text{数}\\ & =0\end{array}$$

对$D_{KL}$$D_{KL}$进行二阶求导

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }^2{D}_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s)){|}_{\theta ={\theta }_{old}}& =-\int {\pi }_{{\theta }_{old}}(x|s)){\mathrm{\nabla }}_{\theta }^2\log {\pi }_{\theta }(x|s))dx{|}_{\theta ={\theta }_{old}}⟶\text{记}H={\mathrm{\nabla }}_{\theta }^2\log {\pi }_{\theta }(x|s)){|}_{\theta ={\theta }_{old}}\\ & =-\int {\pi }_{{\theta }_{old}}(x|s)H_{\log {\pi }_{\theta }}dx{|}_{\theta ={\theta }_{old}}\\ & =-E_{{\pi }_{{\theta }_{old}}}[H_{\log {\pi }_{{\theta }_{old}}}]\\ & =F⟶\text{费}\text{舍}\text{尔}\text{信}\text{息}\text{矩}\text{阵}\end{array}$$

注：

两个重要结论 结论1：Fisher矩阵F是Hessian矩阵H的负期望

$$F=-E_{p(x|\theta )}[{\mathrm{\nabla }}_{\theta }\log p(x|\theta )\mathrm{\nabla }\log p(x|\theta {)}^T]=-E_{p(x|\theta )}[H_{\log p(x|\theta )}]$$

当黑塞矩阵中的被微分的函数是对数函数时，其与费舍尔信息矩阵就相差一个负号

证明：

$$F={\mathbb{E}}_{x\sim p(x,\theta )}[{\mathrm{\nabla }}_{\theta }\log p(x|\theta ){\mathrm{\nabla }}_{\theta }\log p(x|\theta {)}^T]$$

$$\begin{array}{rl}{H}_{\log p(x|\theta )}& ={\mathrm{\nabla }}_{\theta }({\mathrm{\nabla }}_{\theta }\log p(x|\theta ))\\ & ={\mathrm{\nabla }}_{\theta }(\frac{{\mathrm{\nabla }}_{\theta }p(x|\theta )}{p(x|\theta )})\\ & =\frac{p(x|\theta ){\mathrm{\nabla }}_{\theta }^{2}p(x|\theta -{\mathrm{\nabla }}_{\theta }p(x|\theta ){\mathrm{\nabla }}_{\theta }p(x|\theta {)}^T)}{p^2(x|\theta )}\\ & =\frac{{\mathrm{\nabla }}_{\theta }^{2}p(x|\theta )}{p(x|\theta )}-{\mathrm{\nabla }}_{\theta }\log p(x|\theta ){\mathrm{\nabla }}_{\theta }\log p(x|\theta {)}^T\end{array}$$

$$\begin{array}{rl}{\mathbb{E}}_{x\sim p(x,\theta )}[H_{\log p(x|\theta )}]& ={\mathbb{E}}_{x\sim p(x,\theta )}[\frac{{\mathrm{\nabla }}_{\theta }^{2}p(x|\theta )}{p(x|\theta )}]-F\\ & =\int \frac{{\mathrm{\nabla }}_{\theta }^{2}p(x|\theta )}{p(x|\theta )}p(x|\theta )dx-F\\ & ={\mathrm{\nabla }}_{\theta }^2\int p(x|\theta )dx-F\\ & =-F\end{array}$$

结论2：Fisher矩阵F是KL散度的Hessian矩阵H

即对$D_{KL}$$D_{KL}$的二阶求导结果，即：

$$\begin{array}{rl}KL[p_{\theta }||p_{\theta +d}]& \approx KL[p_{\theta }||p_{\theta +d}]+({\mathrm{\nabla }}_{{\theta }^{\prime }}KL[p_{\theta }||p_{{\theta }^{\prime }}]{|}_{{\theta }^{\prime }=\theta }{)}^{T}d+\frac{1}{2}{d}^{T}Fd\\ & =KL[p_{\theta }||p_{\theta +d}]-E_{p(x|\theta )}[{\mathrm{\nabla }}_{\theta }\log p(x|\theta ){]}^{T}d+\frac{1}{2}{d}^{T}Fd\\ & =\frac{1}{2}{d}^{T}Fd\end{array}$$

记$m(\theta )=E_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]$$m(\theta)=E_{s \sim \rho_{\theta_{old}}}[D_{KL}(\pi_{\theta_{old}}(\cdot|s)||\pi_{\theta}(\cdot|s))]$，则$m(\theta )\text{在}\theta ={\theta }_{old}$$m(\theta)在\theta=\theta_{old}$处的二阶泰勒展开为：

$$\begin{array}{rl}m(\theta )& \approx m({\theta }_{old})+{\mathrm{\nabla }}_{\theta }m(\theta ){|}_{\theta ={\theta }_{old}}(\theta -{\theta }_{old})+\frac{1}{2}(\theta -{\theta }_{old}{)}^T{\mathrm{\nabla }}_{\theta }^{2}m(\theta ){|}_{\theta ={\theta }_{old}}(\theta -{\theta }_{old})⟶\text{由}\text{前}\text{面}\text{的}\text{推}\text{导}\\ & =-\frac{1}{2}(\theta -{\theta }_{old}{)}^T{E}_{s\sim {\rho }_{{\theta }_{old}}}[H_{\log {\pi }_{{\theta }_{old}}}](\theta -{\theta }_{old})\\ & =\frac{1}{2}(\theta -{\theta }_{old}{)}^T{E}_{s\sim {\rho }_{{\theta }_{old}}}[F_{{\pi }_{{\theta }_{old}}}](\theta -{\theta }_{old})\end{array}$$

另一种证明方法：

$$\begin{array}{rl}KL[\log p(x|\theta )|\log p(x|{\theta }^{\prime })]& =\int p(x|\theta )\log \frac{\log p(x\theta )}{\log p(x|{\theta }^{\prime })}\\ & ={\mathbb{E}}_{x\sim p(x,\theta )}[\log p(x|\theta )]-{\mathbb{E}}_{x\sim p(x,\theta )}[\log p(x|{\theta }^{\prime })]\end{array}$$

$${\mathrm{\nabla }}_{{\theta }^{\prime }}KL[\log p(x|\theta )|\log p(x|{\theta }^{\prime })]=-{\mathrm{\nabla }}_{{\theta }^{\prime }}{\mathbb{E}}_{x\sim p(x,\theta )}[\log p(x|{\theta }^{\prime })]$$

$$\begin{array}{rl}{\mathrm{\nabla }}_{{\theta }^{\prime }}^{2}KL[\log p(x|\theta )|\log p(x|{\theta }^{\prime })]{|}_{{\theta }^{\prime }=\theta }& =-{\mathrm{\nabla }}_{{\theta }^{\prime }}^2{\mathbb{E}}_{x\sim p(x,\theta )}[\log p(x|{\theta }^{\prime })]{|}_{{\theta }^{\prime }=\theta }\\ & =-{\mathbb{E}}_{x\sim p(x,\theta )}{H}_{\log p(x|\theta )}\\ & =F\end{array}$$