基本思想

最大熵强化学习的思想除了要最大化累积奖励，还要使得策略更加随机。而熵正则化增加了强化学习算法的探索程度，$\alpha$$\alpha$越大，探索性就越强，能让策略尽可能随机，Agent可以更充分地探索状态空间S，避免策略早早落入局部最优点，并且可以探索到多个可行的方案完成指定任务，提高抗干扰能力。

SAC算法优势：基于能量的模型在面对多模态（multimodal）的值函数（ Q(s,a) ）时，具有更强的策略表达能力，而一般的高斯分布只能将决策集中在 Q 值更高的部分，忽略其他次优解。

最大熵学习（MERL）

熵

标准强化学习算法的目标

引入熵最大化的RL算法的目标

思想来源于最大熵方法，好处：模型在匹配观察到的信息时，对未知的假设最少

soft value function & Energy based policy

原本的RL值函数

根据目标函数（3），得到Soft value function(SVF)

soft Q function和soft V function的关系：

Energy Based Policy (EBP，基于能量的策略模型)

为了适用更复杂的任务，MERL不再是以往的高斯分布形式，使用EBP表示策略：

为了让EBP与值函数联系起来，设定

从而有

soft Q-learning 中的策略评估和策略优化

策略评估

SAC中使用（6）（7）进行值迭代

soft Q-learning使用不同的值迭代公式

$\log \int \exp$$\log{\int\exp}$相当于softmax，也是soft一词的由来，所以式（11）在离散情况下等价于$V(s)=\alpha \cdot softmax\frac{1}{\alpha }Q(s,a)$$V(s)=\alpha\cdot softmax \frac{1}{\alpha}Q(s,a)$

解释：

记$x_{max}=max\{x_1,x_2,\cdots ,x_n\}$$x_{max}=\max\{x_1,x_2,\cdots ,x_n\}$，则$e^{x_{max}}<\sum _{i=1}^n{e}^{x_i}\le \sum _{i=1}^n{e}^{x_{max}}=n\cdot e^{x_{max}}$$e^{x_{max}} <\sum_{i=1}^n e^{x_i} \le\sum_{i=1}^ne^{x_{max}}=n\cdot e^{x_{max}}$

对以上不等式两边取$\log$$\log$，得$x_{max}<\log \sum _{i=1}^n{e}^{x_i}\le x_{m}ax+\log n$$x_{max}<\log{\sum_{i=1}^n}e^{x_i} \le x_max+\log{n}$

误差$\log n$$\log{n}$与x无关，故

$$x_{max}/\tau <\log \sum _{i=1}^n{e}^{x_i/\tau }\le x_{max}/\tau \Rightarrow x_{max}<\tau \cdot \log \sum _{i=1}^n{e}^{x_i/\tau }\le x_{max}+\tau \cdot \log n$$

当$\tau \to 0$$\tau \rightarrow 0$时，误差也趋近于0

式（3）可以用策略梯度算法暴力求解，但通过将soft value function和Energy based policy联系起来，可以推出值迭代算法，根据式（3）整理出目标函数，并加入折扣因子：

现在的目标是调整输入$\pi$$\pi$，使J最大化，由易到难，先解J的最后一项（t=T)：

对$\pi (\cdot |s_T)$$\pi(\cdot|s_T)$求导，令导数为0，得

$r(s_T,a_T)-\alpha \cdot \log \pi (a_T|s_T)-\alpha =0\Rightarrow \pi (a_T|s_T)=\frac{\exp \frac{1}{\alpha }r(s_T,a_T)}{e}$$r(s_T,a_T)-\alpha\cdot \log{\pi(a_T|s_T)-\alpha}=0 \Rightarrow \pi(a_T|s_T)=\frac{\exp{\frac{1}{\alpha}r(s_T,a_T)}}{e}$

又由于$\pi (a_T|s_T)$$\pi(a_T|s_T)$是概略，所以$\int \pi (a|s_T)da=1$$\int\pi(a|s_T)da=1$

得到

注：对于$F[y]={\int }_a^{b}L(x,y(x),y^{\prime }(x))dx$$F[y]=\int_a^bL(x,y(x),y'(x))dx$，该泛函取得极值的必要条件：$\frac{\partial L}{\partial y}-\frac{\partial }{\partial x}\frac{\partial L}{\partial y^{\prime }}=0$$\frac{\partial{L}}{\partial{y}}-\frac{\partial}{\partial x}\frac{\partial L}{\partial y'}=0$

进一步推广到通常情况，依然可得：

得到soft Q-learning得值迭代算法：

$V(s_{T+1})=0$$V(s_{T+1})=0$

for t=T to 0:

$Q(s_t,a_t)=r(s_t,a_t)+\gamma E_{p(s_{t+1}|s_t,a_t)}[V(s_{t+1})]⟶\text{不}\text{是}\text{人}\text{为}\text{控}\text{制}\text{得}，\text{所}\text{以}\text{用}E，\text{而}\text{不}\text{是}max$$Q(s_t,a_t)=r(s_t,a_t)+\gamma E_{p(s_{t+1}|s_t,a_t)}[V(s_{t+1})] \longrightarrow 不是人为控制得，所以用E，而不是max$

其中，$V(s_t)=\alpha \log \int \exp (\frac{1}{\alpha }Q(s_t,a_t))d{a}_t$$V(s_t)=\alpha \log\int\exp(\frac{1}{\alpha}Q(s_t,a_t))da_t$

策略优化

soft Q-learning(SQL)存在的问题及解决方法

• 策略评估时，根据式（11），对动作求积分，这个操作在连续空间不可能实现

  解决方法：采样+importance sampling 以近似V的期望，即：

  $$V_{soft}^{\theta }(s)=\alpha \log E_{q_{a^{\prime }}}\left[\frac{\exp \frac{1}{\alpha }{Q}_{soft}^{\theta }(s_t,a^{\prime })}{q_{a^{\prime }}(a^{\prime })}\right]$$

  其中，q是用于采样的分布，初期随即均匀采样，后期根据policy采样。

• 基于能量的模型式难以处理的

  策略函数可以用值函数表示成EBP，却无法用它来采样（即可以算出$\pi (a_t|s_t)$$\pi(a_t|s_t)$，但无法根据$\pi (\cdot |s)$$\pi(\cdot|s)$这个概率分布来采样一个action，计算$\pi (a_t|s_t)$$\pi(a_t|s_t)$时带入$a_t$$a_t$即可，而采样的时候因为这个概率分布很难表示而无法采样）

  算法的作者使用近似推理，如马尔科夫链蒙特卡洛，同时为了加速推理，使用了SVGD训练的推理网络生成近似样本，然后利用KL散度来缩小代理策略${\pi }^{\varphi }$$\pi^{\phi}$与EBP的差距:

  $$J_{{\pi }^{\varphi }}(s_t)=D_{KL}({\pi }^{\varphi }(\cdot |s_t)||\exp \frac{1}{\alpha }(Q_{soft}^{\theta }(s_t,\cdot )-V_{soft}^{\theta }(s_t)))$$

  SAC中的策略评估和策略优化

  策略评估

  在SAC中，算法作者放弃了使用softmax来直接求V函数的值（即式11）

   

  方法一：只打算维持一个值函数Q，即式（6）：

  $$Q_{soft}^{\pi }(s,a)=E_{s^{\prime }\sim p(s^{\prime }|s,a),a^{\prime }\sim \pi }[r(s,a)+\gamma (Q_{soft}^{\pi }(s^{\prime },a^{\prime })+\alpha H(\pi (\cdot |s^{\prime })))]$$

  方法二：同时维持V、Q两个函数，即式（6）（7）

  $$\begin{array}{c}{Q}_{soft}^{\pi }(s,a)=E_{s^{\prime }\sim p(s^{\prime }|s,a)}[r(s,a)+\gamma \cdot V_{soft}^{\pi }(s^{\prime })]\\ V_{soft}^{\pi }(s)=E_{a\sim \pi }[Q_{soft}^{\pi }(s,a)-\alpha \cdot \log \pi (a|s)]\end{array}$$

  策略优化

  SAC中的理想策略依然是式（10）的EBP形式，不过因为EBP的采样问题依然存在，只能利用一个高斯分布$\pi$$\pi$来代替EBP与环境互动。策略优化时让高斯分布尽量靠近EBP。

  $$\begin{array}{}\text{(15)}& {\pi }_{new}=arg\underset{x\in \pi }{min}{D}_{KL}(\pi (\cdot |s_t)||\frac{\exp (\frac{1}{\alpha }{Q}_{soft}^{{\pi }_{old}}(s_t,\cdot ))}{z_{soft}^{{\pi }_{old}}(s_t)})\end{array}$$

  其中$\pi$$\pi$表示可选的策略集合，实际上是带参数的高斯分布。

  Z函数取代了式14中的$\exp \frac{1}{\alpha }{V}_{soft}^{{\pi }_{old}}(s_t)$$\exp{\frac{1}{\alpha}V_{soft}^{\pi_{old}}(s_t)}$作为配分函数，用于归一化分布，不过对于$\pi (s_t)$$\pi(s_t)$来说，两者都是常数，在实际计算中都可以忽略。同时也因为这个原因，在SAC中不再维护V函数。

  作者证明了式15可以像式14一样保证策略的优化。

  soft policy iteration

  交替执行策略评估和策略优化将收敛到最优的值函数和最优策略

  实现

  $$\begin{array}{c}{Q}_{\theta }(s,a):S\times A\to R\\ {\pi }_{\varphi }(\cdot |s):S\to \mu ,\sigma \text{高斯分布的均值和方差}\end{array}$$

  根据式（6），Q的损失函数：

  $$\begin{array}{}\text{(16)}& J_Q(\theta )=E_{(s_t,a_t,s_{t+1})\sim D,a_{t+1}\sim {\pi }_{\varphi }}[\frac{1}{2}{(Q_{\theta }(s_t,a_t)-(r(s_t,a_t)+\gamma \cdot (Q_{\theta }(s_{t+1},a_{t+1})-\alpha \log {\pi }_{\varphi }(a_{t+1}|s_{t+1}))))}^2]\end{array}$$

  其中$(s_t,a_t,s_{t+1})$$(s_t,a_t,s_{t+1})$是从agent过往与环境的交互中产生的数据（replay buffer)抽取的，但$a_t$$a_t$是在训练时临时从${\pi }_{\varphi }$$\pi_\phi$中采集出来的。

  策略${\pi }_{\varphi }$$\pi_\phi$训练时的损失函数：

  $$\begin{array}{rl}{J}_{\pi }(\varphi )& =D_{KL}({\pi }_{\varphi }(\cdot |s_t)||\exp (\frac{1}{\alpha }{Q}_{\theta }(s_t,\cdot )-\log Z(s_t)))\\ & =E_{s_t\sim D,a_t\sim {\pi }_{\varphi }}[\log \left(\frac{{\pi }_{\varphi }(a_t|s_t)}{\exp \frac{1}{\alpha }{Q}_{\theta }(s_t,a_t)-\log Z(s_t)}\right)]\\ & =E_{s_t\sim D,a_t\sim {\pi }_{\varphi }}[\log {\pi }_{\varphi }(a_t|s_t)-\frac{1}{\alpha }{Q}_{\theta }(s_t,a_t)+\log Z(s_t)]\end{array}$$

  同样，这里的$s_t$$s_t$从缓存中获得，$a_t$$a_t$从当前的策略${\pi }_{\varphi }$$\pi_\phi$中采样得到。

  因为高斯分布采样的过程不可导，由$a_t\sim {\pi }_{\varphi }$$a_t\sim\pi_\phi$，引入reparameterization技术，有：

  $$a_t=f_{\varphi }({\epsilon }_t;s_t)=f_{\varphi }^{\mu }(s_t)+{\epsilon }_t\odot f_{\varphi }^{\sigma }(s_t)$$

  即先从一个单位高斯分布$\mathcal{N}$$\mathcal{N}$采样，再把采样值乘以标准差后加上均值。这样就可以认为是从策略高斯分布采样，并且这个采样动作的过程对于策略函数来说是可导的。

  此外，最后包含Z的那一项不受$\varphi$$\phi$影响，可将其忽略。

  最终：

  $$\begin{array}{}\text{(17)}& J_{\pi }(\varphi )=E_{s_t\sim D,{\epsilon }_t\sim \mathcal{N}}[\alpha \log {\pi }_{\varphi }(f_{\varphi }({\epsilon }_t;s_t)|s_t)-Q_{\theta }(s_t,f_{\varphi }({\epsilon }_t;s_t))]\end{array}$$

  其中$\mathcal{N}$$\mathcal{N}$是单位高斯分布

  在初版的SAC中作者表示同时维护两个值函数可以使训练更稳定，不过在第二版中，作者引入自然调整温度系数$\alpha$$\alpha$，使得SAC更稳定，于是就只保留了Q函数。

  tricks in SAC

  锦上添花的trick: double Q network,target work

  Automating Entropy Adjustment for MERL

  前文提到过，温度系数 $\alpha$$\alpha$ 作为一个超参数，可以控制MERL对熵的重视程度。但是不同的强化学习任务，甚至同一任务训练到不同时期，都各自有自己适合的 $\alpha$$\alpha$ ，而且这个超参数对性能的影响明显，还好，这个参数可以让SAC自己调节。实现在最优动作不确定的某个状态下，熵的取值应该大一点；而在某个最优动作比较确定的状态下，熵的取值可以小一点。

  作者将其构造为一个带约束的优化问题：最大化期望收益的同时，保持策略的熵大于一个阈值。为了自动调整熵正则化项，SAC将强化学习的目标改为一个带约束的优化问题：

  $$\begin{array}{}\text{(18)}& \underset{\pi }{max}{E}_{\pi }[\sum _{t=0}^{\mathrm{\infty }}r(s_t,a_t)],s.t.E_{(s_t,a_t)\sim {\rho }_{\pi }}[-\log {\pi }_t(a_t|s_t)]\ge {\mathcal{H}}_0\end{array}$$

  其中，${\mathcal{H}}_0$$\mathcal{H}_0$是预先定义好的最小策略熵的阈值。上式即最大化期望回报，同时约束熵的均值大于${\mathcal{H}}_0$$\mathcal{H}_0$。

  最终得到关于$\alpha$$\alpha$的优化的损失函数：

  $$\begin{array}{}\text{(19)}& J(\alpha )=E_{a_t\sim {\pi }_t}[-\alpha \log {\pi }_t(a_t|{\pi }_t)-\alpha {\mathcal{H}}_0]\end{array}$$

  即当策略的熵低于目标值${\mathcal{H}}_0$$\mathcal{H}_0$时，训练目标$L(\alpha )$$L(\alpha)$会使$\alpha$$\alpha$的值增大，进而在上述最小化损失函数$L_{\pi }(\theta )$$L_\pi(\theta)$的过程中增加了策略熵对应项的重要性；而当策略的熵高于目标值${\mathcal{H}}_0$$\mathcal{H}_0$时，训练目标$L(\alpha )$$L(\alpha)$会使$\alpha$$\alpha$的值减小，进而使得策略训练时更专注于价值提升。

  squashed Gaussian Trick

  action从正态分布中得到，则动作的值$u\in (-\mathrm{\infty },+\mathrm{\infty })$$u\in(-\infty,+\infty)$。如果动作值范围有界限，比如$(-1,1)$$(-1,1)$，就需要对抽样得到的u进行转换，$\mu (u|s)$$\mu(u|s)$是对应的概率密度,用tanh映射到$a\in (-1,1)$$a\in (-1,1)$，随机变量就换元了，计算$\log ({\pi }_{\psi }(a_t|s_t))$$\log(\pi_\psi(a_t|s_t))$也要有相应的变换。

  $$\begin{array}{c}a=\tan u\\ {\tan }^{\prime }u=1-{\tan }^{2}u\end{array}$$

  有：

  $$\begin{array}{}\text{(20)}& \pi (a|s)=\mu (u|s)|\det (\frac{da}{du}){|}^{-1}\Rightarrow \log \pi (a|s)=\log \mu (a|s)-\sum _{i=1}^D\log (1-{\tanh }^2(u_i))\end{array}$$

  其中D是U的维度，det是求行列式。

  但在实际的运算中，使用的计算式为：$2\ast (\log 2-{\pi }_a-softplus(-2{\pi }_a))$$2*(\log{2}-\pi_a-softplus(-2\pi_a))$，是对Tanh squashing correction公式更加数值稳定的替代。

  证明：

  $$\begin{array}{rl}\log (1-{\tanh }^{2}u)& =\log sec{h}^2(u)\\ & =2\log sech(u)\\ & =2\log (\frac{2}{\exp (u_i)+\exp (-u_i)})\\ & =2(\log 2-\log (\exp (u_i)+\exp (-u_i)))\\ & =2(\log 2-\log (\exp u_i\cdot (1+\exp (-2u_i))))\\ & =2(\log 2-u_i-\log (1+\exp (-2u_i)))\\ & =2(\log 2-u_i-softplus(-2u_i))\end{array}$$

   

  算法流程

  用随机的网络参数${\omega }_1、{\omega }_2\text{和}\theta$$\omega_1、\omega_2和\theta$分别初始化Critic网络$Q_{{\omega }_1}(s,a)\text{和}{Q}_{{\omega }_2}(s,a)$$Q_{\omega_1}(s,a)和Q_{\omega_2}(s,a)$和Actor网络${\pi }_{\theta }(s)$$\pi_\theta(s)$

  复制相同的参数${\omega }_1^{-}\leftarrow {\omega }_1、{\omega }_2^{-}\leftarrow {\omega }_2\text{和}{\theta }^{-}\leftarrow \theta$$\omega_1^-\leftarrow \omega_1、\omega_2^-\leftarrow \omega_2和\theta^- \leftarrow\theta$，分别初始化目标网络$Q_{{\omega }_1^{-}}(s,a)、Q_{{\omega }_2^{-}}(s,a)$$Q_{\omega_1^-}(s,a)、Q_{\omega_2^-}(s,a)$和${\pi }_{{\theta }^{-}}(s)$$\pi_{\theta^-}(s)$

  初始化经验回放池D

  for 序列e=1 to E do:

  获取环境初始状态$s_1$$s_1$

  for 时间步 t=1 to T do:

  $a_t={\pi }_{\theta }(s_t)$$a_t=\pi_\theta(s_t)$

  $s_{t+1},r_t=env.step(action)$$s_{t+1},r_t=env.step(action)$

  D.append(($s_t,a_t,r_t,s_{t+1}$$s_t,a_t,r_t,s_{t+1}$))

  for 训练轮次 k=1 to K do:

  从D中取N个元组样本$\{(s_i,a_i,r_i,s_{i+1}){\}}_{i=1,\dots ,N}$$\{(s_i,a_i,r_i,s_{i+1})\}_{i=1,\dots,N}$

  对每个元组，用目标网络计算$y_i=r_i+\gamma \underset{j=1,2}{min}{Q}_{{\omega }_j^{-}}(s_{i+1},a_{i+1})-\alpha \log {\pi }_{\theta }(a_{i+1}|s_{i+1}),\text{其}\text{中}{a}_{i+1}\sim {\pi }_{\theta }(\cdot |s_{i+1})$$y_i=r_i+\gamma\min_{j=1,2}Q_{\omega_j^-}(s_{i+1},a_{i+1})-\alpha\log\pi_\theta(a_{i+1}|s_{i+1}),其中a_{i+1}\sim \pi_\theta(\cdot|s_{i+1})$

  对两个Critic网络都进行如下更新：对j=1,2，最小化损失函数$L=\frac{1}{N}\sum _{i=1}^N(y_i-Q_{{\omega }_j}(s_i,a_i){)}^2$$L=\frac{1}{N}\sum_{i=1}^N(y_i-Q_{\omega_j}(s_i,a_i))^2$

  用重参数化技巧采样动作$\widetilde{a_i}$$\tilde{a_i}$，然后用以下损失函数更新当前Actor网络：

  $$L_{\pi }(\theta )=\frac{1}{N}\sum _{i=1}^N(\alpha \log {\pi }_{\theta }(\widetilde{a_i}|s_i)-\underset{j=1,2}{min}{Q}_{{\omega }_j}(s_i,\widetilde{a_i}))$$

  更新熵正则项的系数$\alpha$$\alpha$

  更新目标网络：

  $$\begin{array}{c}{\omega }_1^{-}\leftarrow \tau {\omega }_1+(1-\tau ){\omega }_1^{-}\\ {\omega }_2^{-}\leftarrow \tau {\omega }_2+(1-\tau ){\omega }_2^{-}\end{array}$$

  end for

  end for

  end for

参考资料

#Feliks SAC(Soft Actor-Critic)阅读笔记 https://zhuanlan.zhihu.com/p/85003758

张伟楠 沈键 俞勇 《动手学强化学习》 人民邮电出版社

Pytorch深度强化学习4. SAC中的Squashed Gaussian Trick - 0xAA的文章 - 知乎 https://zhuanlan.zhihu.com/p/138021330