Hao Blog

「不断探索 享受乐趣」

约瑟夫问题递推法

约瑟夫问题递推法 模拟的时间开销太大 不得不回头考虑递推关系： 将编号改为从0开始,记f(n,m)为原问题的解 由于第一次遍历了0~(m-1)%n，则第二次遍历相当于将整个队伍循环左移了k位(k=m%n) 所以子问题f(n-1,m)的解循环右移k位即为原问题的解f(n,m) f(n,m)=(f(n-1,m)+m)%n 1 2 3 4 5 6 7 8 9 10 11 ...

Posted by Hao Blog on September 2, 2024

Sac算法关于重参数化技巧的说明

[toc] 不用重参数化技巧的SAC 不能直接求梯度的原因 SAC算法的目标函数： \(J_{\pi}(\phi)=E_{s_t \sim D,a_t \sim \pi_\phi}[\log_{\pi_\phi}(a_t|s_t)-\frac{1}{\alpha}Q_{\theta}(s_t,a_t)]\) 如果按照机器学习通常的做法，就是将期望里的项目（即中括号里的项）对$\phi$...

Posted by Hao Blog on April 19, 2024

Sac算法关于重参数化技巧的说明

2024-04-19-SAC算法关于重参数化技巧的说明 不用重参数化技巧的SAC不能直接求梯度的原因使用REINFORCE的方法对策略梯度进行推导使用重参数技巧的SAC使用重参数化技巧的原因不用重参数化技巧的SAC不能直接求梯度的原因SAC算法的目标函数：(1)Jπ(ϕ)=Est∼D,at∼πϕ[logπϕ⁡(at|st)−1αQθ(st,at)]如果按照机器学习通常的做法，就...

Posted by Hao Blog on April 19, 2024

Soft actor critic(sac) algorithm mathematical derivation

2023-05-05-Soft Actor-Critic(SAC)算法详解 基本思想最大熵学习（MERL）soft value function & Energy based policy原本的RL值函数根据目标函数（3），得到Soft value function(SVF)soft Q function和soft V function的关系：Energy Based ...

Posted by Hao Blog on May 16, 2023

Trpo算法详解

"TRPO算法详解" 一、算法背景二、定义策略评估(policy evaluation)状态值函数(state value function)状态-动作值函数(state-action value function)动作优势函数(advantage action function)三、将新策略的回报表示为旧策略的回报+其他值四、对近似，获得替代回报函数五、控...

Posted by Hao Blog on May 3, 2023

悼王荆公安石诞辰千年记

​ 王荆公安石出生于公元 1021 年 12 月 18 日，少即有神童之名，舞象之年在短暂的迷茫之后，立志效仿孔孟，一心敬慕隐居山野的高贤大德，向往宁静单纯的田园生活，并一度将全部热忱倾注于“为己之学”， 自百家诸子之书，至于《难经》、《素问》、《本草》、诸小说，无所不读;农夫女工，无所不问。但父亲早逝，为维持家里的生计被迫中断“修身立德”的计划，参加科考并于 21 岁获得甲等第四名，从此...

Posted by Hao on December 18, 2021

读《小人物：我和父亲乔布斯》

​ 在这个商业繁盛的时代，企业家能达到的影响力是前所未有的，在全球各国如此多的企业家中，乔布斯绝对是最闪亮最耀眼的那个。他留给世界的遗产是一种理念： 用我们仅有的天分去表达我们深层的感受，去表达我们对前人所有贡献的感激，去为历史长河加上一点儿什么。那就是推动我的力量 ​ 他做到了：推动个人电脑的普及，对手机、音乐、平板电脑、动画电影、数字出版的变革。以一己之力改变六大产业，没...

Posted by Hao on July 7, 2019

躲在篱笆里的人

[toc] 犹记得还在感慨2012这一年在我人生中的重要性，蛇年已过半。 七月的北京彻底进入了盛夏，每天早早的，整个城市已被照得亮亮的。坐在北大的图书馆里，四周堆满了书，我只想静静地追溯这段冬春夏的时光。 钱钟书先生曾经写过《围城》，外面的人千方百计想进来，身在其中的人挣扎着要出去，这就是世间常态。而我，正躲在一个外表看似华丽的篱笆里。我非常崇拜的一位已故的天才曾说过：你的时间...

Posted by Hao on July 5, 2013

这一周的实习面试总结

这个博客是3个月之前弄的，一直想往上面加东西，但是一直很忙，没有时间弄。当初挺频繁地写日志各种吐槽，完全是因为太空了，现在才明白，经常写文章的人，要么是因为太空了，要么是因为太有毅力了。 各大公司的实习生招聘也大多密集地在四月份进行，这一周我就面了三个公司，到今天下午终于全面完了，闲话少说，做个总结吧。 Yahoo北京研发中心 这个算是雅虎美国在中国独立机构，和阿里巴...

Posted by Hao on April 15, 2013

关于为什么要开独立博客写文章呢

写博文的好处呢，可以参照 《为什么你应该（从现在开始就）写博客》。很多好处啊，不过这文章真长，我看了十几行懒得往下看了，先mark一下，我争取这辈子能看完。 而至于开独立博客写博文的好处呢，一个呢，就是不用担心”河蟹“啊”屏蔽“啊，随着年龄的增长，越来越不够淡定了，不想再因为仅仅抱怨一下微软64位整数的问题而被删帖啊删评论啊，说该说的话，做该做的事情，这样才痛快么；另一...

Posted by Hao on January 24, 2013

FEATURED TAGS
thinking Life Reading
ABOUT ME

stay hungry,stay foolish

FRIENDS
-->
1