Searching…
详细内容 简介 根据维基百科对强化学习的定义：Reinforcement learning (RL) is an area of machine learning inspired by behaviorist psychology, concerned with how software agents ought to take …
至于RL后训练，因为没有对比过其它框架，目前看llamafactory至少是满足我的使用需求的。 不过目前在训练中还是遇到一些无法解决的问题，比如开启deepspeed优化后，bz只能设置成1，否则会报错。
这其实是off policy RL比较常用的方法。 在使用这样的方法过程中， [2, 4]观察到RL会快速让模型输出分布的entropy下降，从而影响模型的explore能力。 所以可以对以上的梯度根据输出分布的entropy来加 …
OpenAI做了好多年RL，能产出东西也非常有限，（虽然我很喜欢OpenAI的RL项目，尤其是那个Hide and Seek）。 现在2025年一回头，找RL人才：人呢？ 人都去哪儿了。 把RL重新捞起来，需要时间， …
目前已有诸多研究采用强化学习（RL）技术改进预训练 VLA 模型，不同方法具体存在什么差异？ 当前，有大量研究快速涌现，致力于通过强化学习（RL）改进预训练VLA模型。 这类方法的主要差异在 …
关于diffusion-rl的好像挺多的，而且方法五花八门各式各样，感觉需要总结一下。 这里总结一下最近看的一些方法，做个笔记。 方法一： 多步降噪看成MDP，套已有RL框架 TRAINING DIFFUSION …
深入解析Diffusion+RL前沿理论及其在机器人基模型中的应用，探索最新技术进展。
置顶 RL专栏汇总（持续更新） 为了成体系地梳理专栏中的文章方便阅读，我按照我的阅读体系把它们整理一下。 1. Typical RL model-free的通用RL算法。 (1) PG、AC、GAE、A2C、A3C、IMPALA、Q …
2025年12月20日 · 知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、 …
RL大致可分为2个流派，策略梯度（policy gradient）和动作价值 (Q-learning)。 LLM的RL一般都是policy gradient，因为LLM本身就是策略模型，输出结果经过reward打分之后，给出模型参数的优化梯度来 …
