DQN为什么离不开经验回放:一次小实验把两个经典组件拆开了

深度Q网络(DQN)能让机器在雅达利游戏里学会拿分。它的底子是 Q 学习,再加一张神经网络。

深度Q网络的基本结构图

深度Q网络的基本结构:智能体看环境状态,网络给出每个动作的价值,挑一个执行,环境返回奖励。

常见的技术介绍里,经验回放缓冲区和目标网络总是被摆在一起。两根支柱,缺一不可,这是标准说法。

对做AI工具和自建[……]

继续阅读

小米 MiMo-V2.6 强化学习训练开直播,36 小时烧了 108 万美元

小米把新模型的强化学习训练过程挂到网上开直播了。

点开那个页面,能看到的东西不少。花了多少钱,跑到第几步,奖励曲线有没有往上走,全都实时更新。连哪个节点的显卡出了故障,页面上也记着。被直播的是两款模型,MiMo-V2.6 的 Flash 和 Pro。

先说最扎眼的一栏,账单。从 Pro 开始训练[……]

继续阅读