人类的教育方式，对大模型而言也很适用。

养育孩子时，古往今来人们都会谈到一种重要方法：以身作则。也就是让自己成为孩子模仿学习的范例，而不是单纯地告诉他们应该怎么做。在训练大语言模型（LLM）时，我们或许也能采用这样的方法 —— 向模型进行演示。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文标题：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback
• 论文地址：https://arxiv.org/pdf/2406.00888

令第一轮迭代时的初始策略为 π_0。通过采样该策略可得到一个数据集 D_0。然后可以基于此生成一个用于 RLHF 的比较数据集，可记为 D_E ⪰ D_0。使用这些导出的比较数据，可以对 π_0 进行更新而得到 π_1。根据定义，也成立。之后，继续使用 π_1 生成比较数据，并且 D_E ⪰ D_1。继续这一过程，不断使用之前的所有策略生成越来越多样化的比较数据。该团队将这些比较数据称为「重放比较数据（replay comparisons）」。

一个实践算法。在实践中，DITTO 算法是一个迭代过程，其由三个简单的组件构成，如算法 1 所示。

首先，在专家演示集上运行监督式微调，执行数量有限的梯度步骤。将这设为初始策略 π_0. 第二步，采样比较数据：在训练过程中，对于 D_E 中的 N 个演示中的每一个，通过从 π_t 采样 M 个完成结果而构建一个新的数据集 D_t，然后根据策略 (2) 式将它们添加到排名中。当从 (2) 式采样比较数据时，每一批 B 都由 70% 的「在线」比较数据 D_E ⪰ D_t、20% 的「重放」比较数据 D_E ⪰ D_{i

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

其中 σ 是来自 Bradley-Terry 偏好模型的 logistic 函数。在每次更新期间，来自 SFT 策略的参考模型都不会更新，以避免偏离初始化过远。

 

将 DITTO 推导成在线模仿学习

 

DITTO 可通过在线模仿学习角度推导出来，其中组合使用专家演示和在线数据来同时学习奖励函数和策略。具体来说，策略玩家会最大化预期奖励 ? (π, r)，而奖励玩家则会最小化在在线数据集 D^π 上的损失 min_r L (D^π , r) 更具体而言，该团队的做法是使用 (1) 式中的策略目标和标准的奖励建模损失来实例化该优化问题：

推导 DITTO，简化 (3) 式的第一步是解决其内部策略最大化问题。幸运的是，该团队基于之前的研究发现策略目标 ?_KL 有一个闭式解，其形式为，其中 Z (x) 用于归一化分布的配分函数。值得注意的是，这会在策略和奖励函数之间建立一种双射关系，这可以被用于消除内部优化。通过重新排列这个解，可将奖励函数写成：

此外，之前有研究表明这种重新参数化可以表示任意奖励函数。于是，通过代入到 (3) 式，可以将变量 r 变成 π，从而得到 DITTO 目标：

请注意，类似于 DPO，这里是隐式地估计奖励函数。而不同于 DPO 的地方是 DITTO 依赖一个在线的偏好数据集 D^π。

 

为什么 DITTO 比仅使用 SFT 好？

 

DITTO 表现更好的一个原因是：通过生成比较数据，其使用的数据量远多于 SFT。另一个原因是在某些情况下，在线模仿学习方法的表现会超过演示者，而 SFT 只能模仿演示。 

 

实验结果

 

该团队也进行了实证研究，证明了 DITTO 的有效性。实验的具体设置请参阅原论文，我们这里仅关注实验结果。

 

基于静态基准的研究结果 

 

静态基准的评估使用了 GPT-4，结果见表 1。

平均而言，DITTO 胜过其它所有方法：在 CMCC 上平均胜率为 71.67%，在 CCAT50 上平均胜率为 82.50%；总体平均胜率为 77.09%。在 CCAT50 上，对于所有作者，DITTO 仅在其中一个上没有取得全面优胜。在 CMCC 上，对于所有作者，DITTO 全面胜过其中一半基准，之后是 few-shot prompting 赢得 3 成。尽管 SFT 的表现很不错，但 DITTO 相较于其的平均胜率提升了 11.7%。

 

用户研究：测试泛化到自然任务的能力

 

总体而言，用户研究的结果与在静态基准上的结果一致。DITTO 在对齐演示的偏好方面优于对比方法，如表 2 所示：其中 DITTO (72.1% 胜率) > SFT (60.1%) > few-shot (48.1%) > self-prompt (44.2%) > zero-shot (25.0%)。

DITTO 在什么时候有用？ 

 

在使用 DITTO 之前，用户必须考虑一些前提条件，从他们有多少演示到必须从语言模型采样多少负例。该团队探索了这些决定的影响，并重点关注了 CMCC，因为其覆盖的任务超过 CCAT。此外，他们还分析了演示与成对反馈的样本效率。

 

算法扰动 

 

该团队对 DITTO 的组件进行了消融研究。

 

如图 2（左）所示，增加 DITTO 的迭代次数通常可以提升性能。

可以看到，当迭代次数从 1 次提升到 4 次，GPT-4 评估的胜率会有 31.5% 的提升。这样的提升是非单调的 —— 在第 2 次迭代时，性能稍有降低（-3.4%）。这是因为早期的迭代可能会得到噪声更大的样本，从而降低性能。另一方面，如图 2（中）所示，增加负例数量会使 DITTO 性能单调提升。此外，随着采样的负例增多，DITTO 性能的方差会下降。

另外，如表 3 所示，对 DITTO 的消融研究发现，去掉其任何组件都会导致性能下降。

比如如果放弃在线方式的迭代式采样，相比于使用 DITTO，胜率会从 70.1% 降至 57.3%。而如果在在线过程中持续更新 π_ref，则会导致性能大幅下降：从 70.1% 降至 45.8%。该团队猜想其原因是：更新 π_ref 可能会导致过拟合。最后，我们也能从表 3 中看到重放和策略间比较数据的重要性。

 

样本效率 

 

DITTO 的一大关键优势是其样本效率。该团队对此进行了评估，结果见图 2（右）；同样，这里报告的是归一化后的胜率。

 

首先可以看到，DITTO 的胜率一开始会快速提升。在演示数量从 1 变成 3 时，每次增加都会让归一化性能大幅提升（0% → 5% → 11.9%）。

 

但是，当演示数量进一步增加时，收益增幅降低了（从 4 增至 7 时为 11.9% → 15.39%），这说明随着演示数量增加，DITTO 的性能会饱和。

 

另外，该团队猜想，不止演示数量会影响 DITTO 的性能，演示质量也会，但这还留待未来研究。

 

成对偏好与演示相比如何？

 

DITTO 的一个核心假设是样本效率源自于演示。理论上讲，如果用户心中有一套完美的演示集合，通过标注许多成对的偏好数据也能实现类似的效果。

 

该团队做了一个近似实验，使用从指令遵从 Mistral 7B 采样的输出，让一位提供了用户研究的演示的作者也标注了 500 对偏好数据。

 

总之，他们构建了一个成对的偏好数据集 D_pref = {(x, y^i , y^j )}，其中 y^i ≻ y^j。然后他们计算了采样自两个模型的 20 对结果的胜率情况 —— 其一是使用 DITTO 在 4 个演示上训练的，其二是仅使用 DPO 在 {0...500} 偏好数据对训练的。

当仅从 π_ref 采样成对偏好数据时，可以观察到生成的数据对位于演示的分布外 —— 成对的偏好不涉及用户演示的行为（图 3 中 Base policy 的结果，蓝色）。即使当他们使用用户演示对 π_ref 进行微调时，仍然需要超过 500 对偏好数据才能比肩 DITTO 的性能（图 3 中 Demo-finetuned policy 的结果，橙色）。

以上就是只需几个演示就能对齐大模型，杨笛一团队提出的DITTO竟如此高效的详细内容，更多请关注其它相关文章！

# ditto  # 征兵网站建设工作文案  # 网站优化毕业论文结束语  # 推广合伙人摆摊怎么做营销  # 美国seo副业收入  # 英山seo费用  # 新网站建设代理商  # 这一  # 神技  # 也能  # 所示  # 迭代  # 的是  # 胜率  # 只需  # 就能  # 几个  # type  # 排列  # 产业  # 莱芜网站建设视频教程  # 金山区公司网站优化  # 徐州SEO博客查询  # 建材网站怎样推广好呢 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 为什么学typescript  春运抢票准备什么  春运抢票何时开始抢票的  苹果16哪些功能好用  雅迪电动车上的power是什么意思  a03怎么根据编号找文链接入口  一天多少分钟  如何区别固态硬盘  选哪个折叠屏手机好用  虚拟机如何用命令清除垃圾  ftp$如何执行宏命令  净水器上的power是什么意思  NoSQL数据库有哪些特点  显卡上面TYPE-C是什么接口  固态硬盘2m如何修复  手机如何运行ping命令  typescript怎么写call方法  怎么把手机里爱奇艺的视频下载到u盘里  市盈率底下 18A 19E 是什么意思  固态硬盘坏了如何换硬盘  j*a数组怎么存满  苹果16将会带来哪些升级  迅达热水器显示power是什么意思  夸克投屏为什么那么卡  市盈率是负数是什么意思  typescript怎么添加css样式  固态硬盘如何外接  为什么夸克书架书单没了  苹果16如何预购  怎么关360壁纸广告  单片机*计步器怎么用  建伍遥控器power是什么意思  typescript怎么写react  市盈率静是什么意思  喇叭上标的power30w是什么意思  为什么要用typescript6  类似微信的聊天软件有哪些  怎么在项目中使用typescript  typescript多久能学完  新版路由器如何设置路由命令  苹果16哪些型号好  夸克是什么用途  苹果16主打颜色有哪些  远程桌面如何发送命令  比亚迪秦nfc功能是什么意思  angluar如何命令删除dist  如何弄坏固态硬盘  爱奇艺中下载的视频怎么在PPT中播放操作方法  win10电脑如何使用命令提示符  typescript中范围如何设定