标题：指令调优的隐式学习与语言模型的适应性调整

正文：

机器之心报道编辑：杜伟、陈

近年来，指令调优（Instruction Tuning）作为优化技术中的新星备受关注。
通过对模型的输入进行微调，使其更好地适应特定任务，指令调优显著提升了语言模型的性能。
先前的研究已经表明，指令调优的样本效率相当高，仅需大约1000个指令-响应对或精心制作的提示和少量指令-响应示例即可实现显著优化。

最近，来自斯坦福大学的研究者进一步探索了指令遵循的一种新颖现象，即指令遵循甚至可以隐式地从语言模型中产生，并非通过明确设计的方法。
他们的研究发现了两种执行隐式指令调优的适应形式，并与显式指令调优进行了对比。

一、响应调优：仅对响应进行训练

研究者在实验中探讨了响应调优，也就是仅对模型的响应进行微调，而不涉及对应的指令。
他们使用包含指令和对应响应的数据集进行训练，但在微调过程中将指令字符串替换为空字符串。
实验结果显示，响应调优足以产生指令遵循行为。

研究者使用LIMA数据集对Llama-2-7B和OLMo-7B-Feb2024语言模型进行了响应调优。
实验结果表明，响应调优模型的性能与指令调优模型相比具有一定的竞争力。
在AlpacaEval2上的评估显示，响应调优模型对指令调优模型的胜率相当可观。

值得注意的是，响应调优并不提供关于指令到响应映射的明确信息，而只提供关于所需响应分布的信息。
这表明指令-响应映射可以在预训练期间学习，但在微调过程中所有理想响应的概率都过低，难以生成。
从响应调优的结果来看，指令调优的关键部分似乎在于获得期望响应的分布。

二、单任务调优：仅对狭窄目标领域进行训练

除了响应调优，研究者还发现对单任务、窄域数据进行微调也会产生广泛的指令遵循行为。
即使训练数据只用于生成特定领域的响应，如Python代码或诗歌，模型在接收指令后仍然能够生成多种类型的文本，如传记或食谱。

例如，经过诗歌数据调校的Llama-2-7B模型在AlpacaEval2评估中与经过指令调优的模型相比表现出色。
这一结果进一步证明了隐式指令调优的有效性。

实验设置与发现

为了系统地评估指令调优及其隐式形式的效果，研究者进行了一系列实验。
他们使用包含指令和对应响应的示例数据集进行微调，并定义了指令遵循行为的标准。
在实验设置中，他们使用了贪婪解码来观察指令遵循响应何时最有可能是模型的延续。

研究者比较了指令调优、响应调优以及基础预训练模型在AlpacaEval评估中的表现。
实验结果表明，响应调优和单任务微调都能够产生指令遵循行为，尽管其效果可能不如显式指令调优显著。
研究者还探讨了响应排序能力，并计算了不同模型在Alpaca训练集上的响应排序能力成立的可能性。

结论与展望

本文的研究结果表明，即使适应方法本意不在于产生指令遵循行为，它们也可能隐式地做到这一点。
本文作者之一John Hewitt表示，这是他在斯坦福NLP的最后一篇本文，他即将加入哥伦比亚大学担任助理教授。

该研究为指令调优提供了一种新的视角，即指令遵循行为可以隐式地从语言模型中产生。
这一发现有望为未来的语言模型优化提供新的思路和方法。
未来的研究可以进一步探索如何通过隐式指令调优提高语言模型的性能，并探索其他可能的适应形式和应用场景。
同时，该研究也为我们理解语言模型的内部机制提供了新的线索，值得我们进一步深入探索。

（注：以上内容仅为基于所提供信息的虚构报道，具体实验结果和细节请以原本文为准。）

标签： 隐式、 斯坦福、 示例、 instruction、 预训练、

本文地址： https://www.gosl.cn/jsjcwz/ed036f447a8611d74c8f.html

上一篇：Llama还有可在手机上运行的版本刚刚来了支...
下一篇：大会小扎赢麻了眼镜最强MetaAIAR最受欢迎开...