OpenAI推出新功能：预测输出，让ChatGPT输出速度飞跃！GPT-4o提速至多5倍

近日，OpenAI推出了一项令人振奋的新功能——预测输出（PredictedOutputs）。
这一功能的加入，让ChatGPT的输出速度实现了质的飞跃，特别是针对GPT-4o模型，其输出速度最快可提升至原先的5倍。
让我们深入了解这一新功能，并探究其背后的技术细节。

一、预测输出：提速背后的神奇力量

预测输出功能的核心在于，它允许模型在生成输出时，利用已有的知识和上下文信息，提前预测出部分输出内容。
以编程任务为例，当你向GPT-4o提交一个编程任务时，通过预测输出功能，模型可以快速生成大部分已知内容的输出，仅对部分需要修改或添加的内容进行实时计算。
这样一来，大大缩短了模型的响应时间。

二、实际应用展示

1. 编程任务：在预测输出的加持下，GPT-4o在编程任务上的表现尤为出色。据FactoryAI公布的数据显示，GPT-4o的响应时间比之前快了2-4倍，同时保持了高精度。这意味着开发者可以更快速地获取模型的反馈，从而提高开发效率和体验。
2. 内容创作：除了编程任务，预测输出功能在内容创作领域也展现出强大的实力。例如，Firecrawl创始人EricCiarla利用预测输出将博客文章转为SEO内容，体验到了前所未有的快速和便捷。

三、技术细节解析

OpenAI认为，在某些情况下，大型语言模型（LLM）的大部分输出都是可以提前知道的。
对于只需要对部分文本或代码进行细微修改的任务，预测输出功能可以通过以下方式实现：将现有内容作为预测文本传入模型，让模型快速生成整个输出内容。
例如，在重构C代码时，可以将现有的类文件作为预测文本，快速重新生成整个文件。

四、使用体验与反馈

自预测输出功能推出以来，网友们的反响热烈。
实测数据显示，GPT-4o的输出速度确实有了显著的提升。
这一功能的推出也带来了另一个变化——模型的价格。
有网友表示，虽然输出速度变快了，但价格也相应地上去了。

五、注意事项与使用建议

1. 预测输出功能目前仅支持GPT-4o和GPT-4o-MINI系列模型。
2. 在使用预测输出功能时，以下API参数是不受支持的，使用时需要注意。
3. 除了预测输出功能，OpenAI还提供了其他几种延迟优化的方法，包括加速处理token、生成更少的token、使用更少的输入token、减少请求、并行化等。感兴趣的用户可以查阅相关文档了解详情。

六、总结

预测输出功能是OpenAI推出的一项重大改进，它极大地提高了GPT-4o模型的输出速度，为开发者带来了更高效、更便捷的体验。
随着技术的发展和进步，我们也需要注意到模型价格的变动。
在未来，我们期待OpenAI能够继续推出更多创新的功能和优化措施，为开发者用户带来更好的体验。

本文来自微信公众号：微信公众号（ID：QbitAI），作者：关注前沿科技。
欢迎关注我们的公众号，获取更多前沿科技资讯。

标签： openai、

本文地址： https://www.gosl.cn/hlzxwz/7ef8cf8b57a8d4d13041.html

上一篇：一天马微电子展示四边等窄OLED屏幕技术...
下一篇：全球汽车供应链重塑面临严峻挑战...