探寻技术与时代的步伐

文章编号：24751 更新时间：2024-11-18 分类：互联资讯 阅读次数：次

资讯内容

标题：《Transformer架构与AI革命：谷歌八子Jakob Uszkoreit专访》

正文：

2017年，一场革命性的技术风暴席卷了人工智能领域，其源头来自一篇由谷歌的八位机器学习研究人员共同发表的本文——《注意力就是你所需要的一切》（AttentionIsAllYouNeed）。
本文引领了AI技术的新纪元，引入了TransformerAI架构，如今已成为几乎所有主流生成式人工智能模型的核心基础。
近日，我们有幸采访到了本文的八位作者之一，谷歌前研究工程师Jakob Uszkoreit博士，深入探讨了Transformer架构的发展历程、大语言模型的早期探索以及他在生物计算领域的新冒险。

问：您在《注意力就是你所需要的一切》本文中的主要贡献是什么？

答：在本文中，我主要提出了利用注意机制，特别是自我注意来取代当时序列转导模型中占据主导地位的递归机制的观点。
这一替代方案极大地提升了效率，也因此带来了更为显著的效果。
脚注中详细阐述了这一切，但核心贡献在于为行业开辟了一条新的路径。

问：您是否预见到《注意力就是你所需要的一切》本文将会带来怎样的产业变革？

答：我们的工作并非孤立存在，而是站在了众多前人研究的基础上。
我们团队以及其他众多研究者多年的努力才促成了本文的发表。
因此，将后续的发展完全归功于本文可能并不准确。
我们早已对注意力模型寄予厚望，认为其能够从技术层面推动整个领域的发展。
对于这项技术能否催生出像ChatGPT这样的产品，我们并没有完全预见到。
尽管我们团队对大语言模型的能力感到震惊，但并未直接将其转化为市场产品，部分原因是我们对于开发大规模产品的投资持保守态度。

问：既然谷歌在研发大语言模型方面有所建树，那么当ChatGPT在公众面前取得巨大成功时，您有何感想？

答：看到ChatGPT迅速接纳并应用新技术的速度，我确实感到惊讶和赞叹。
至于是否感到遗憾，我并未觉得“哦，真可惜，他们抢先了”，而是觉得“哇，这本来可以更早些实现的”。
对于人们能够如此迅速地接受并应用新技术，我深感钦佩。
当然，看到技术的快速发展并为人们的生活带来积极的影响，也让我感到欣慰。

问：对于ChatGPT的突破性意义，您如何看待？

答：ChatGPT确实是一个令人印象深刻的成果。
如果你熟悉相关技术，你会发现它基于已有的GPT模型技术，但在对话循环中保持上下文的能力使其更具吸引力。
尽管它并非一个真正的技术突破，但其展现出的实用性和用户创造力的结合确实令人瞩目。
这可以视为技术发展的一个重要里程碑。

问：您的后续工作重心是什么？对于您在生物计算领域的探索有何看法？

答：我近期与人共同创立了Inceptive公司，致力于将深度学习技术引入生物化学领域。
我们的目标是利用深度学习和高通量生物化学实验来设计可编程、更高效的药物。探寻技术与时代的步伐
我们正在研发一种生物软件，利用人工智能编译器将特定行为转化为RNA序列。
当这些RNA序列被引入生物系统时，它们能够执行预设的功能。
这将彻底改变医学的面貌。
对于如何确保不会意外地创造出具有破坏性的RNA序列的问题，我们将沿用医学的保障措施并严格进行实验以确保安全性。
我们也非常重视与学术界和工业界的合作以共同推进这一领域的发展。
关于未来的工作方向我们会非常关注深度学习和生物化学交叉领域的探索和应用创新相信未来我们将会看到更多激动人心的成果涌现出来改变人类生活的方方面面。
总之通过这次采访我们对Transformer架构和AI革命有了更深入的了解也期待未来更多的技术创新能够推动人工智能的发展并造福人类社会。