新智元报道：颠覆传统！MIT系初创公司LiquidAI推出液体基础模型LFM，成为非GPT架构的先锋

近日，来自MIT系的初创公司LiquidAI宣布推出其首批多模态非Transformer模型——液体基础模型LFM（Liquid Foundation Model）。作为通用人工智能模型，LFM可用于建模任何类型的顺序数据，包括视频、音频、文本、时间序列和信号。这一模型的推出，标志着人工智能领域的一大突破，特别是在模型架构和效率方面。

一、LFM模型：超越Transformer架构的先锋

LFM是LiquidAI团队基于液体神经网络（LNN）理念研发出的新型基础模型。
在基准测试中，LFM表现出卓越的性能，尤其是在不同规模上的表现令人瞩目。
公司的后训练主管Maxime Labonne表示，LFM是“我职业生涯中发布的最自豪的产品”。

LFM的核心优势在于其显著较少的内存占用和高效的推理能力。
与传统的Transformer架构相比，LFM在处理长输入时内存效率更高。
例如，对于同等规模的模型，LFM在推理内存占用率方面优于其他模型，特别是在token长度扩展时。

二、液体神经网络（LNN）：开启全新模型设计空间

LiquidAI团队提出的液体神经网络（LNN）为构建超越生成式预训练Transformer（GPT）的基础模型提供了新的可能性。
LNN灵感源于线虫的神经结构，即使在训练后也能保持适应性和对变化的鲁棒性。
这一全新的模型架构使人工“神经元”或用于转化数据的节点更高效、适应性更强。

基于LNN，LiquidAI团队创建了一个全新的模型设计空间，专注于不同的模态和硬件需求。
目标是以更高效、更适应各种硬件平台的方式构建超越GPT的基础模型。

三、多个突破：LFM引领AI模型新时代

LFM的推出不仅标志着在模型架构上的突破，还在多个方面引领了AI模型的新时代。

LFM具有自适应能力，可作为各种规模AI的基础模型架构。
这意味着它可以根据特定的硬件平台或参数要求进行自动优化。

LFM的设计空间主要由两个维度定义：架构及其核心运算符的特征化和计算复杂度。
通过探索和完善这个设计空间，团队能够在控制计算需求的同时最大化模型性能。

最后，团队通过改进模型架构以及采用新的预训练、训练中优化和后训练策略等方式，使得LFM能够在需要丰富知识储备的任务上与更大规模的模型相抗衡。

四、前景展望：LiquidAI助力大规模AI模型的帕累托边界推进

LiquidAI团队的研究不仅在模型架构方面取得了突破性进展，还在训练前准备、训练后处理以及相关的计算硬件和软件系统方面进行了全面优化。
团队致力于推进大规模AI模型的帕累托边界，在多个领域做出了重要贡献。

展望未来，LiquidAI将继续探索和发展新型的人工智能模型和技术，为人类带来更多便利和可能性。
随着技术的不断进步，我们期待看到更多基于液体神经网络的新型模型问世，为人工智能领域的发展注入新的活力。

参考资料：

标签： mit、 神经网络、 算法、 模态、 大模型、

本文地址： https://www.gosl.cn/hlzxwz/d990cb0eeeea62acadea.html

上一篇：助力证明庞加莱猜想奠定几何学发展基石...
下一篇：揭示陈宝权教授如何将图形计算引领至全球模...