在大模型时代,谷歌 2017 年开创性论文《Attention Is All You Need》中提出的 Transformer 已经成为主流架构。
然而,刚刚一家由 MIT 计算机科学与人工智能实验室 (CSAIL) 前研究人员共同创立的初创公司 Liquid AI 却走出了不一样的路线。
Liquid AI 表示他们的目标是「探索构建超越生成式预训练 Transformer (GPT) 基础模型的方法」。
为了实现这一目标,Liquid AI 推出了其首批多模态 AI 模型:Liquid Foundation Models(LFM)。这是基于第一原理构建的新一代生成式 AI 模型,其 1B、3B 和 40B LFM 在各个规模上均能实现 SOTA 性能,同时保持更小的内存占用和更高效的推理。
Liquid AI 后训练主管 Maxime Labonne 在 X 上表示,LFM 是他职业生涯中最自豪的版本 ,LFM 的核心优势在于它们能够胜过基于 Transformer 的模型,同时占用更少的内存。