新AI技术提升计算机理解序列的能力
斯坦福大学、加州大学圣地亚哥分校、加州大学伯克利分校和Meta AI的研究人员开发了一项新技术，以改进计算机处理信息序列的方式，如文本中的句子。这项名为“测试时训练（TTT）层”的创新技术，有助于计算机更好地理解和预测长数据序列。该研究由余舜和新浩李领导，于2024年7月5日发表。
关键要点
- 测试时训练（TTT）层： 这些新层使计算机在运行过程中也能学习和提高理解能力。
- 两种模型： 研究人员介绍了简单高效的TTT-Linear模型和更复杂但处理长序列潜力更大的TTT-MLP模型。
- 性能提升： 两种模型在处理长序列时表现均不逊于或优于当前领先技术。
- 效率： TTT-Linear模型在处理长序列时比领先的Transformer模型更快。
分析
新的TTT层改进了循环神经网络（RNN）中使用的传统方法，RNN常用于处理数据序列。传统RNN在处理长序列时常常受限于“记忆”能力。TTT层通过在使用过程中持续学习和更新“记忆”，更有效地处理长序列。
研究人员测试了两种版本：
- TTT-Linear： 一种简单、高效的模型，平衡了速度和性能。
- TTT-MLP： 一种更复杂的模型，尽管存在一些记忆挑战，但显示出处理非常长序列的潜力。
在测试中，这些模型的参数从1.25亿到13亿不等（模型复杂度的度量单位）。它们在处理长序列时保持或提高了准确性，这是传统RNN的挑战。
此外，该研究还介绍了使这些新模型在当前硬件上高效运行的实用方法。例如，TTT-Linear模型在处理长序列时已经比Transformer模型更快。
你知道吗？
- 复杂性问题： 传统模型如Transformer随着序列长度增加，运行成本呈二次方增长。而TTT层的复杂性保持线性，更适合处理长序列。
- 边学边用： TTT层使用自监督学习，每处理一个序列就更新一次“记忆”，类似于人类不断从新信息中学习。
- 背景： 这项新技术解决了OpenAI在2020年研究中指出的旧RNN在有效处理长序列方面的局限性。
这项新技术有望显著提升计算机处理大量文本和其他序列数据的能力，可能对人工智能的多种应用产生积极影响。研究人员已在GitHub上公开了他们的代码，邀请社区在此基础上进一步开发。