无需归一化的 Transformer：深度学习的范式转变？
引言：重新思考一个基本假设
多年来，层归一化（Layer Normalization, LN）一直被认为是 Transformer 架构中不可或缺的组成部分，它稳定了训练过程并提高了性能，涵盖了从自然语言处理到计算机视觉等多个领域。然而，一项名为 "Transformers without Normalization" 的新研究对这种广泛接受的做法提出了挑战，提出了 动态 Tanh（Dynamic Tanh, DyT） 作为一种简单而有效的替代方案。
DyT 消除了对归一化层的依赖，转而引入了一个可学习的元素级函数，从根本上改变了 Transformer 网络处理信息的方式。这种转变对学术界和工业界都具有重大意义，引发了关于归一化的必要性及其计算权衡的问题。如果 DyT 能够大规模成功应用，它可能会重新定义深度学习模型的构建、训练和部署方式，尤其是在对效率要求严苛的环境中。
核心创新：动态 Tanh
该研究认为，LN 对模型稳定性的影响类似于 tanh 类型的挤压函数，尤其是在网络的更深层。基于这一观察，作者提出了 DyT，其定义如下：
[ DyT = tanh(\alpha x) ]
其中 ( \alpha ) 是一个可学习的缩放参数，类似于 LN 的缩放和平移因子（( \gamma ) 和 ( \beta )）。这种看似微小的改变消除了计算均值和方差统计量的需要，从而显著降低了计算开销，同时在各种任务中保持了相当甚至更优越的性能。
主要贡献和发现
1. 跨多个领域的性能
该研究验证了 DyT 在广泛的机器学习应用中的有效性，表明它可以替代几种最先进架构中的 LN：
- 视觉： ViT、ConvNeXt（ImageNet 分类）
- 自监督学习： MAE、DINO
- 语言模型： 基于 LLaMA 的架构
- 语音处理： wav2vec 2.0
- 扩散模型： DiT
- DNA 序列建模： HyenaDNA、Caduceus
结果表明，DyT 在降低计算复杂性的同时，可以匹配或超过传统的基于 LN 的模型。
2. 训练和推理的效率提升
DyT 减少了对统计计算的需求，从而降低了内存开销和计算延迟。该论文的基准测试表明：
- 更快的训练： 减少与归一化相关的操作可以缩短训练时间，而不会牺牲性能。
- 降低推理延迟： 简化的计算可以实现更快的推理，这对于实时应用和大规模部署至关重要。
3. 关于归一化的理论见解
通过移除显式归一化，该研究提出了重要的问题：
- 归一化是必不可少的，还是仅仅是解决训练不稳定问题的权宜之计？
- 像 tanh 这样的简单非线性函数能否替代深度网络中复杂的统计计算？
- 是否存在尚未探索的更有效的替代方案？
这些问题为进一步研究无归一化训练范式打开了大门。
4. 局限性和挑战
虽然 DyT 在 Transformer 中被证明是有效的，但当应用于 ResNet 时，它会遇到困难，无法替代卷积架构中的 批量归一化（Batch Normalization）。这表明不同的架构可能需要专门的技术，而不是一刀切的方法。
此外，对于 大型语言模型（Large Language Models），( \alpha ) 参数的初始调整至关重要，这增加了一定的复杂性，与完全独立于超参数的主张相矛盾。
对行业和投资的影响
1. 具有成本效益的大规模 AI 部署
对于运行大规模 AI 模型的企业来说，降低计算开销可以直接转化为成本节约。DyT 消除归一化层的能力降低了 GPU/TPU 的内存使用量并加快了处理速度，从而使 AI 运营更具成本效益。这对于以下方面尤其重要：
- 云 AI 提供商（亚马逊云科技、谷歌云、微软 Azure）
- 基于 NLP 的企业（OpenAI、Anthropic、Meta AI）
- 边缘计算和物联网应用
2. 早期采用者的竞争优势
将 DyT 集成到其 AI 工作流程中的组织可以在以下方面获得显著优势：
- 模型部署速度（降低延迟意味着更快的服务）
- 运营效率（更低的成本和能源消耗）
- 产品可扩展性（更易于小型企业和初创公司访问 AI）
AI 基础设施和服务的投资者应关注主要公司如何回应这项研究。如果 DyT 或类似方法成为主流，依赖于 GPU 密集型架构的公司可能会面临颠覆。
3. 未来研究和商业化
该研究的发现鼓励了新的研究方向：
- 为卷积网络开发改进版本的 DyT
- 探索其他元素级转换作为归一化的替代方案
- 关于无归一化训练稳定性的理论研究
专注于 AI 效率的初创公司（例如，低功耗 AI 芯片、软件优化和神经架构搜索）可以利用类似 DyT 的方法来构建更高效的 AI 产品。
一次重大转变还是仅仅是个开始？
"Transformers without Normalization" 挑战了深度学习社区对归一化层的依赖，表明像 动态 Tanh 这样的更简单的替代方案可以在显著提高效率的同时实现相当的性能。虽然对其 长期泛化能力 仍存在疑问，但该研究标志着重新思考深度学习计算基础的关键一步。
对于投资者和 AI 驱动的企业来说，DyT 代表了一个在快速发展的人工智能领域优化成本、提高性能并获得竞争优势的机会。未来几年将决定无归一化架构是否会成为新标准，或者仍然是 AI 研究中一个有趣的领域。