Autellix：用程序感知优化革新 LLM 服务
一篇突破性的论文，《Autellix：一种高效的 LLM 代理作为通用程序的服务器引擎》，介绍了 Autellix，这是一种新一代 LLM 服务引擎，旨在处理复杂的 智能体程序——一种 AI 工作流程，其特征是多次调用大型语言模型并与外部交互。传统上，LLM 服务引擎会孤立地优化单个请求，但 Autellix 优先考虑整个程序，从而确保更快的推理时间和更少的瓶颈。
Autellix 的开发旨在克服现有 LLM 服务基础设施的低效率，它引入了一种程序感知调度范例，该范例在程序级别（而不是单个 LLM 调用）优化工作流程。主要创新包括：
- 新型调度算法（PLAS 和 ATLAS）： 这些算法优先处理智能体程序中的 LLM 调用，最大限度地减少队头阻塞并提高整体效率。
- 数据局部性感知负载均衡： Autellix 不使用标准的负载均衡方法，而是将同一程序的 LLM 调用保持在同一引擎上，从而减少计算开销。
- 显著的性能提升： 与 vLLM 相比，Autellix 将吞吐量提高了 4-15 倍，同时降低了延迟。
- 可扩展性： Autellix 几乎与引擎副本数量成线性关系扩展，使其成为 大规模 AI 应用的理想选择。
Autellix 的推出代表了 AI 推理架构的一次范式转变，它支持一种更结构化和高效的方法来服务于 基于 LLM 的 AI 智能体。
主要收获
- 程序的头等舱待遇： 与专注于单个请求的传统 LLM 服务引擎不同，Autellix 将智能体工作流程视为结构化程序，从而优化执行效率。
- 创新调度技术：
- PLAS（程序级别达到的服务）： 优化单线程智能体工作流程的执行。
- ATLAS（自适应线程级别达到的服务）： 专为多线程工作流程设计，可减少延迟并提高性能。
- 数据局部性优化：
- 标准的负载均衡器随机分配请求，但 Autellix 在程序中聚集 LLM 调用，以最大限度地利用 KV 缓存重用。
- 显著的性能改进：
- 吞吐量比 vLLM 提高 4-15 倍。
- 降低了实时应用程序的尾部延迟。
- 用于基于云的 AI 部署的可扩展性。
- 广泛的实际应用：
- 企业 AI（聊天机器人、AI 助手、自动化工具）。
- 基于云的 AI 服务（AWS Bedrock、Azure OpenAI 服务）。
- 强化学习管道（例如，用于 ChatGPT、DeepSeek、Mistral 的 RLHF）。
深度分析
为什么 Autellix 是一项变革者？
Autellix 通过将重点从 单个 LLM 调用优化转移到 程序级别优化，从根本上重新定义了 LLM 服务架构。 这种方法可以显著提高吞吐量、减少延迟和提高计算效率。 这就是它如此重要的原因：
1. 解决 LLM 服务中的低效率问题
传统的 LLM 服务引擎在处理 智能体程序（LLM 调用与外部工具交互的动态工作流程）时遇到困难。 当依赖调用由于调度效率低下而延迟时，就会发生 队头阻塞问题。 Autellix 通过将整个智能体工作流程视为动态有向无环图来解决这个问题，从而可以 更好地调度和执行优先级排序。
2. Autellix 如何提高效率？
- 调度突破：
- PLAS 优化顺序工作流程的执行。
- ATLAS 通过优先处理较短的关键路径来增强多线程执行。
- 具有防饥饿机制的抢占式调度： 确保较短的程序不会因较长的程序而无限期地延迟。
- 数据局部性优化： 最大限度地减少 KV 缓存重新计算，从而提高推理速度。
3. 实际性能提升
- 吞吐量比 vLLM 提高 4-15 倍。
- 复杂工作负载中降低了尾部延迟（第 99 个百分位）。
- 通过优化的 GPU-CPU 交换提高了内存利用率。
谁将从 Autellix 中受益？
Autellix 的影响范围涵盖学术界和产业界：
- 学术界：
- 在 LLM 执行图 和 动态工作负载调度 方面开辟了新的研究方向。
- 提供智能体程序的正式 基于 DAG 的表示。
- 产业界：
- 企业 AI 应用程序： 支持 更快、更具成本效益的 AI 助手、聊天机器人和自主智能体。
- AI 基础设施提供商： 可以集成到 AWS、Azure OpenAI 和 Google Cloud AI 服务 中。
- 强化学习管道： 加速 基于 LLM 的强化学习 模型的训练。
您知道吗？
- Autellix 构建于 vLLM 之上，但大大超过了它。 虽然 vLLM 针对单请求服务进行了优化，但 Autellix 考虑了智能体工作流程的完整执行路径。
- Autellix 的负载均衡策略是一项突破。 传统的 AI 服务引擎使用 轮询或最少使用策略 分配请求，而 Autellix 集群相关的 LLM 调用以减少缓存重新计算。
- Autellix 将影响未来的 LLM 编排框架。 像 LangChain、AutoGen 和 OpenAI 的 Operator 这样的 AI 框架可以采用受 Autellix 启发的 程序感知调度策略。
- Autellix 解决的调度问题是 AI 推理中长期存在的挑战。 非先验调度 的概念——在不事先了解程序完整结构的情况下优化执行——是 AI 研究中一个开放的问题。 Autellix 提供了一个重要的进步。
- AI 初创公司和云提供商可能会很快采用类似 Autellix 的技术。 专注于 LLM 驱动应用程序（例如，AI 助手、自主智能体和科学研究工具） 的公司将受益于 降低延迟和提高效率。
结论：LLM 服务的一次范式转变
Autellix 通过引入 程序感知调度、优化的负载均衡和显著的性能提升，代表了 LLM 推理技术的一次重大飞跃。 从 单个 LLM 调用优化到以程序为中心的执行 的转变开启了 AI 效率的新时代，为更复杂、更灵敏的 AI 智能体 铺平了道路。
凭借其改变 AI 基础设施、降低云计算成本和提高 AI 驱动应用程序的响应能力 的潜力，Autellix 将成为下一波 AI 进步的基础技术。