IT之家 10 月 17 日音问，EXO Labs 昨日展示了其“散播式推理”新遵循，搞定了被部分网友戏称为“世纪贫瘠”的经受问题 —— 买 AI 小主机究竟是买 Mac Studio 如故买英伟达 DGX Spark？

如图所示，EXO Labs 同期使用了两台 NVIDIA DGX Spark 与一台搭载 M3 Ultra 芯片的 Mac Studio，在 AI 大言语模子推理测试中赢得 2.8 倍性能擢升。

该遵循基于 EXO Labs 的开源名堂 EXO，该框架旨在让大言语模子（LLM）好像高效起始于不同硬件的夹杂环境中。

与传统仅依赖单一 GPU 或加快器的推理阵势不同，EXO 可将责任负载自动分拨到多种确立上，使台式机、条记本、劳动器以致平板电脑与智高东说念主机构成不异 WiFi Mesh 汇集的“AI Mesh”。

DGX Spark 与 M3 Ultra 的互补组合

正如 EXO 所述，3999 好意思元（IT之家注：现汇率约合 28505 元东说念主民币）的 DGX Spark 侧重联想性能，而 5599 好意思元（现汇率约合 39910 元东说念主民币） Mac Studio 则在数据带宽上更具上风。在这里，EXO 凯旋将两台 DGX Spark 与一台 Mac Studio 组合成长入的 AI 系统。

大型言语模子的推理经由每每分为两个阶段：

预填充（prefill）阶段：模子读取和处理输入指示，这一阶段主要受联想性能畛域；解码（decode）阶段：模子一一生成新词元（token），此经由更依赖内存带宽。

EXO 的决策是将两阶段分拨给不同确立扩充：

DGX Spark 提神联想密集的预填充当务，而 M3 Ultra 提神带宽敏锐的解码任务。系统通过逐层传输模子的里面数据（称为 KV 缓存），已矣两台确立的同期责任，而非循序恭候。

在使用 Meta Llama-3.1 8B 模子进行的基准测试中，该夹杂架构相较单独使用 Mac Studio，推感性能擢升 2.8 倍。测试中 DGX Spark 的预填充速率比 Mac Studio 快 3.8 倍，而 Mac Studio 的生成速率又比 DGX Spark 快 3.4 倍，已矣了性能互补。

“散播式推理”助力低本钱膨胀 AI 算力

EXO 的践诺展示了一种不同于传统单机加快的 AI 膨胀念念路。异日 AI 性能的擢升，或不再依赖单一大型加快器，而是通过更智能的硬件协同收地方座算力的擢升。

不异的理念也出面前 NVIDIA 自家的新一代 Rubin CPX 平台联想中：联想密集型的高下文构建由 Rubin CPX 处理器完成，而具有高带宽 HBM3e 内存的圭表 Rubin 芯片提神解码阶段，与 EXO 在现成硬件上已矣的旨趣一致。

EXO 1.0 仍处早期阶段

EXO 现时的早期探听版块 1.0 仍属践诺性质，尚未全面公开。现存的开源版块 0.0.15-alpha 发布于 2025 年 3 月，后续版块筹办引入自动调遣、KV 流式传输和异构硬件优化功能。

面前 EXO 照旧征询级器具，尚不适应粗鄙破费者凯旋使用，但其演示末端标明：通过智能调遣不同硬件资源，散播式推理架构能在无需大型数据中心的前提下显耀擢升 AI 性能。