运行大型 AI 模型通常意味着租用他人的硬件、接受他人的定价，并且只能寄希望于你所依赖的模型不会在一夜之间悄然发生变化。Mesh LLM 建立在一个不同的前提之上：通过你已经拥有的多台机器进行分布式 AI 计算，可以替代整套传统安排——并且通过一个单一且熟悉的 API 将这一切暴露出来。
Summary
关键要点
- Mesh LLM 将多台机器上的 GPU 和内存汇聚成一个单一的分布式 AI 计算网格，可通过一个与 OpenAI 兼容的 API（localhost:9337/v1）进行访问。
- 模型可以在本地运行、被路由到某个对等节点，或者通过名为 “Skippy” 的流水线模式拆分到多台机器上运行——而客户端完全感知不到差异。
- 网络依赖于 iroh 端点，它们建立基于公钥认证、可穿透 NAT 的 QUIC 连接，无需任何中心化服务器。
- 模型目录内置了40 多个模型，从不足十亿参数的模型到 2350 亿参数的专家混合架构一应俱全。
- 同时支持公共网格参与和私有部署，基于 iroh Swift SDK 的移动应用正在开发中。
Mesh LLM 通过 GPU 资源池化实现分布式 AI 计算
核心理念看似简单。Mesh LLM 会汇聚分布在多台机器上的 GPU 和内存——一间房里的工作站、另一间房里的服务器、办公室另一头的机器——并将整个集合呈现为一个统一的计算平面。对连接到它的客户端应用来说，无需任何重新配置。
这点之所以重要，是因为硬件已经存在。运行 AI 工作负载的团队往往在不同办公室、桌子底下、小型机房里分散着多块 GPU。一直缺失的是一个让这些机器表现得像一台机器的层。
与 OpenAI 兼容的 API 抽象
Mesh LLM 暴露的接口刻意保持熟悉。任何与 OpenAI 兼容的客户端 都可以指向 http://localhost:9337/v1，并以完全相同的方式发送请求，就像对一个托管云服务那样。从客户端视角看，一切不变。实际工作究竟是在本地、在某个对等节点，还是分布在多台机器上完成，完全是不可见的。
这是一个有意义的设计选择。这意味着现有工具、工作流和集成无需重写。网格的分布式特性只是实现细节，客户端无需考虑。
灵活的执行模式，包括 “Skippy” 流水线
当一个请求到达时，Mesh LLM 有三种处理方式。它可以在接收机器的 GPU 上本地运行模型，将请求路由到已经加载了目标模型的对等节点，或者——对于任何单机都装不下的大模型——按顺序将工作负载拆分到多个节点上。这第三种路径被称为 “Skippy 模式”。
Skippy 如何在多台机器之间拆分大模型
Skippy 按层范围将模型划分为多个流水线阶段：第 0 到 15 层 可能在一个节点上运行，16 到 31 层在下一个节点上运行，如此沿链路向下。激活在网格中的各个阶段之间流动。实际效果是，一组配置普通的机器可以共同运行一个任何单机都无法单独装入内存的模型。
这正是 Mesh LLM 架构野心变得清晰的地方。一个2350 亿参数的专家混合模型 并不是大多数团队可以在单块消费级或准专业级 GPU 上运行的东西。Skippy 让尝试这一点成为可能——使用的是已经买好却闲置的硬件。这样的设置在延迟和吞吐方面的特性在此尚未量化，但这种能力本身就代表了自托管 AI 能力边界的实质性扩展。
使用 iroh 端点的安全点对点网络架构
没有中心服务器来协调网格。每个节点都会启动一个 iroh 端点——一个既作为节点身份又作为其唯一网络接口的公钥。在此基础上，iroh 负责打洞、NAT 穿透以及中继回退，以在任意两个节点之间建立直接、已认证的 QUIC 连接，无论它们身在何处。
用于流量隔离的 QUIC ALPN 协议
协议栈被刻意分段。三个不同的 QUIC ALPN 标识符用来区分不同类型的流量：
- mesh-llm/1 —— 主网格通道，承载 gossip、路由、HTTP 隧道和插件事件
- mesh-llm-control/1 —— 所有者控制平面，处理配置同步和所有权证明
- skippy-stage/2 —— 专用于流水线阶段之间激活数据传输的低延迟通道
在主连接内部，每个流都会用一个前导字节标记其类型——gossip、推理代理、路由查询、对等节点生命周期事件、插件 RPC 通道等——所有这些都复用在一条连接之上。效果是在不增加为每个关注点单独建立连接开销的前提下，实现干净的流量隔离。
节点身份与 NAT 穿透
为了支持无法在开放互联网中直接互联的节点，Mesh LLM 在不同地理区域运行了两个 iroh 中继服务器。能够建立直连路径的节点会直接连接；无法直连的节点则始终有一个就近的回退选项。换句话说，网络层被设计为“开箱即用”——而不是要求精细的防火墙配置或静态地址。
这种架构真正带来的是一种网络层面的统一性。无论请求是路由到 localhost，还是通过 Skippy 流水线将激活流式传输到另一个大洲的机器，其底层原语都是相同的：一个通过公钥寻址的、已认证的 QUIC 连接。物理拓扑的复杂性被隐藏在一致的抽象之后。
从笔记本规模到 2350 亿参数巨兽的模型目录
Mesh LLM 开箱即带有 40 多个模型。范围从可在笔记本上运行的 5 亿参数级小模型，到上限为 2350 亿参数的专家混合架构。架构是可插拔的：插件在清单中声明其能力，运行时通过 MCP、HTTP、推理和网格事件来路由调用并暴露能力。
实际意义在于，用户无需单独获取和配置模型就能开始使用。目录覆盖了完整的使用场景谱系——从在普通硬件上进行轻量、快速推理，到在网格上分布式运行的大规模工作负载。
作为一种反向运动的分布式计算
Mesh LLM 的设计置身于一个清晰可见的背景之下：集中式 AI 基础设施正面临真实的阻力。一项 5 月的调查发现，超过 70% 的美国人反对在其社区附近建设新的数据中心，理由是担心污染、噪音、能源和用水消耗。太阳能与家庭能源公司 Sunrun 最近启动了一项试点计划，在客户家中部署小型计算节点，计划将这些分布式算力出售给企业级 AI 买家——这表明行业本身正在寻找大型集中式数据中心的替代方案。
Mesh LLM 从另一个角度回应同样的压力。它不是从零开始构建新的分布式基础设施，而是激活已经存在的算力——团队已经拥有却无法充分利用的 GPU，因为一直缺少一个将它们连接成整体的连贯层。对解除对中心化服务商的锁定、降低成本、以及保留用户对模型运行位置和数据流向的控制权的强调，反映出当前云端 API 在这些方面确实存在空白。
一个基于 iroh Swift SDK 的移动应用正在开发中，计划支持新兴的 ACP agent 标准。这将允许其他客户端直接加入网格，放大每个上线节点的网络效应。长期方向很明确：更多点对点执行、更少中间方，以及一种不经由任何人中心服务器路由的开放代理互操作标准。
常见问题
Mesh LLM 如何实现分布式 AI 计算？
Mesh LLM 将多台机器上的 GPU 和内存汇聚成一个网格网络，然后将整个分布式部署暴露为一个与 OpenAI 兼容的单一 API。客户端连接到 localhost:9337/v1 并以常规方式交互，而网格则决定是本地运行请求、将其路由到对等节点，还是拆分到多台机器上。
Mesh LLM 为 AI 模型提供了哪些执行模式？
模型可以在某台机器的 GPU 上本地运行，被路由到已经加载了该模型的对等节点，或者通过 “Skippy” 流水线模式拆分到多台机器上运行，在该模式下，模型按层范围进行分段，激活在网格中的各个阶段之间流动。
Mesh LLM 中的安全网络是如何处理的？
每个节点运行一个 iroh 端点，用于建立带有 NAT 穿透和中继回退能力的公钥认证 QUIC 连接，而无需依赖中心服务器。两个区域性 iroh 中继为无法直接互联的节点提供回退路径。
通过 Mesh LLM 可以使用哪些模型？
Mesh LLM 内置 40 多个模型，从适合笔记本使用的 5 亿参数级小模型，到面向多机 Skippy 部署的超大 2350 亿参数专家混合模型。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Mesh LLM 如何实现分布式 AI 计算？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM 将多台机器上的 GPU 和内存汇聚成一个网格网络，然后将整个分布式部署暴露为一个与 OpenAI 兼容的单一 API。客户端连接到 localhost:9337/v1 并以常规方式交互，而网格则决定是本地运行请求、将其路由到对等节点，还是拆分到多台机器上。”}},{“@type”:”Question”,”name”:”Mesh LLM 为 AI 模型提供了哪些执行模式？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”模型可以在某台机器的 GPU 上本地运行，被路由到已经加载了该模型的对等节点，或者通过 “Skippy” 流水线模式拆分到多台机器上运行，在该模式下，模型按层范围进行分段，激活在网格中的各个阶段之间流动。”}},{“@type”:”Question”,”name”:”Mesh LLM 中的安全网络是如何处理的？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”每个节点运行一个 iroh 端点，用于建立带有 NAT 穿透和中继回退能力的公钥认证 QUIC 连接，而无需依赖中心服务器。两个区域性 iroh 中继为无法直接互联的节点提供回退路径。”}},{“@type”:”Question”,”name”:”通过 Mesh LLM 可以使用哪些模型？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM 内置 40 多个模型，从适合笔记本使用的 5 亿参数级小模型，到面向多机 Skippy 部署的超大 2350 亿参数专家混合模型。”}}]}
本文在人工智能协助下完成，并由编辑团队审核。
