最近,由io.net进行的一项同行评审研究聚焦于人工智能领域的一场无声革命:使用消费级GPU来大幅降低AI成本。
由著名的第六届国际人工智能与区块链会议(AIBC 2025)发布并接受的研究“闲置消费级GPU作为企业硬件进行LLM推理的补充”代表了第一个异构GPU集群的开放基准,直接在io.net的去中心化云上进行测试。
目录
研究的核心:RTX 4090 对比 H100
分析的核心是对比消费级GPU,如流行的Nvidia RTX 4090,与强大的企业级GPU,特别是H100。
结果令人惊讶:四块RTX 4090的配置可以达到H100计算能力的62%到78%,但运营成本约为其一半。在经济效率方面,每百万个token的成本在$0.111到$0.149之间,对于批处理或具有延迟容忍度的工作负载,成本可降低至75%。
效率与可持续性:可能的平衡
尽管H100在能源效率方面仍然更具优势——每个token处理效率高出约3.1倍——但研究强调了一个常被忽视的方面:利用闲置的消费者级GPU可以延长硬件寿命并减少碳排放,尤其是在依赖富含可再生能源的电网时。这样一来,可持续性不再是遥不可及的梦想,而是为开发和管理AI基础设施的人提供了切实的机会。
Hybrid Routing:优化成本和性能的关键
根据Aline Almeida,IOG Foundation的研究负责人兼该研究的主要作者,理想的解决方案不是在企业级GPU和消费级GPU之间做出选择,而是采用异构基础设施:
“企业级和消费级GPU之间的混合路由在性能、成本和可持续性之间提供了务实的平衡”。
这一策略使组织能够根据自身的延迟和预算需求进行调整,同时减少对环境的影响。
实际应用:消费者级GPU的优势所在
研究表明,消费级GPU特别适合:
- 开发和测试 AI模型
- 批处理和具有延迟容忍度的工作
- 溢出容量 用于管理流量高峰
- 研究和开发环境
- 聊天流媒体和嵌入,其中可接受的延迟在200到500毫秒之间
相反,像 H100 这样的企业级 GPU 在实时应用中仍然无可匹敌,即使在高负载下也能保持低于 55 毫秒的延迟。
AI计算的未来是分布式和可访问的
对于Gaurav Sharma,io.net的CEO,这项研究代表了对公司愿景的确认:
“经过同行评审的分析验证了我们的基本论点:计算的未来将是分布式的、多元化的和可访问的。通过利用数据中心和消费者硬件,我们可以民主化对先进AI基础设施的访问,使其更加可持续”。
io.net:一个全球去中心化AI平台
凭借全球最大的分布式GPU网络和按需高性能计算,io.net 旨在成为开发者和组织的首选平台,帮助他们训练模型、管理代理和扩展LLM基础设施。io.cloud的可编程性与io.intelligence的API工具包的结合,为各种规模的AI初创公司提供了一个完整的生态系统。
研究要点
- RTX 4090配置:4块GPU以一半的成本达到H100 62-78%的性能,具有每百万代币的最佳成本/性能比。
- 延迟:H100 即使在高负载下也能保证低于 55 毫秒的时间;消费级 GPU 适合能够容忍 200 到 500 毫秒延迟的负载。
- 可持续性:使用闲置的消费者级GPU可以减少碳排放并延长硬件的使用寿命。
- 灵活性:异构基础设施允许根据特定需求优化成本和性能。
AI开发的新纪元
io.net的研究为从事人工智能 领域的人士标志着一个转折点。通过整合消费级和企业级GPU,现在可以构建强大、经济且可持续的基础设施,而不会在性能上做出显著妥协。这一机会有望实现AI的民主化,使其对全球越来越多的开发者和组织变得可及。




