跳至正文
  • BTC $58,169 −7.6%
  • ETH $1,614 −9.4%
  • SOL $68.63 −7.7%
  • BNB $538.44 −8.4%
  • XRP $0.9016 −7.6%
  • DOGE $0.0536 −9.0%
  • ADA $0.1399 −9.2%

GPU消费者:低成本AI计算的革命

io.net进行的一项研究揭示了一场无声的革命:使用消费级GPU来降低AI成本。

本文使用人工智能系统生成,编辑责任人:Amelia Tomasicchio。 我们的工作方式

gpu rtx 4090 vs h100

最近,由io.net进行的一项同行评审研究聚焦于人工智能领域的一场无声革命:使用消费级GPU来大幅降低AI成本。

由著名的第六届国际人工智能与区块链会议(AIBC 2025)发布并接受的研究“闲置消费级GPU作为企业硬件进行LLM推理的补充”代表了第一个异构GPU集群的开放基准,直接在io.net的去中心化云上进行测试。

研究的核心:RTX 4090 对比 H100

分析的核心是对比消费级GPU,如流行的Nvidia RTX 4090,与强大的企业级GPU,特别是H100。

结果令人惊讶:四块RTX 4090的配置可以达到H100计算能力的62%到78%,但运营成本约为其一半。在经济效率方面,每百万个token的成本在$0.111到$0.149之间,对于批处理或具有延迟容忍度的工作负载,成本可降低至75%。

效率与可持续性:可能的平衡

尽管H100在能源效率方面仍然更具优势——每个token处理效率高出约3.1倍——但研究强调了一个常被忽视的方面:利用闲置的消费者级GPU可以延长硬件寿命并减少碳排放,尤其是在依赖富含可再生能源的电网时。这样一来,可持续性不再是遥不可及的梦想,而是为开发和管理AI基础设施的人提供了切实的机会。

Hybrid Routing:优化成本和性能的关键

根据Aline Almeida,IOG Foundation的研究负责人兼该研究的主要作者,理想的解决方案不是在企业级GPU和消费级GPU之间做出选择,而是采用异构基础设施:

“企业级和消费级GPU之间的混合路由在性能、成本和可持续性之间提供了务实的平衡”。

这一策略使组织能够根据自身的延迟和预算需求进行调整,同时减少对环境的影响。

实际应用:消费者级GPU的优势所在

研究表明,消费级GPU特别适合:

  1. 开发和测试 AI模型
  2. 批处理和具有延迟容忍度的工作
  3. 溢出容量 用于管理流量高峰
  4. 研究和开发环境
  5. 聊天流媒体和嵌入,其中可接受的延迟在200到500毫秒之间

相反,像 H100 这样的企业级 GPU 在实时应用中仍然无可匹敌,即使在高负载下也能保持低于 55 毫秒的延迟。

AI计算的未来是分布式和可访问的

对于Gaurav Sharma,io.net的CEO,这项研究代表了对公司愿景的确认:

“经过同行评审的分析验证了我们的基本论点:计算的未来将是分布式的、多元化的和可访问的。通过利用数据中心和消费者硬件,我们可以民主化对先进AI基础设施的访问,使其更加可持续”。

io.net:一个全球去中心化AI平台

凭借全球最大的分布式GPU网络和按需高性能计算,io.net 旨在成为开发者和组织的首选平台,帮助他们训练模型、管理代理和扩展LLM基础设施。io.cloud的可编程性与io.intelligence的API工具包的结合,为各种规模的AI初创公司提供了一个完整的生态系统。

研究要点

  1. RTX 4090配置:4块GPU以一半的成本达到H100 62-78%的性能,具有每百万代币的最佳成本/性能比。
  2. 延迟:H100 即使在高负载下也能保证低于 55 毫秒的时间;消费级 GPU 适合能够容忍 200 到 500 毫秒延迟的负载。
  3. 可持续性:使用闲置的消费者级GPU可以减少碳排放并延长硬件的使用寿命。
  4. 灵活性:异构基础设施允许根据特定需求优化成本和性能。

AI开发的新纪元

io.net的研究为从事人工智能 领域的人士标志着一个转折点。通过整合消费级和企业级GPU,现在可以构建强大、经济且可持续的基础设施,而不会在性能上做出显著妥协。这一机会有望实现AI的民主化,使其对全球越来越多的开发者和组织变得可及。

Satoshi Voice

本文在人工智能的支持下完成,并由我们的记者团队审核,以确保准确性和质量。

Satoshi Voice的全部文章