HomeSenza categoriaSui gRPC 流媒体支持低延迟检查点索引和高弹性数据管道

Sui gRPC 流媒体支持低延迟检查点索引和高弹性数据管道

Sui上的开发者现在可以利用sui grpc流媒体来构建更快速、更可靠的实时区块链数据索引管道。

混合流媒体模型变革Sui数据访问

Sui 区块链引入了gRPC流媒体作为其索引基础设施的主要数据源,实现了实时检查点摄取,延迟极小。此外,该设计针对需要在数据最终确定后立即响应的应用程序。

该平台将流媒体功能与传统的轮询方法结合,以保持数据准确性和系统弹性。这种混合模型允许即时访问已完成的检查点,同时保持与已在Sui上部署的现有自定义索引器的向后兼容性。

自定义索引框架支持这种以流媒体为主的架构,而无需更改检查点处理逻辑。然而,团队仍然可以依赖现有的管道,同时在流媒体带来实际好处的地方进行叠加。

流媒体消除检查点摄取的轮询延迟

新的gRPC流媒体功能从根本上改变了索引器在Sui上接收区块链数据的方式。完整节点现在在最终确定后立即将检查点数据推送到索引器,而不是等待计划的获取。

这种基于推送的模型消除了之前在检查点创建和下游处理之间引入延迟的重复轮询周期。因此,延迟敏感的工具可以更接近实时地响应,而无需调整复杂的轮询间隔。

根据文档,系统提供“实时检查点,一旦最终确定”,并具有“更快的数据,弹性的管道,减少在Sui上的基础设施工作”。尽管如此,运营商仍然可以配置安全网以防止连接问题和服务中断。

流媒体机制通过一个简单的配置步骤运行,开发者添加一个指向完整节点端点的streaming-url参数。然后,索引器以事件流的形式接收检查点,而不是在预定的间隔内获取它们。

这种事件驱动的模型对于监控系统、实时分析平台和其他延迟敏感的应用程序特别有价值。此外,它通过减少对激进轮询策略和相关操作调整的需求来简化基础设施。

强制轮询回退保护历史数据

Sui将流媒体与强制轮询的回退源结合,以处理长连接的固有限制。流媒体链接仅从建立时开始传递数据,因此历史检查点仍需要额外的机制。

通用索引器在生产中展示了这种混合设计。它使用流媒体作为其主要摄取路径,同时保持轮询源作为历史数据和恢复场景的安全机制。

这种配置保持索引数据的当前性,同时实现干净的重启和从故障中无缝恢复。然而,如果连接中断,系统可以使用轮询从最后已知的检查点恢复,然后在链接稳定后返回流媒体。

实际上,这种混合模式的功能类似于sui检查点流媒体回退策略。开发者在不牺牲完整性或可靠性的情况下获得推送更新的低延迟优势。

框架设计支持增量流媒体采用

自定义索引框架将检查点处理与数据摄取分离。索引器通过统一接口消费和转换检查点,而不将逻辑耦合到特定来源,如gRPC流或HTTP轮询。

这种抽象允许团队随着需求变化而发展摄取策略,而无需重写核心处理组件。此外,它通过将数据处理逻辑集中在单一层中来简化代码库。

文档指出,使用gRPC流媒体,“无需轮询,无需猜测时间,无需因获取间隔而引入的人工延迟”。尽管如此,运营商仍然可以选择在工作负载不需要超低延迟的情况下进行轮询。

开发者可以根据个别工作负载特性逐步启用sui grpc流媒体。优先考虑数据新鲜度和实时响应的应用程序从即时流媒体采用中获得最大收益。

相比之下,专注于批量分析、离线处理或更简单工作流程的系统可以继续使用仅轮询配置。该框架在相同的处理模型下支持这两种方法,简化了多应用环境。

配置保持逻辑稳定而来源演变

基于官方框架构建的现有自定义索引器需要最少的更改即可利用流媒体。添加gRPC功能涉及在现有的remote-store-url配置值旁边包括一个streaming-url参数。

在整个过渡过程中,检查点处理逻辑保持不变。此外,框架在操作期间自动管理源切换,以便索引器保持对网络状态的一致视图。

这种设计有助于防止系统丢失数据或显著落后于链的常见故障模式。框架协调流媒体和轮询之间的交互,保持在重启和网络中断期间的连续性。

总体而言,Sui的混合流媒体和轮询架构提供实时检查点、弹性管道,并为寻求低延迟摄取而不牺牲可靠性的索引器提供清晰的迁移路径。

Satoshi Voice
本文在人工智能的支持下完成,并由我们的记者团队审核,以确保准确性和质量。
RELATED ARTICLES

Stay updated on all the news about cryptocurrencies and the entire world of blockchain.

Featured video

LATEST