欢迎参与 8 月 1 日中午 11 点的线上分享,了解 GreptimeDB 联合处理指标和日志的最新方案! 👉🏻 点击加入

Skip to content
On this page
技术
2025-5-21

GreptimeDB 贡献 Otel-Arrow Rust,实现 OpenTelemetry 与 Apache Arrow 高效集成

OpenTelemetry 官方宣布 OTel-Arrow 进入第二阶段。本篇文章主要介绍了 GreptimeDB 为 OpenTelemetry 贡献 OTel-Arrow Rust,助力实现 OpenTelemetry 与 Apache Arrow 高效集成。

近日,OpenTelemetry 官方宣布 OpenTelemetry Protocol with Apache Arrow(OTel-Arrow)进入第二阶段,并提到了 Greptime 团队在 OTel-Arrow 项目中的重要贡献。

作为云原生观测与大数据社区的积极参与者,Greptime 针对遥测数据(Telemetry Data)的高性能采集与传输,在 Rust 生态中落地了 Arrow Flight gRPC 通道端到端支持,极大地推动了 OTel-Arrow 项目的生态完善和工程落地,该工作由 Greptime 资深工程师黄磊完成并贡献。

(图 1:OTel-Arrow 第一阶段的设计架构)
(图 1:OTel-Arrow 第一阶段的设计架构)

(第一阶段主要面向 Collector 间流量优化的落地实现,已实现与原有 OTLP 组件兼容的 Exporter 和 Receiver)

OTel-Arrow 项目致力于将 Apache Arrow 高效的“零拷贝”列式数据框架引入可观测性领域,实现与 OpenTelemetry 体系的深度融合。通过 Arrow Flight gRPC 通道,遥测数据可以以更高性能、更优压缩、更强扩展性的方式在 SDK 与 Collector 之间批量、无损地传递,极大提升了高基数、高维度场景下的数据处理能力。

在相关 PR (#303) 中,Greptime 团队主导完成了 Rust SDK 到 Rust Collector 的 Arrow Flight gRPC 通信实现,支持结构化列式遥测数据的高效流转。这项工作让 Arrow Flight 成为 Otel-Arrow Rust 端数据管道的“高速通道”,也为未来多语言 Collector 生态(如 Go、Java)积累了宝贵经验。

在第二阶段,OTel-Arrow 项目将重点探索 Rust 语言在端到端 OTAP 数据通道中的应用,包括:

  • 研究如何在 SDK 到 Collector 之间实现真正意义上的零拷贝、面向列的数据流动;
  • 深度集成 Apache Arrow 和 DataFusion 等分析工具,让观测数据更容易与数据湖和数据分析场景对接;
  • 打造安全、高性能、可插拔的 Rust 数据处理管道,使其能高效嵌入到多种运行环境;
  • 持续兼容和桥接 Go 生态,实现 Rust 管道与 OpenTelemetry Golang Collector 的无缝协作。

正如 OpenTelemetry 官方博客所述,OTel-Arrow 的演进正在重新定义观测数据的传输范式。作为这一变革的早期推动者,Greptime 始终坚信:真正的开源创新源于社区协作与工程实践的深度融合。

GreptimeDB 最新代码也已经增加了 OTel-Arrow 的初始支持,目前还在进一步完善。Greptime 也将继续深耕时序与分析领域,携手开源社区,共建更高效、智能的下一代观测平台。

加入我们的社区

获取 Greptime 最新更新,并与其他用户讨论。