近日,OpenTelemetry 官方宣布 OpenTelemetry Protocol with Apache Arrow(OTel-Arrow)进入第二阶段,并提到了 Greptime 团队在 OTel-Arrow 项目中的重要贡献。
作为云原生观测与大数据社区的积极参与者,Greptime 针对遥测数据(Telemetry Data)的高性能采集与传输,在 Rust 生态中落地了 Arrow Flight gRPC 通道端到端支持,极大地推动了 OTel-Arrow 项目的生态完善和工程落地,该工作由 Greptime 资深工程师黄磊完成并贡献。

(第一阶段主要面向 Collector 间流量优化的落地实现,已实现与原有 OTLP 组件兼容的 Exporter 和 Receiver)
OTel-Arrow 项目致力于将 Apache Arrow 高效的“零拷贝”列式数据框架引入可观测性领域,实现与 OpenTelemetry 体系的深度融合。通过 Arrow Flight gRPC 通道,遥测数据可以以更高性能、更优压缩、更强扩展性的方式在 SDK 与 Collector 之间批量、无损地传递,极大提升了高基数、高维度场景下的数据处理能力。
在相关 PR (#303) 中,Greptime 团队主导完成了 Rust SDK 到 Rust Collector 的 Arrow Flight gRPC 通信实现,支持结构化列式遥测数据的高效流转。这项工作让 Arrow Flight 成为 Otel-Arrow Rust 端数据管道的“高速通道”,也为未来多语言 Collector 生态(如 Go、Java)积累了宝贵经验。
在第二阶段,OTel-Arrow 项目将重点探索 Rust 语言在端到端 OTAP 数据通道中的应用,包括:
- 研究如何在 SDK 到 Collector 之间实现真正意义上的零拷贝、面向列的数据流动;
- 深度集成 Apache Arrow 和 DataFusion 等分析工具,让观测数据更容易与数据湖和数据分析场景对接;
- 打造安全、高性能、可插拔的 Rust 数据处理管道,使其能高效嵌入到多种运行环境;
- 持续兼容和桥接 Go 生态,实现 Rust 管道与 OpenTelemetry Golang Collector 的无缝协作。
正如 OpenTelemetry 官方博客所述,OTel-Arrow 的演进正在重新定义观测数据的传输范式。作为这一变革的早期推动者,Greptime 始终坚信:真正的开源创新源于社区协作与工程实践的深度融合。
GreptimeDB 最新代码也已经增加了 OTel-Arrow 的初始支持,目前还在进一步完善。Greptime 也将继续深耕时序与分析领域,携手开源社区,共建更高效、智能的下一代观测平台。