2024 年 7 月 21 日下午,DataFusion Meetup 在杭州市西湖区西溪路 569 号蚂蚁 A 空间 5 号楼 503 伴月山庄如期举行。活动吸引了来自各个行业的 80 余位开发者和技术爱好者,共同探讨基于 Apache Arrow 的高性能查询引擎—— DataFusion 的实际应用与未来发展。

活动回顾
此次 Meetup 我们邀请了来自 Greptime、eBay 和蚂蚁集团的系统研发工程师,他们分享了各自在实际项目中基于 DataFusion 构建系统的经验,并探讨了 DataFusion 在未来的发展前景。
1. 刘昆 at eBay
刘昆详细介绍了 Apache DataFusion 的发展历史和基本概念,展示了 DataFusion 所提供的多样化能力和扩展方法。他分享了 eBay 使用 DataFusion 构建系统的具体案例,强调了其在处理大规模数据时的高效性能以及灵活性。与会者对 eBay 实际应用中的挑战和解决方案表现出了极大的兴趣,纷纷提出相关问题进行探讨。

2. 夏锐航 at Greptime
锐航深入分享了 GreptimeDB 如何通过 DataFusion 构建分布式执行系统的设计与实现细节。他展示了 GreptimeDB 在实现毫秒级别查询性能和处理海量时序数据方面的技术优势,并与其他系统进行了比较,探讨了未来的发展方向。锐航还通过实际案例展示了 GreptimeDB 的应用效果,激发了现场的热烈讨论。

3. 刘家财 at 蚂蚁
刘家财介绍了 Apache HoraeDB 如何利用 DataFusion 构建时序查询引擎,涵盖了单机与分布式应用的具体实践。他分享了在 HoraeDB 中遇到的技术挑战及其解决方案,并探讨了 DataFusion 在时序数据处理中的潜力。他的分享具有现实的参考意义,大家就相关技术问题展开了深入的交流。

技术亮点
DataFusion 基于 Apache Arrow,利用列式内存格式,实现了快速查询,特别适用于网络监控和遥测数据分析等基础设施领域的实时数据处理。其水平扩展能力使其在云环境中表现出色,并且兼容多种存储和数据格式,便于在复杂环境中进行应用。
DataFusion 的技术亮点包括:
- 可扩展查询引擎:支持大规模数据处理;
- 云优化:适应云环境的性能需求;
- 强大的生态系统:与 Kubernetes 等工具集成,便于管理。
交流与互动
在每位讲师分享之后,参与者们进行了热烈的交流和提问。大家对 DataFusion 的应用方式和未来可能表现出浓厚兴趣,并积极讨论了如何在项目中引入和优化 DataFusion 的痛点和难点。讲师们耐心回答了每个问题,提供了自己专业的建议。通过这样的互动,大家不仅加深了对 DataFusion 的理解,或许也找到了新的灵感和思路。


此外,活动还设有自由交流环节,参与者们能够借此机会相互认识、探讨技术细节。整个活动气氛热烈而友好,大家在轻松愉快的氛围中度过了一个充实的下午。


此次 Meetup 不仅加深了大家对 DataFusion 的理解,也为未来的合作和技术交流奠定了坚实的基础。

总结
DataFusion Meetup 杭州活动圆满结束,感谢所有讲师和参与者的积极参与。未来,我们将继续优化和扩展边云一体解决方案,满足更多行业的需求,推动企业数字化转型。如果您对 DataFusion 有更多的兴趣或希望探讨合作机会,欢迎随时联系我们的销售团队。

期待下次活动与大家再见!
关于 Greptime
Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。
欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~
Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb
Twitter: https://twitter.com/Greptime
Slack: https://greptime.com/slack