欢迎参与 8 月 1 日中午 11 点的线上分享,了解 GreptimeDB 联合处理指标和日志的最新方案! 👉🏻 点击加入

Skip to content
On this page
技术
2024-6-20

显著降低时序数据栈的总体拥有成本|GreptimeDB 的创新解决方案

本文介绍了基于 GreptimeDB 的创新解决方案,企业在保持总体拥有成本(TCO)可控的同时,还能实现对海量时序数据复杂高效的查询分析。

万物互联,设备日趋数字化。新的应用程序几乎都在云上运行,开发运维都需要对它们进行监控。这些趋势激发了对日益增长的时序数据高效存储以及灵活分析的需求。

那么,企业如何在保持总体拥有成本(TCO)可控的同时,还能实现对海量时序数据复杂高效的查询分析呢?

传统时序数据方案,例如 InfluxDB 开源版和 Prometheus 等,由于只能单机部署,无法扩展到集群上,面临着显著的挑战和高昂的费用。尽管也有一些供应商提供集群解决方案,但由于缺乏弹性,这些方案往往存在资源利用效率低下的问题。

本文将介绍基于 GreptimeDB 的创新解决方案。它利用云上的弹性通用存储,为用户提供了一个高性能、高性价比的解决方案,能够存储和分析任何规模的时序数据。

传统时序数据栈的成本影响

大部分时序数据随时间定期产生,包括传感器报告指标,应用程序持续记录的日志等等。系统的可观测性依赖于对这些时序数据的实时分析。

在理想情况下,用户可以高效地查询数据,而无需考虑成本、时间投入或对业务的影响。然而,在现实中,预算和时间是有限的。成本是构建时序数据栈的主要限制因素之一。

时序数据栈的实施成本,不仅包括 Day 1 系统上线时的资本支出,还包括大量 Day 2 系统维护所需的运营支出。

资本支出

资本支出是一种前期投资。传统技术栈的提供商通常要求企业提前为系统部署专门购买硬件,这是一个巨大的前期采购支出。

为了确保服务的可用性,企业通常还需要根据最大负载和存储估算来预留资源,而这些资源在大多数时间并没有被真正使用。

此外,基于传统技术构建的时序数据栈通常会部署若干个异构系统,每个系统都有专用资源。最终,整个时序数据栈变成一个由消息队列、在线时序数据库、离线数据仓库以及系统内部或系统之间的数据复制和转换的复杂组合:企业需要为所有这些系统付费。

运营支出

运营支出是随着时间递增的。这些费用包括但不限于人工成本、时间成本和财务资源,用于调试、解决性能问题、系统升级、调整配置以优化数据流和管理安全建议。

同样,管理异构系统需要独立的系统运营资源,企业必须建立庞大的系统运营团队才能覆盖方方面面的挑战。

建立于异构系统上的传统时序数据栈

利用云原生基础设施,可以从本质上减少手动管理数据复制的成本;提供集中控制台的解决方案,可以显著降低维护的开销。

机会成本

企业投入人力和资金管理由多个异构系统组成的时序数据栈,会承受巨大的机会成本压力。他们需要将本该用于核心业务运营和战略计划的宝贵资源,转移过来处理这些复杂的成本型任务,而不能用于产生营收。

为什么需要 GreptimeDB

传统时序数据栈在今天,仍然在业务中扮演着重要角色。但是,由于上面提到的种种成本挑战,其替代方案的需求很大。

GreptimeDB 应运而生。这是一款专注于效率、可扩展性和分析能力的开源时序数据库。

GreptimeDB 的创始人来自世界级的金融科技公司,他们在其中建立了一个超大规模数据处理系统,专门用于时序数据。在线上环境中,这一系统成功应对了每秒写入数亿个数据点,连续不断地进行多维实时分析(用于警报、根因分析等)等需求,并以极低的成本存储数千万个历史指标。

基于这些最佳实践,GreptimeDB 为用户的时序数据栈提供了一种替代方案,并提供了丝滑的升级路径:

  • 性能:GreptimeDB 实现了灵活的索引能力和分布式并行处理查询引擎,解决了高基数问题。
  • 分析所有类型的时序数据:GreptimeDB 积极拥抱分析生态系统,用户可以使用标准 SQL 和 PromQL 轻松查询指标、事件和日志等时序数据。
  • 无缝替代:GreptimeDB 支持广泛的数据协议,包括 SQL、InfluxDB 行协议、OpenTelemetry、Prometheus Remote Storage 等。

更多细节建议阅读 GreptimeDB v0.8 的 TSBS 基准测试GreptimeDB 支持的读写协议

GreptimeDB 如何提高成本效率

GreptimeDB 从以下几个关键方面极大节约了时序数据栈的成本:

  1. 自适应数据压缩:使用高度优化的列存格式存储时序数据,可以做到 30 倍数据无损压缩。

  2. 弹性和通用存储:数据可以存储在各种云对象存储上,成本效益(计入压缩)提高 50 倍。

  3. 减少停机时间:数据节点是无状态的,新的数据节点可以迅速接管宕机的节点,从而大幅减少系统中断时间。存储可靠性几乎持平云对象存储(S3 的持久性保证为 99.999999999%,可用性保证为 99.99%)。

  4. 消除异构系统:GreptimeDB 内置了强大的分析功能。在写入方面,GreptimeDB 提供了多种语言的 SDK,并支持多种广泛使用的数据写入协议。用户可以使用 GreptimeDB 解决方案作为一站式时序数据栈。

GreptimeDB 的读写路径

GreptimeDB 为希望提升时序数据栈效率和成本效益的企业提供了一个极具吸引力的选择。

案例研究:车云一体解决方案

GreptimeDB 的车云一体解决方案已经成功应用在国内一线的新能源车企当中。该方案是一个为汽车厂商实际业务场景深度定制的时序解决方案。

在采用 GreptimeDB 之前,该企业开发了一个包含多种技术的内部数据栈,遇到了以下挑战:

  • 高昂的数据相关成本:每辆车每年花费数百元人民币。
  • 边缘写入、查询和分析能力薄弱:只能依赖云数据库进行分析,导致车辆和云端之间的通信协调变得非常复杂。
  • 数据精度不足导致难以获得有价值的见解:该企业全量存储指标数据。由于性能和成本问题,数据只能以秒级精度做分析,这不符合该业务场景下的实际需求。

GreptimeDB 解决方案是一个一站式的时序数据栈,解决了上述所有挑战:

  • 车端流量成本降低至 1/10,云上的存储和计算成本通过无损压缩降低至 1/30。
  • GreptimeDB 使用 Rust 语言编写,编译出来的二进制体积极小,可以部署在车端。嵌入式数据库显著减少了车云协同所需的开发工作量。
  • 在可控成本下实现了所有车辆上报时序数据毫秒级精度的存储和分析。

总的来说,使用 GreptimeDB 车云一体解决方案后,该企业每辆车每年节省了超过数百元人民币。

总结

总的来说,时序数据栈是企业数据系统不可或缺的一部分,但传统解决方案会带来高昂的成本和极大的运营负担。GreptimeDB 开创性地提供了一种高性价比、可扩展且性能高效的替代方案,是一个满足现代企业需求的可靠替代方案。

通过使用 GreptimeDB,企业可以显著降低时序数据栈的总体拥有成本,提高性能,并简化时序数据栈,从而释放更多的资源用于核心业务运营和战略计划。GreptimeDB 在时序数据管理方面的创新使其对任何数据驱动的企业都有价值。

关于 Greptime

Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。

欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~

Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb

官网:https://greptime.cn/

文档:https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/

加入我们的社区

获取 Greptime 最新更新,并与其他用户讨论。