欢迎参与 8 月 1 日中午 11 点的线上分享,了解 GreptimeDB 联合处理指标和日志的最新方案! 👉🏻 点击加入

Skip to content
On this page
双周报
2025-1-22

Elasticsearch 协议支持、倒排索引优化与性能提升,又被外部贡献者“卷”到了!| Greptime 双周精选

在过去的两周,GreptimeDB 依旧非常活跃,在带来新功能的同时,也和社区的贡献者们一起推动 GreptimeDB 成为一个更好的产品,再次感谢大家!

内容概述

作为一个成长中的开源项目,GreptimeDB 的进展离不开来自全球的社区贡献者们,感谢各位!

最近的更新内容如下:

  • 支持 Elasticsearch 协议的日志写入
  • 支持使用 ALTER 来修改倒排索引
  • 引入稀疏主键编码来优化 Metrics 性能
  • 开始引入 BloomFilter 来作为全文索引的替代

社区贡献者名单

在过去的两周里,GreptimeDB 共合并了 113 个 PR,其中有 6 位独立贡献者,累计 23 个 PR 被成功合并,还有很多待合并的 PR 。

祝贺以下各位在过去 2 周内成为我们最突出的贡献者:

👏 欢迎 @mtrbpr 作为新的贡献者加入到社区,并成功合并了 PR,还有更多来自其他独立贡献者的 PR 正在等待合并。

(图 1:Greptime 新晋 Contributor)
(图 1:Greptime 新晋 Contributor)

🎉 衷心感谢我们所有的成员和贡献者!是你们的付出让我们的项目得以成功,也是你们让 GreptimeDB 成为一个更优质的产品。让我们一起努力,建立一个更棒的社区!

PR 亮点

db#5261 支持 Elasticsearch _bulk API 来写入日志

用户可使用 Elasticsearch _bulk API 或者 Logstash 来写入日志,进一步丰富了 GreptimeDB 对于日志生态的支持。

db#5131 支持使用 ALTER 来修改倒排索引

用户可使用 ALTER 命令来设置倒排索引,从而让索引的调整变得更加灵活简单。

db#5365 引入 SparsePrimaryKeyCodecSparsePrimaryKeyFilter

在 Metrics 场景中,当物理表上的主键列数量变得过大时,编码所有主键所需的CPU开销显著增加。这导致写入和查询操作都出现了明显的性能瓶颈。

本 PR 引入稀疏主键来只编码 non-null 键,降低 CPU 开销来提升性能。

完整的 Trakcing Issue 可参考 db#5282

db#5406 开始引入 BloomFilter 来作为全文索引的替代

全文索引在日志的场景会带来极大的资源开销,为缓解这一情况,本 PR 开始使用 BloomFilter 来作为索引构建方式,从而可作为一种替换全文索引的方式。这种索引构建方式较之全文索引可极大减低资源开销。

Good First Issue

db#5084 添加用于查询 Pipeline 的 HTTP API

尽管我们决定不为数据库暴露太多 HTTP API,但除了 Pipeline 的创建和删除操作之外,为 Pipeline 查询提供 HTTP API 是很自然的选择。

从开发者体验来看,当他们创建 Pipeline 时,使用类似的 API 来查询 Pipeline 会很方便,这样就不用通过 SQL 查询 greptime_private。例如:

plaintext
curl -XGET "http://localhost:4000/v1/events/pipelines/test?db=public"
  • 难度: 简单

  • 关键词: 日志

关于 Greptime

Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。

欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~

Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb

官网:https://greptime.cn/

文档:https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/

加入我们的社区

获取 Greptime 最新更新,并与其他用户讨论。