Databend 开源周报 #68

Databend 是一款强大的云数仓。专为弹性和高效设计，自由且开源。

即刻体验云服务：https://app.databend.com。

New Features

metrics

• 添加关于查询详情的统计指标 (#8800)

multiple catalog

• 实现 multiple catalog 相关配置 (#8743)

query

• 在读数据块时调整最大 io 请求，以避免 OOM (#8726)
• 将 “PrecommitBlock” 的序列化/反序列化工具从 “serde_json” 变更为 “bincode” (#8726)
• 支持 parallel final aggregator，在部分场景带来 4X 性能提升! (#8577)
• 分布式查询结果并行合并 (#8811)

storage

• 在分布式剪枝过程中对数据段进行编排 (#8793)
• 为 Partitions 增加编排策略 (#8814)

new expression

• 为比较相关表达式添加计算域 (#8754)

Code Refactor

io

• 使用 “Cursor” 替换 “NestedCheckpointReader” (#8716)

handler

• 使用 “FieldEncoder” 编码数据 (#8733)

format

• 使用 “FieldEncoder” 重构(#8778)

query

• 统一哈希表接口 (#8681)

storage

• compact block 的全新实现 (#8679)

new expression

• 优化 domain (#8755)
• 允许 chunk 中使用稀疏列 id (#8789)

Bug Fix

handler

• 修正 databend 类型到 mysql 类型的对应关系 (#8745)

functions

• “l_col like r_col” 将会根据 “r_col” 生成哈希表，如果 “r_col” 很大，可能导致 OOM (#8737)

News

Datafuse Labs / Databend 本周新动态！

Shuffle Policy for Partitions

考虑到缓存相关性，我们在 partitions 重排的过程中引入一些策略，默认类型为"Seq"。

pub enum PartitionsShuffleKind {
    // Bind the Partition to executor one by one with order.
    Seq,
    // Bind the Partition to executor by partition.hash()%executor_nums order.
    Mod,
    // Bind the Partition to executor by partition.rand() order.
    Rand,
}

1
2
3
4
5
6
7
8
9

阅读以下材料以了解更多讯息

• PR | add shuffle policy for Partitions

Databend x Rust China Hackathon 2022

Rust China Hackathon 2022 即将来袭!本届Hackathon的主题为「Rust For Fun」，分为「社区组」与「企业组」。

Databend 作为本届 Hackathon 的协办方，赞助参与本次企业组赛道，参赛选手可以围绕 Databend 组件或 Databend 生态周边进行创作，共同探索云原生数仓的魅力。

阅读以下材料以了解更多讯息

• GitHub - datafuselabs / hackathon2022

Issues

遇到你可能会感兴趣的问题，欢迎试着解决它。

Switch to nextest in CI

“cargo-nextest” 致力于成为 Rust 项目的下一代测试运行工具。

我们注意到它在非常多项目上都要比 “cargo test” 更快。然而，要想在 Databend 上启用它仍然需要解决一些挑战。例如，对于不同类型的测试，如何正确设置线程数量以确保测试正确高效执行。另外，可能需要重写部分测试以确保得到更合适的结果。

Issue 4376: switch to nexttest in ci

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题，祝好运！

Changlogs

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Meet Us

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

• Databend Website ：https://databend.rs/
• Weekly ：https://weekly.databend.rs/
• GitHub Discussions ：https://github.com/datafuselabs/databend/discussions
• Twitter ：https://twitter.com/Datafuse_Labs
• Slack Channel ：https://link.databend.rs/join-slack