Databend 开源周报 #70

Databend 是一款强大的云数仓。专为弹性和高效设计，自由且开源。

即刻体验云服务：https://app.databend.com。

What’s New

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

Features & Improvements

Format

• 更好地检查格式相关选项 (#8981)
• 为 Parquet 文件提供基本的模式推断能力 (#9043)

Query

• QualifiedName 支持 ‘db.table.’ 和 ‘table.’ (#8965)
• 支持批量插入时关闭表达式解析 (#8966)

Storage

• 为 fuse engine 增加 cache layer (#8830)
• 新增 system 表 system.memory_statistics (#8945)
• 新增 “optimize table table_name statistic” 支持，用于计算表统计信息 (#8891)

Code Refactor

Base

• 移除 common-macros (#8936)

Format

• TypeDeserializer 中去除 FormatSetting (#8950)

Planner

• 重构 “ExtractOrPredicate” ，合并到 “RulePushDownFilterJoin”(#8951)

Processors

• 合并构建数据块来优化 join (#8961)

New Expression

• 使用新方法重做 #8789 (#9008)

Documentation

• 使用 Crowdin 提供 i18n 支持 (#8987, #8997, etc.)

Bug Fix

Base

• 修复 memory tracker 丢失的问题 (#8932)

Meta

• 修复 share db 漏洞，如果需要则创建 “DatabaseIdToName” (#9006)

Mysql handler

• 修复 MySQL 连接泄漏 (#8894)

Processors

• 修复 “update_list” 中的内存泄漏 (#9023)

Storage

• 压缩时并行读写数据块 (#8921)

What’s On In Databend

请持续关注 Databend 的最新动态。

Infer Schema 前瞻

通常，在从 stage 或者其他位置载入数据时，我们需要先创建对应的表。但有些时候，我们无法预知文件模式或者需要创建的模式太复杂，使得无法轻松完成创建表的工作。

引入模式推断将会简化从文件载入数据的过程。甚至，可以直接使用 SELECT 语句查询 stage 中的数据，例如 “select * from @my_stage” 。

INFER 's3://mybucket/data.csv' FILE_FORMAT = ( TYPE = CSV );
+-------------+---------+----------+
| COLUMN_NAME | TYPE    | NULLABLE |
|-------------+---------+----------|
| CONTINENT   | TEXT    | True     |
| COUNTRY     | VARIANT | True     |
+-------------+---------+----------+

1
2
3
4
5
6
7
8

在 #9043 中，Databend 新增对 parquet 文件进行基本模式推断的接口，我们将会在这个基础上继续推动 #7211 的解决，以支持 “select * from @stage” 。

阅读以下材料以了解更多讯息：

• PR | add basic schema infer for parquet

• Issue | query data from S3 location or stage

• PR | rfc: Infer Schema

What’s Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

为 MySQL Handler 添加 TLS 支持

近期发布的 opensrv-mysql v0.3.0 引入了 TLS 支持，是时候为 Databend 的 MySQL Handler 实现它。

let (is_ssl, init_params) = opensrv_mysql::AsyncMysqlIntermediary::init_before_ssl(
    &mut shim,
    &mut r,
    &mut w,
    &Some(tls_config.clone()),
)
.await
.unwrap();

opensrv_mysql::secure_run_with_options(shim, w, ops, tls_config, init_params).await

1
2
3
4
5
6
7
8
9
10
11

Issue 8983: Feature: tls support for mysql handler

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题，祝好运！

Changelog

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。

地址：https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

• Databend Website ：https://databend.rs/

• Weekly ：https://weekly.databend.rs/

• GitHub Discussions ：https://github.com/datafuselabs/databend/discussions

• Twitter ：https://twitter.com/Datafuse_Labs

• Slack Channel ：https://link.databend.rs/join-slack