码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Databend 开源周报第 108 期


    Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

    What's On In Databend

    探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

    多源数据目录

    在 Databend 中,Catalog 是数据组织的最高一级抽象,可以帮助用户高效管理和访问数据源。

    Databend 具备多源数据目录(Multiple Catalog)能力,目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog 。

    通过挂载外部 Catalog ,无需将数据加载到 Databend 中,就可以进行高效查询。

    1. -- Create a Hive catalog
    2. CREATE CATALOG hive_ctl
    3. TYPE = HIVE
    4. CONNECTION =(
    5. METASTORE_ADDRESS = '127.0.0.1:9083'
    6. URL = 's3://databend-toronto/'
    7. AWS_KEY_ID = ''
    8. AWS_SECRET_KEY = ''
    9. );

    如果您想了解更多信息,请查看下面列出的资源。

    • Docs | Catalog
    • RFCs | Multiple Catalog

    Code Corner

    一起来探索 Databend 和周边生态中的代码片段或项目。

    利用 "cargo-pgo" 实现 PGO

    Profile-guided optimization (PGO) 是一种常见的编译优化技术,可以利用程序运行时采集到的 profiling 信息来引导编译器进行针对性的优化,生成更高质量的代码,从而提高程序的性能。

    根据测试,利用 PGO ,Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载,你可以尝试应用 PGO 技术来优化 Databend 集群的性能。

    如果您想了解更多信息,请查看下面列出的资源。

    • Docs | Profile Guided Optimization (PGO)

    Highlights

    以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

    • 实现 "json_pretty" 函数。
    • 改进内连接(inner join)性能。
    • 为 HTTP 查询接口增加更多统计指标。
    • 为 Hive Catalog 实现 "SHOW DATABASES" 和 "SHOW TABLES" 支持。
    • 阅读 Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group 了解 Databend 在药品零售领域的客户成功故事。

    What's Up Next

    我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

    利用 SQLsmith 实施模糊测试

    SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询,通常能够通过语义检查,从而进一步测试数据库的执行逻辑。

    过去,Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试,提供更全面、更具针对性的测试结果,提高发现漏洞的可能。

    Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing

    如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 In that case can fuse engine be accessible via arrow flight? Would be nice to run query engine via databend and the results are sent via arrow flight. · Issue #8846 · datafuselabs/databend · GitHub 来挑选一个随机问题,祝好运!

    Changelog

    前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

    地址:Releases · datafuselabs/databend · GitHub

    Contributors

    非常感谢贡献者们在本周的卓越工作。 

     

    Connect With Us

    Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

    • Databend Website
    • GitHub Discussions
    • Twitter
    • Slack Channel
  • 相关阅读:
    2022工控中国大会合作全面开启
    【操作系统】进程同步、进程互斥、死锁
    云LDAP的成本
    SpringBoot ORM操作MySQL、REST接口架构风格、集成Redis和集成Dubbo
    最短路径算法之一:单源无权图,python实现
    大数据安全 测试
    vue组件库开发,webpack打包,发布npm
    58同城登录如何免验证码,通过账号登录,有的联系我
    U-Mail邮件服务器软件,企业自建邮件服务器的最佳选择
    java计算机毕业设计干洗店订单管理系统设计与实现源码+mysql数据库+系统+lw文档+部署
  • 原文地址:https://blog.csdn.net/Databend/article/details/132560552
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号