• ClickHouse Senior Course Ⅳ


    序言

    梳理一下ClickHouse的数据库引擎

    首先了解下什么是数据库引擎(cuiyaonan2000@163.com)

    数据库引擎是用于存储处理保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务,从而满足企业内大多数需要处理大量数据的应用程序的要求。 使用数据库引擎创建用于联机事务处理联机分析处理数据的关系数据库。这包括创建用于存储数据的表和用于查看、管理和保护数据安全的数据库对象(如索引、视图和存储过程。可以使用 SQL Server Management Studio 管理数据库对象,使用 SQL Server Profiler 捕获服务器事件。

    参考网址:

    1. Atomic | ClickHouse Docs

    数据库引擎

    官网一目了然的给出了几种数据库引擎,如下所示: 

    这里我们只了解下默认的数据库引擎Atomic 和 MySql数据引擎cuiyaonan2000@163.com

    如果创建一个数据库没有指定数据库引擎,默认就是Atomic.比如

     在使用命令查看该数据库的相关信息可以看到它的默认引擎就是Atomic

    Atomic

    它支持非阻塞DROP TABLERENAME TABLE查询和原子的EXCHANGE TABLES t1 AND t2查询。默认情况下使用Atomic数据库引擎。

    创建Atomic的数据库

    创建使用Atomic引擎的数据库格式如下所示:

     CREATE DATABASE test[ ENGINE = Atomic];

    Table UUID

    数据库Atomic中的所有表都有唯一的UUID,并将数据存储在目录/clickhouse_path/store/xxx/xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy/,其中xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy是该表的UUID。

    通常,UUID是自动生成的,但用户也可以在创建表时以相同的方式显式指定UUID(不建议这样做)。可以使用 show_table_uuid_in_table_create_query_if_not_nil设置。显示UUID的使用SHOW CREATE查询。例如:

    1. CREATE TABLE name UUID '28f1c61c-2970-457a-bffe-454156ddcfef' (n UInt64) ENGINE = ...;

    RENAME TABLES

    rename的语法参考官网:https://clickhouse.com/docs/zh/sql-reference/statements/rename

    RENAME查询是在不更改UUID和移动表数据的情况下执行的。这些查询不会等待使用表的查询完成,而是会立即执行。

    DROP/DETACH TABLES

    相关语法信息参考:DROP语法 | ClickHouse Docs

    DROP TABLE上,不删除任何数据,数据库Atomic只是通过将元数据移动到/clickhouse_path/metadata_dropped/将表标记为已删除,并通知后台线程。最终表数据删除前的延迟由database_atomic_delay_before_drop_table_sec设置指定。

    可以使用SYNC修饰符指定同步模式。使用database_atomic_wait_for_drop_and_detach_synchronously设置执行此操作。在本例中,DROP等待运行 SELECTINSERT和其他使用表完成的查询。表在不使用时将被实际删除。

    EXCHANGE TABLES

    关于exchage tables的语法信息参考EXCHANGE语法 | ClickHouse Docs

    EXCHANGE以原子方式交换表。因此,不是这种非原子操作:

    RENAME TABLE new_table TO tmp, old_table TO new_table, tmp TO old_table;
    

    可以使用一个原子查询:

    EXCHANGE TABLES new_table AND old_table;

    MySQL

    MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中,并允许您对表进行INSERTSELECT查询,以方便您在ClickHouse与MySQL之间进行数据交换

    MySQL数据库引擎会将对其的查询转换为MySQ

    1. CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
    2. ENGINE = MySQL('host:port', ['database' | database], 'user', 'password')

    L语法并发送到MySQL服务器中,因此您可以执行诸如SHOW TABLESSHOW CREATE TABLE之类的操作。

    但您无法对其执行以下操作(注意这是不能的操作):

    • RENAME
    • CREATE TABLE
    • ALTER

    创建Mysql引擎的数据库

    1. CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
    2. ENGINE = MySQL('host:port', ['database' | database], 'user', 'password')

    引擎参数

    • host:port — MySQL服务地址
    • database — MySQL数据库名称
    • user — MySQL用户名
    • password — MySQL用户密码

    Mysql与Clickhouse数据类型映射

    MySQLClickHouse
    UNSIGNED TINYINTUInt8
    TINYINTInt8
    UNSIGNED SMALLINTUInt16
    SMALLINTInt16
    UNSIGNED INT, UNSIGNED MEDIUMINTUInt32
    INT, MEDIUMINTInt32
    UNSIGNED BIGINTUInt64
    BIGINTInt64
    FLOATFloat32
    DOUBLEFloat64
    DATEDate
    DATETIME, TIMESTAMPDateTime
    BINARYFixedString

    其他的MySQL数据类型将全部都转换为String.

    Nullable已经支持

    全局变量支持

    为了更好地兼容,您可以在SQL样式中设置全局变量,如@@identifier.

    支持这些变量:

    • version
    • max_allowed_packet

    !!! warning "警告" 到目前为止,这些变量是存根,并且不对应任何内容。

    示例:

    SELECT @@version;

  • 相关阅读:
    List常见面试问题
    RabbitMQ Client (C/C++)
    Redis主从复制
    Cookie技术
    如何使用群晖NAS中FTP服务开启与使用固定地址远程上传下载本地文件?
    来自北大算法课的Leetcode题解:22. 括号生成
    软件开发项目文档系列之五如何撰写需求规格说明书
    kafka生产者异步发送、同步发送、回调异步发送,是什么情况?
    【MySQL数据库笔记 - 进阶篇】(一)存储引擎
    ubuntu22.04安装教程
  • 原文地址:https://blog.csdn.net/cuiyaonan2000/article/details/127885402