• ClickHouse多级磁盘和冷热数据分离实践

    特别注意

    • ck可以大小写区分也可以不区分
    • ck 配置文件中的各个卷的是有顺序的。
    开启远程访问

     vim /etc/clickhouse-server/config.xml

    0.0.0.0

    前言

    ClickHouse 的冷热数据分离和ES的类似，可以选择冷数据跑在哪个数据目录上。

    总的来说 ClickHouse 冷热存储架构的整体设计思想是：本地 SSD 存储查询热数据，远端Nas存储查询相对不那么频繁的数据，从而节约存储成本，支持更多的数据存储需求。

    操作命令
    1. -- 查看存储策略
    2. select * from system.storage_policies
    3.  
    4. -- 查看磁盘
    5.  select * from system.disks
    官网文档
    1. ## ttl值
    2. https://ClickHouse.com/docs/en/engines/table-engines/mergetree-family/mergetree#mergetree-table-ttl
    参考文档
    1. ###  多级磁盘
    2. https://blog.csdn.net/weixin_37692493/article/details/114118400
    3.  
    4. ### 
    5. https://blog.csdn.net/SmartCodeTech/article/details/127513358
    6.  
    7. ### 不错
    8. https://blog.csdn.net/weixin_47388410/article/details/120885690
    9.  
    10.

    线上配置

    1.     <storage_configuration>
    2.         <disks>
    3.             <disk0>
    4.                 <path>/opt/data/clickhouse/path>
    5.                 <keep_free_space_bytes>1024000000keep_free_space_bytes>
    6.             disk0>
    7.             <fast_ssd>
    8.                 <path>/opt/data/clickhouse_fast/path>
    9.                 <keep_free_space_bytes>1024000000keep_free_space_bytes>
    10.             fast_ssd>
    11.         disks>
    12.  
    13.         <policies>
    14.             <single>
    15.                 <volumes>
    16.                     <single>
    17.                         <disk>disk0disk>
    18.                     single>
    19.                 volumes>
    20.             single>
    21.  
    22.             <moving_from_ssd_to_hdd>
    23.                 <volumes>
    24.                     <hot>
    25.                         <disk>fast_ssddisk>
    26.                         <max_data_part_size_bytes>1073741824max_data_part_size_bytes>
    27.                     hot>
    28.                     <cold>
    29.                         <disk>disk0disk>
    30.                     cold>
    31.                 volumes>
    32.                 <move_factor>0.2move_factor>
    33.             moving_from_ssd_to_hdd>
    34.         policies>
    35.         
    36.     storage_configuration>
    示例：
    2. <path>/data1/ClickHouse/data/path> 
    3.     <storage_configuration>
    4.             <disks>
    5.                 <hot>
    6.                 
    7.                     <path>/data1/ClickHouse/hot/path>  
    8.                 hot>
    9.                 <cold>
    10.                     <path>/data2/ClickHouse/cold/path>
    11.                 cold>
    12.             disks>
    13.             <policies>
    14.                 <ttl>
    15.                     <volumes>
    16.                         <hot>
    17.                            <disk>hotdisk>
    18.                         hot>
    19.                         <cold>
    20.                            <disk>colddisk>
    21.                         cold>
    22.                     volumes>
    23.                 ttl>
    24.             policies>
    25.     storage_configuration>
    语法格式
    • < path> 为ClickHouse默认的存储路径，找到该标签后在下方添加存储策略标签。
    • ：固定标签，定义存储策略。
    • < dicks> 固定标签，下面会定义磁盘名称，以及磁盘绝对路径。
    • < hot>、< cold>：自定义标签，用来标记该路径，可按照此名称定义便于区分。
    • < policies>：固定标签，定义具体存储策略名称。
    • < ttl>：自定义标签，定义具体存储策略的名称，用于表级TTL，可按照此名称定义便于区分。
    • < volumes>：固定标签，定义卷组。
    • < hot>、< cold>：卷组名称，每个卷组下可以包括一个或多个disk标签，disk标签取值为< disks >标签下定义的磁盘名称。
    检查
    1. vm-01 :) select * from system.storage_policies;
    2.  
    3. SELECT *
    4. FROM system.storage_policies
    5.  
    6. ┌─policy_name────────────┬─volume_name─┬─volume_priority─┬─disks────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┐
    7. │ default                │ default     │               1 │ ['default']  │ JBOD        │                  0 │           0 │
    8. │ moving_from_ssd_to_hdd │ hot         │               1 │ ['fast_ssd'] │ JBOD        │         1073741824 │         0.2 │
    9. │ moving_from_ssd_to_hdd │ cold        │               2 │ ['disk0']    │ JBOD        │                  0 │         0.2 │
    10. │ single                 │ single      │               1 │ ['disk0']    │ JBOD        │                  0 │         0.1 │
    11. └────────────────────────┴─────────────┴─────────────────┴──────────────┴─────────────┴────────────────────┴─────────────┘
    12.  
    13. 4 rows in set. Elapsed: 0.008 sec. 
    14.  
    15. vm-01 :)  select * from system.disks;
    16.  
    17. SELECT *
    18. FROM system.disks
    19.  
    20. ┌─name─────┬─path───────────────────────┬──free_space─┬─total_space─┬─keep_free_space─┬─type──┐
    21. │ default  │ /var/lib/clickhouse/       │ 10822782976 │ 18238930944 │               0 │ local │
    22. │ disk0    │ /opt/data/clickhouse/      │  9798782976 │ 17214930944 │      1024000000 │ local │
    23. │ fast_ssd │ /opt/data/clickhouse_fast/ │  9798782976 │ 17214930944 │      1024000000 │ local │
    24. └──────────┴────────────────────────────┴─────────────┴─────────────┴─────────────────┴───────┘
    25.  
    26. 3 rows in set. Elapsed: 0.002 sec. 
    27.  
    28. -- 切换库
    29. vm-01 :) use default;
    30.  
    31. --  检查
    32. show create table t1;
    创建表
    1. -- 创建表
    2.  
    3. > create table t1(`id` Int32,`name` String) engine=MergeTree() order by id settings storage_policy='moving_from_ssd_to_hdd';
    4.  
    5.  
    6.  
    7. --  检查
    8. SELECT name, data_paths, metadata_path, storage_policy from system.tables where name in ('t1','t2','t3')
    模拟写入
    1. -- 
    2. insert into t1 values(1,'aa'),(2,'bb'),(3,'cc');
    3.  
    4. -- check
    5. tree /opt/data/clickhouse_fast/
    6. tree /opt/data/clickhouse/
    查看表数据和分区存储信息
    1. --  查看表数据和分区存储信息，可以看到按照分区将数据写入到了不同的磁盘目录下
    2. SELECT name, data_paths, metadata_path, storage_policy from system.tables where name ='t1'
    3.  
    4. --  查看分区存储信息
    5. select name, disk_name, path from system.parts where table = 't1';
    6.  
    7.  
    8.

    多磁盘数据迁移

    手动模拟分区合并

    手动模拟分区合并，分区合并会自动将其他磁盘目录下数据进行合并，并存储在其中某一磁盘下

    1. -- 
    2. optimize table t1;
    3.  
    4. -- 
    5. select name, disk_name, path from system.parts where table = 't1' and active;
    多磁盘分区迁移
    1. ##
    2. ALTER TABLE t1 MOVE PART 'all_2_2_0' TO VOLUME 'cold'
    3.  
    4. ## 
    5. vm-01 :) select name, disk_name, path from system.parts where table = 't1' and active;
    6.  
    7. SELECT 
    8.     name,
    9.     disk_name,
    10.     path
    11. FROM system.parts
    12. WHERE (table = 't1') AND active
    13.  
    14. ┌─name──────┬─disk_name─┬─path─────────────────────────────────────────────────┐
    15. │ all_1_1_0 │ fast_ssd  │ /opt/data/clickhouse_fast/data/default/t1/all_1_1_0/ │
    16. │ all_2_2_0 │ fast_ssd  │ /opt/data/clickhouse_fast/data/default/t1/all_2_2_0/ │
    17. └───────────┴───────────┴──────────────────────────────────────────────────────┘
    18.  
    19. 2 rows in set. Elapsed: 0.010 sec. 
    20.  
    21. vm-01 :) select * from system.storage_policies;
    22.  
    23. SELECT *
    24. FROM system.storage_policies
    25.  
    26. ┌─policy_name────────────┬─volume_name─┬─volume_priority─┬─disks────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┐
    27. │ default                │ default     │               1 │ ['default']  │ JBOD        │                  0 │           0 │
    28. │ moving_from_ssd_to_hdd │ hot         │               1 │ ['fast_ssd'] │ JBOD        │         1073741824 │         0.2 │
    29. │ moving_from_ssd_to_hdd │ cold        │               2 │ ['disk0']    │ JBOD        │                  0 │         0.2 │
    30. │ single                 │ single      │               1 │ ['disk0']    │ JBOD        │                  0 │         0.1 │
    31. └────────────────────────┴─────────────┴─────────────────┴──────────────┴─────────────┴────────────────────┴─────────────┘
    32.  
    33. 4 rows in set. Elapsed: 0.006 sec. 
    34.  
    35. vm-01 :) ALTER TABLE t1 MOVE PART 'all_2_2_0' TO VOLUME 'cold'
    36.  
    37. ALTER TABLE t1
    38.     MOVE PART 'all_2_2_0' TO VOLUME 'cold'
    39.  
    40.  
    41. Ok.
    42.  
    43. 0 rows in set. Elapsed: 0.005 sec. 
    44.  
    45. vm-01 :) select name, disk_name, path from system.parts where table = 't1' and active;
    46.  
    47. SELECT 
    48.     name,
    49.     disk_name,
    50.     path
    51. FROM system.parts
    52. WHERE (table = 't1') AND active
    53.  
    54. ┌─name──────┬─disk_name─┬─path─────────────────────────────────────────────────┐
    55. │ all_1_1_0 │ fast_ssd  │ /opt/data/clickhouse_fast/data/default/t1/all_1_1_0/ │
    56. │ all_2_2_0 │ disk0     │ /opt/data/clickhouse/data/default/t1/all_2_2_0/      │
    57. └───────────┴───────────┴──────────────────────────────────────────────────────┘
    58.  
    59. 2 rows in set. Elapsed: 0.003 sec.

    策略下沉并应用

    通过设置表的TTL值将表的历史的数据下沉到 moving_from_ssd_to_hdd 冷标签（历史元的存储盘）中。

    新创建的表将冷数据迁移到 moving_from_ssd_to_hdd 标签磁盘中。
    1. -- 创建新表并应用某个存储策略
    2. create table t1(`id` Int32,`name` String) engine=MergeTree() order by id settings storage_policy='moving_from_ssd_to_hdd';
    3.  
    4.  
    5. -- 修改表的 TTL
    6. ALTER TABLE example_table MODIFY TTL d + INTERVAL 1 DAY ;

    修改原有的表应用某个存储策略
    1. -- 查看storage_policies
    2. SELECT 
    3.     policy_name,
    4.     volume_name,
    5.     volume_priority,
    6.     disks,
    7.     formatReadableSize(max_data_part_size) AS max_data_part_size,
    8.     move_factor
    9. FROM system.storage_policies
    10.  
    11. -- 修改原有的表应用相应的存储策略
    12. alter table  test02 modify setting storage_policy='moving_from_ssd_to_hdd';
    13.

    冷热数据分离

    上面说的磁盘多级磁盘的配置，修改表的存储策略，可以应用到不同的磁盘中。如果通过表的TTL值，自动去对历史数据分到网络存储盘。新数据到本地磁盘了？

    基于move factor的数据移动策略
    1. vm-01 :)  select * from system.storage_policies;
    2.  
    3. SELECT *
    4. FROM system.storage_policies
    5.  
    6. ┌─policy_name────────────┬─volume_name─┬─volume_priority─┬─disks────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┐
    7. │ default                │ default     │               1 │ ['default']  │ JBOD        │                  0 │           0 │
    8. │ moving_from_ssd_to_hdd │ hot         │               1 │ ['fast_ssd'] │ JBOD        │         1073741824 │         0.2 │
    9. │ moving_from_ssd_to_hdd │ cold        │               2 │ ['disk0']    │ JBOD        │                  0 │         0.2 │
    10. │ single                 │ single      │               1 │ ['disk0']    │ JBOD        │                  0 │         0.1 │
    11. └────────────────────────┴─────────────┴─────────────────┴──────────────┴─────────────┴────────────────────┴─────────────┘
    12.  
    13. 4 rows in set. Elapsed: 0.004 sec. 
    14.  
    15. vm-01 :) select * from system.disks;
    16.  
    17. SELECT *
    18. FROM system.disks
    19.  
    20. ┌─name─────┬─path───────────────────────┬──free_space─┬─total_space─┬─keep_free_space─┬─type──┐
    21. │ default  │ /var/lib/clickhouse/       │ 10813464576 │ 18238930944 │               0 │ local │
    22. │ disk0    │ /opt/data/clickhouse/      │  9789464576 │ 17214930944 │      1024000000 │ local │
    23. │ fast_ssd │ /opt/data/clickhouse_fast/ │  9789464576 │ 17214930944 │      1024000000 │ local │
    24. └──────────┴────────────────────────────┴─────────────┴─────────────┴─────────────────┴───────┘
    25.  
    26. 3 rows in set. Elapsed: 0.005 sec.

    在上面的例子中，我们配置了一个存储策略：

    • 包含了2个卷（volume）。数据默认写入到default磁盘。
    • move factor 设置为0.2。当default磁盘空间小于20%时，将数据迁移到磁盘data2。
    • 默认卷max_data_part_size_bytes设置为xx G，大于xx G的part数据，不会写入到默认卷。

    注意： 配置文件中的各个卷的顺序非常重要。当CK有新数据写入的时候，数据会优先写到第一个卷。再依次写道后面的卷。move_factor 也是从前面的卷移动到后面的卷。

    1. ## 以上参考文章如下
    2. https://yunche.pro/blog/?id=64

    基于TTL的数据移动策略
    1. -- 创建时指定 TTL
    2. CREATE TABLE ttl_test_tbl
    3. (
    4.     `f1` String,
    5.     `f2` String,
    6.     `f3` Int64,
    7.     `f4` Float64,
    8.     `date` Date
    9. )
    10. ENGINE = MergeTree()
    11. PARTITION BY date
    12. ORDER BY f1
    13. TTL date + INTERVAL 90 DAY TO DISK 'disk0'
    14. SETTINGS storage_policy = 'moving_from_ssd_to_hdd';
    15.  
    16.  
    17. -- 修改表的 TTL
    18. ALTER TABLE example_table
    19.     MODIFY TTL d + INTERVAL 1 DAY ;
    检查
    1. vm-01 :) show tables;
    2.  
    3. SHOW TABLES
    4.  
    5. ┌─name─────────┐
    6. │ enum         │
    7. │ student      │
    8. │ tt           │
    9. │ ttl_test_tbl │
    10. └──────────────┘
    11.  
    12. 4 rows in set. Elapsed: 0.005 sec. 
    13.  
    14. vm-01 :) desc ttl_test_tbl;
    15.  
    16. DESCRIBE TABLE ttl_test_tbl
    17.  
    18. ┌─name─┬─type────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
    19. │ f1   │ String  │              │                    │         │                  │                │
    20. │ f2   │ String  │              │                    │         │                  │                │
    21. │ f3   │ Int64   │              │                    │         │                  │                │
    22. │ f4   │ Float64 │              │                    │         │                  │                │
    23. │ date │ Date    │              │                    │         │                  │                │
    24. └──────┴─────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘
    25.  
    26. 5 rows in set. Elapsed: 0.002 sec. 
    27.  
    28. vm-01 :) show create table ttl_test_tbl;
    29.  
    30. SHOW CREATE TABLE ttl_test_tbl
    31.  
    32. ┌─statement──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
    33. │ CREATE TABLE db_devops.ttl_test_tbl
    34. (
    35.     `f1` String,
    36.     `f2` String,
    37.     `f3` Int64,
    38.     `f4` Float64,
    39.     `date` Date
    40. )
    41. ENGINE = MergeTree()
    42. PARTITION BY date
    43. ORDER BY f1
    44. TTL date + toIntervalDay(90) TO DISK 'disk0'
    45. SETTINGS storage_policy = 'moving_from_ssd_to_hdd', index_granularity = 8192 │
    46. └────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
    47.  
    48. 1 rows in set. Elapsed: 0.002 sec.

    参考文档：

    1. ## 腾讯云
    2. https://cloud.tencent.com/document/product/1299/63662

    修改已有的表的存储策略实践

    1. vm-01 :) alter table  knight modify setting storage_policy='moving_from_ssd_to_hdd';
    2.  
    3. ALTER TABLE knight
    4.     MODIFY SETTING storage_policy = 'moving_from_ssd_to_hdd'
    5.  
    6.  
    7.  
    8. Received exception from server (version 20.8.3):
    9. Code: 36. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: New storage policy shall contain volumes of old one. 
    10.  
    11. 0 rows in set. Elapsed: 0.004 sec.

    报错需要修改如下：

    报错的意思是 新的存储策略需要包含旧的磁盘卷。

    1.             <moving_from_ssd_to_hdd>
    2.                 <volumes>
    3.                  
    4.                   <default>
    5.                       <disk>defaultdisk>
    6.                   default>
    7.  
    8.                   default>
    9.  
    10.                     <hot>
    11.                         <disk>fast_ssddisk>
    12.                         <max_data_part_size_bytes>1073741824max_data_part_size_bytes>
    13.                     hot>
    14.  
    15.                     <cold>
    16.                         <disk>disk0disk>
    17.                     cold>
    18.                 volumes>
    19.                 <move_factor>0.2move_factor>
    20.             moving_from_ssd_to_hdd>

  • 相关阅读:
    Jmeter基础入门教程【12】--常用功能详解：JDBC
    Mac OS 用户开启 8080 端口
    需求复盘 | 职责分离原则开发实战
    SpringBoot整合SpringSecrity+JWT ---复制即用
    k8s-service-3-clusterip
    C# 支付宝小程序 ---小程序支付
    shell脚本常用语句记录--持续更新
    《算法竞赛·快冲300题》每日一题：“彩虹数”
    希望大家给我一些关于实习和就业的建议
    菜鸟逆袭成为大佬，就靠这份《数据中心设施运维指南》，啃完你就知道多香了
  • 原文地址：https://blog.csdn.net/knight_zhou/article/details/132655953