码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 记一次clickhouse手动更改分片数异常


    背景:clickhouse中之前是1分片1副本,随着数据量增多,想将分片数增多,于是驻场人员手动添加了分片数的节点信息

    <clickhouse>
        <!-- 集群配置 -->
        <clickhouse_remote_servers>
            <feihuang_ck_cluster>
             <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>feihuang3</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>xxxxxxxx</password>
                </replica>
                <replica>
                    <host>feihuang5</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>xxxxxxxx</password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>feihuang12</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>xxxxxxxx</password>
                </replica>
                <replica>
                    <host>feihuang13</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>xxxxxxxx</password>
                </replica>
            </shard>
           </feihuang_ck_cluster>
        </clickhouse_remote_servers>
    
        <!-- 本节点服务器的副本名称 -->
        <macros>
            <cluster>feihuang_ck_cluster</cluster>
            <shard>2</shard>
            <replica>feihuang13</replica>
        </macros>
    
        <!-- ZK配置信息 -->
        <zookeeper-servers>
            <node index="1">
                <host>feihuang6</host>
                <port>2181</port>
            </node>
            <node index="2">
                <host>feihuang7</host>
                <port>2181</port>
            </node>
             <node index="3">
                <host>feihuang8</host>
                <port>2181</port>
            </node>
        </zookeeper-servers>
    
        <!-- 数据压缩算法 -->
        <clickhouse_compression>
            <case>
                <min_part_size>10000000000</min_part_size>
                <min_part_size_ratio>0.01</min_part_size_ratio>
                <method>zstd</method>
            </case>
        </clickhouse_compression>
    </clickhouse>
    ```xml
     
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    但是发现每次写入一条数据,结果表中却又两条一样的数据。
    
    解决思路:排查配置文件,查看所有节点中的
    
            feihuang_ck_cluster
            2
            feihuang13
        
        中的 2是不是都为2,结果发现全部都是2,这样对ck来说,配置了两个分片的节点信息,但是这都属于一个分片,导致数据写入两份,最后,将接地那shard分成两组,2个节点改为1,另外两个节点改为2,重启好了
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
  • 相关阅读:
    5.9如何判断括号的合法性
    【Java+LeetCode训练】binarySearch源码解析
    CCC数字钥匙设计【NFC】--NFC卡相关基础知识
    使用C++语言BFS实现拓扑排序,BFS和DFS实现逆拓扑排序
    java计算机毕业设计文件发布系统源程序+mysql+系统+lw文档+远程调试
    2023年11月中国数据库排行榜:OPO组合持续两月,亚信、中兴闯进前十
    数据结构学习笔记
    信息学奥赛一本通 1363:小球(drop)
    【CIKM 2023】扩散模型加速采样算法OLSS,大幅提升模型推理速度
    大数据运维实战第一课 大话 Hadoop 生态圈
  • 原文地址:https://blog.csdn.net/weixin_51473488/article/details/133064177
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号