【笔记】从ES到ClickHouse：B站海量日志分析场景迁移的实践与思考

https://www.bilibili.com/video/BV1tB4y1p7j7?spm_id_from=333.337.search-card.all.click&vd_source=fa36a95b3c3fa4f32dd400f8cabddeaf

为什么从ES到Clickhouse ？

• 写入性能。潮汐性日志写入，将CPU打到80%
• 索引的开销。倒排索引是数据量增加一倍
• 非SQL。运营成本

需求

• 低成本
• 高性能
• 支持半结构化数据

Clickhouse结果

• 节省40%资源
• p90查询延迟低于1s

• 调整一个参数减少merge次数
• 动态字段使用Map
• ZSTD比默认编码多节省60%的资源空间

Map不比两个arr快

• 多读很多冗余数据(Avoid reading unnecessary granules,Still read all elements in map)
• 没有索引

B站添加了一个隐式列类型，按照key生成隐式列。 整体性能提升90%。这种场景不适合将整个map存储进来，所以可以把原生map也存进来。