Kafka&陌陌案例,220903,,

数据堆积, 数据积压.

1. 目的容器有问题.

2.网络带宽.

3.消费逻辑过于复杂.

 

 

数据体量大, 需要高效随机读写, => HBase

5. 集成: 离线 Hbase => Hive, 即席: Hbase => Phoenix

 GPS, 经纬度, 省份... 根据经纬度, 算省份.

 数据格式: 维度, 经度

qq,,8点在家=> wifi, 8点30 5G, 出门, 10:00: wifi, 11:00 => 22:00 wifi, 5G=> 23:30: wifi

兴趣是最好的老师.

 

 Example for agent named a1: agent的名字叫: a1

flume 采集日志文件.

玩儿Flume就是 锁定三大组件. 

官方建议, rowkey的设计规则: 4句话.

1. 避免使用递增类, 时序类的数据. 100000000000001

2.长度, 64KB, 不超过100字节, 建议: 20 ~ 50

3. long类型比String类型节省空间.

4. 保证唯一.

 面试记不清,说有如下几点,

 

数据堆积,

1,目标容器有问题

2,网络带宽,(加钱换更高带宽,换运营商)

3,消费逻辑过于复杂,(1优化代码,2增加主题分片数,增加消费者,)

 

晚上

梳理

陌陌案例, 数据源 => flume => kafka => Hbase => Phoenix/Hive

shfit+g  vim最后一行

:行数  直接跳,,,vim中

 pc有多少个端口???

 

tail -100f MOMO_DATA.dat==文件最后100行