小公司的大数据框架集成思路
1、王老板利用2015炒股亏剩的钱来干互联网了
2、王老板,很有眼光,虽然只开了小公司,但是觉得大数据是个未来方向
3、干大数据投入多,还是小打小闹开发应用程序,但是内部要上大数据
4、找来公司技术总监小李,画饼:工欲善其事,必先利其器,
5、老板让小李手动搭建开源大数据框架了
6、小李花8800报了课了
7、小李学习后搭了一个三节点的大数据分析平台,集成Hadoop、Hive、HBase、zookeeper等,老板很开心,给小李涨了1000块工资,小李也很开森;
8、业务上来了,王老板觉得是不是三节点太少了,听说阿里腾讯都2000节点了;
9、还跟小李说大数据组件也要继续增加,要上Kafka、Flink、Sqoop、Flume、Hue等等
10、小李愁眉苦脸要离职,搭建大数据平台的过程中,参数都记得还是挺有难度的,坑还多,毕竟生态组件众多
11、大数据分析集成平台应运而生了
12、国内厂商也都在开发相关平台,星环TDH、曙光方舟大数据融合分析平台、Ucloud等等,但是都大几十万,稍微一些定制功能上百万,产品卖的乐此不疲
13、这笔钱王老板考虑许久,不能花,招这帮人就是压榨的,必须自己干、苦了干大数据的兄弟们
14、小李了解到hortonworks研发了Ambari和hdp的大数据分析集成平台
15、小李又知道cloudera研发了cloudera manger和cdh大数据分析集成平台,真的好开心
16、小李觉得这是行业福音,开源大数据平台,方便你我他,多了些时间打王者
17、2021合并,嘎然而止,CDH不更新和技术支持,小李跟王老板说版本撑两年还行,暂时不换
18、推出CDP,小李想了半天没明白为啥不更新,说好的开源呢?
19、生存与杀熟,cloudera推出社区版,付费不多,要生存,你习惯了CDH,用户量上来了,开始割韭菜
20、国内大厂听说Cloudera不提供免费版,开心、跃跃欲试,发帖告知如何CDH向付费产品迁移,同时说明CDP的利害关系,国家支持国产化,脸上洋溢笑容
21、王老板这两年疫情生意不好,没挣什么钱,跟小李说没钱买平台
22、股市韭菜一茬接一茬
23、UCloud此刻站出来开源USDP,王老板和小李相拥而泣
24、咱也不敢问,这免费到啥时候,暂时是香的