之前做大数据处理，经常遇到各种问题。很多时候是项目作业简单项配置问题，也可能是导入导出参数配置的问题，也可能是公司Hadoop平台的问题。那么如何排查问题，解决问题？这种事情，除了自己要积累一些大数据的知识和技能外，也需要一些获得一些排查问题的技巧、方法。
排查问题：
1、查看公司平台给的报错信息；
2、检查创建作业的配置是否正确；
3、直接去公司的hadoop平台查运行报错的日志
看日志排查问题技巧方法：
查看日志，搜关键字“caused by”，“error”，“connect”，“memory”等，看其上下文日志
不要总想着一点点看，一点点分析。搜关键字。
常见问题与解决方案：
1、hive2hive作业数据量太大，导致内存溢出
解决方案：
1）扩大hive数据作业的MapReduce、Spark这些计算引擎的参数
2）数据做切分后再加工处理
2、ES服务器设置的导入数据内存量太小，导致的内存溢出，hive2es导出数据失败
解决方案：扩大es内存参数。
3、连接关系数据库超时
这种问题有两种情况，我们的关系型数据库（MySQL、Oracle等）与大数据平台关联配置没成功，或者配置的账号、密码错误。还要一种情况，大数据平台关联的数据库有问题。这两种情况属于哪一种，需要看具体日志。
解决方案：正确配置关系型数据库的关联，或者启动那个未成功启动的数据库。
4、数据从hive导出经常报错，但是不是很频繁。网络抖动导致的问题导致的失败。
设置Spark这种计算工具的心跳参数。
心跳参数：spark.executor.heartbeatInterval
5、
其他问题，后续补充……