• 数据导入hudi报错,错将字段写到hdfs路径上


    报错信息

    1. Error trying to save partition metadata (this is okay, as long as atleast 1 of these succced), file:/qiche/hudi_table/冬天续航要打个八折的样子,能接受。高速相对市区还要耗电一些。不过这个车最主要是也就是在市区里面跑,而且最多会跑一下绕城高速。我第一次跑高速,行驶到120码的时候,就发现那个电掉得很快。而且冬天充电的时候你用了车就马上去充电,这样比你等车冷了再充电会快一些,这个是销售教我的方法,确实是这个样子的。
    2. java.io.IOException: Mkdirs failed to create file:/qiche/hudi_table/冬天续航要打个八折的样子,能接受。高速相对市区还要耗电一些。不过这个车最主要是也就是在市区里面跑,而且最多会跑一下绕城高速。我第一次跑高速,行驶到120码的时候,就发现那个电掉得很快。而且冬天充电的时候你用了车就马上去充电,这样比你等车冷了再充电会快一些,这个是销售教我的方法,确实是这个样子的。 (exists=false, cwd=file:/opt/module)

    原因

    导入数据中单个元素中可能包含有\t\n

    例如csv文件中

    解决

    去掉\t\n

    以csv文件为例

    etl.py

    1. import csv
    2. input_file = 'intput.csv'
    3. output_file = 'output.csv'
    4. # 打开输入和输出文件
    5. with open(input_file, 'r', newline='', encoding='utf-8') as file_in, open(output_file, 'w', newline='', encoding='utf-8') as file_out:
    6. reader = csv.reader(file_in)
    7. writer = csv.writer(file_out)
    8. # 逐行读取输入文件,并写入输出文件
    9. for row in reader:
    10. new_row = []
    11. for cell in row:
    12. new_cell = cell.replace('\n', '').replace('\r', '') # 去掉单元格中的换行符
    13. new_row.append(new_cell)
    14. writer.writerow(new_row)

    网上关于hudi报错的资料很少,个人建议不要问gpt关于hudi报错的问题,因为它会胡扯,至少它现在是这样的。

    希望这个解决方案可以帮助到你。

  • 相关阅读:
    SSM学生信息管理系统(含源码+论文+答辩PPT等)
    机器学习之集成学习算法简介
    Echarts基础
    【一】1D测量 Measuring——measure_projection()算子
    OpenCV中的形态学8
    监控易解读(3):统一运维,产品架构应用层详解
    springboot197基于springboot的毕业设计系统的开发
    【Java基础】继承、抽象类、注解
    深入浅出WMS之入库流程解析
    【MySQL × SpringBoot 突发奇想】全面实现流程 · 数据库导出Excel表格文件的接口
  • 原文地址:https://blog.csdn.net/qq_70770395/article/details/133110308