• 处理csv、bmp等常用数据分析操作--python

          请先看思维导图，看是否包含你所需要的东西，如果没有，就可以划走了，免得浪费时间，谢谢

     

    条条大路通罗马，我只是介绍了我掌握的这一条，不喜勿喷，谢谢。

    目录

    一、创建文件夹（多层）

    1、创建多层文件夹（包含子文件夹）

    2、查找多层文件夹中内容

    二、读写CSV

    1、写csv文件

     2、读csv文件

    三、读写bmp图

    1、读取csv，保存为bmp图

     2、读取bmp图

    四、excel中插入数据及图片

    五、综合应用（可直接运行）

    一、创建文件夹（多层）

    1、创建多层文件夹（包含子文件夹）

    1. import os
    2.  
    3. # 新建多层文件夹
    4. def mkdir(path):
    5.     if not os.path.exists(path):       # 判断是否存在此路径
    6.         os.makedirs(path)          # 创建此路径
    7.         print("完成新建")
    8.  
    9. # 主函数
    10. if __name__ == "__main__":
    11.     root_path = os.getcwd()  # 获取此py文件的路径
    12.     print(root_path)
    13.     new_folder_path = os.path.join(root_path, "new_folder", "1")  # os.path.join的作用，相当于给root_path, "new_folder", "1"添加"\\"
    14.     mkdir(new_folder_path)

    运行结果：

    1. "E:\study software\python3.7\python.exe" D:/test/new_folder.py
    2. D:\test
    3. 完成新建
    4.  
    5. Process finished with exit code 0

    新建多层文件夹效果：

    2、查找多层文件夹中内容

    在上述新建文件夹中，手动新建一个空的txt文件。

     查找到多层文件夹中的txt文件：

    1. import os
    2.  
    3. # 主函数
    4. if __name__ == "__main__":
    5.     root_path = os.getcwd()  # 获取此py文件的路径
    6.     for root, dirs, files in os.walk(root_path):   # os.walk类似于二叉树查找
    7.         for file in files:  # 判断是否找到最小单位文件，files是文件名列表
    8.             if ".txt" in file:
    9.                 print(file)
    10.                 print("找到txt文件")
    11.                 print(root)  # txt文件的文件夹路径

    运行结果： 

    1. "E:\study software\python3.7\python.exe" D:/test/find_txt.py
    2. test.txt
    3. 找到txt文件
    4. D:\test\new_folder\1
    5.  
    6. Process finished with exit code 0

    二、读写CSV

    1、写csv文件

    利用numpy新建矩阵数据，并保存至csv中。

    1. import csv
    2. import numpy as np
    3. import random  # 生成随机数的库
    4. import os
    5.  
    6. # 将data写入对应路径的csv中
    7. def write_csv(data, csvpath):
    8.     with open(csvpath, "w", newline="") as f:
    9.         writer = csv.writer(f)
    10.         writer.writerows(data)
    11.     f.close()
    12.     print("完成data保存为csv")
    13.  
    14.  
    15. # 主函数
    16. if __name__ == "__main__":
    17.     root_path = os.getcwd()
    18.     data1 = np.ones([100, 30])  # 构成100*30的矩阵
    19.     # 数据中叠加噪声
    20.     for i in range(100):
    21.         for j in range(30):
    22.             data1[i, j] += random.randint(1, 254)
    23.     csvpath1 = os.path.join(root_path, "test.csv")  # csv保存的路径
    24.     write_csv(data1, csvpath1)

    运行后上述代码后，得到以下test.csv。 

     2、读csv文件

    1. import numpy as np
    2. import pandas as pd
    3.  
    4. row_num = 100
    5. col_num = 30
    6.  
    7. # 读取csv内容至baseData
    8. def read_csv(csvpath):
    9.     baseData = pd.read_csv(open(csvpath), header=None, encoding="gdk")  # 此读取方式，可以读取包含中文路径的csv文件
    10.     baseData = np.array(baseData.values)
    11.     baseData = baseData[:row_num, :col_num]
    12.     return baseData
    13.  
    14.  
    15. # 主函数
    16. if __name__ == "__main__":
    17.     csvpath = r"\\?\D:\test\test.csv"  # csv存放的路径，加上"\\?\"，可以突破python路径长度的限制，方便读取更深层路径下文件
    18.     data = read_csv(csvpath)
    19.     print(data)

    运行结果：

    1. "E:\study software\python3.7\python.exe" D:/test/read_csv.py
    2. [[  5. 236. 129. ...  72. 166. 201.]
    3.  [ 12.  12. 147. ... 212.  57.  85.]
    4.  [ 16. 114. 194. ... 105. 117. 200.]
    5.  ...
    6.  [ 96.  25. 251. ... 201.  16.  85.]
    7.  [169. 206. 113. ...  55.  67.  87.]
    8.  [225. 236. 188. ... 205. 173. 155.]]
    9.  
    10. Process finished with exit code 0

    三、读写bmp图

    1、读取csv，保存为bmp图

    1. import numpy as np
    2. import pandas as pd
    3. from PIL import Image # 这个库全称是Pillow
    4.  
    5. row_num = 100
    6. col_num = 30
    7.  
    8. # 读取csv内容至baseData
    9. def read_csv(csvpath):
    10.     baseData = pd.read_csv(open(csvpath), header=None, encoding="gdk")  # 此读取方式，可以读取包含中文路径的csv文件
    11.     baseData = np.array(baseData.values)
    12.     baseData = baseData[:row_num, :col_num]
    13.     return baseData
    14.  
    15.  
    16. # 将矩阵数据保存为bmp灰度图
    17. def write_bmp(data, bmppath):
    18.     data1 = np.array(data, dtype="uint8")  # 转换为无符号8bit，0~255，灰度图
    19.     data1 = Image.fromarray(data1)
    20.     # 第一个参数为存储地址和名称，第二个为存储的图片类型
    21.     data1.save(bmppath, "bmp")
    22.  
    23. # 主函数
    24. if __name__ == "__main__":
    25.     csvpath = r"\\?\D:\test\test.csv"  # csv存放的路径，加上"\\?\"，可以突破python路径长度的限制，方便读取更深层路径下文件
    26.     data = read_csv(csvpath)
    27.     bmp_path = r"\\?\D:\test\test.bmp"  # bmp存储的路径及名称
    28.     write_bmp(data, bmp_path)

    存储的图片，如下所示：（噪点图）

     2、读取bmp图

    1. import numpy as np
    2. from PIL import Image
    3.  
    4. # 读取csv内容至baseData
    5. def read_bmp(bmp_path):
    6.     pic = open(bmp_path, "rb")  # 以这种方式读bmp，方便读了之后关闭文件
    7.     image = Image.open(pic)
    8.     image_data = np.array(image)
    9.     data1 = image_data.astype("int16")
    10.     pic.close()
    11.     return data1
    12.  
    13.  
    14. # 主函数
    15. if __name__ == "__main__":
    16.     bmp_path = r"\\?\D:\test\test.bmp"  # bmp的路径及名称
    17.     data = read_bmp(bmp_path)
    18.     print(data)

    运行结果：

    1. "E:\study software\python3.7\python.exe" D:/test/read_bmp.py
    2. [[  5 236 129 ...  72 166 201]
    3.  [ 12  12 147 ... 212  57  85]
    4.  [ 16 114 194 ... 105 117 200]
    5.  ...
    6.  [ 96  25 251 ... 201  16  85]
    7.  [169 206 113 ...  55  67  87]
    8.  [225 236 188 ... 205 173 155]]
    9.  
    10. Process finished with exit code 0

    四、excel中插入数据及图片

    1、先读取csv数据，然后保存为图片，excel中插入数据std结果，及保存的图片，具体代码如下所示：

    1. import numpy as np
    2. import pandas as pd
    3. from PIL import Image
    4. import xlsxwriter
    5. import os
    6.  
    7. row_num = 100
    8. col_num = 30
    9.  
    10. # 读取csv内容至baseData
    11. def read_csv(csvpath):
    12.     baseData = pd.read_csv(open(csvpath), header=None, encoding="gdk")  # 此读取方式，可以读取包含中文路径的csv文件
    13.     baseData = np.array(baseData.values)
    14.     baseData = baseData[:row_num, :col_num]
    15.     return baseData
    16.  
    17.  
    18. # 将矩阵数据保存为bmp灰度图
    19. def write_bmp(data, bmppath):
    20.     data1 = np.array(data, dtype="uint8")  # 转换为无符号8bit，0~255，灰度图
    21.     data1 = Image.fromarray(data1)
    22.     # 第一个参数为存储地址和名称，第二个为存储的图片类型
    23.     data1.save(bmppath, "bmp")
    24.  
    25.  
    26. # 主函数
    27. if __name__ == "__main__":
    28.     csvpath = r"\\?\D:\test\test.csv"  # csv存放的路径，加上"\\?\"，可以突破python路径长度的限制，方便读取更深层路径下文件
    29.     data = read_csv(csvpath)
    30.     bmp_path = r"\\?\D:\test\test.bmp"  # bmp存储的路径及名称
    31.     write_bmp(data, bmp_path)
    32.     # excel操作相关
    33.     root_path = os.getcwd()  # 获取当前py文件路径
    34.     book = xlsxwriter.Workbook(os.path.join(root_path, "test.xlsx"))  # 指定excel存放位置
    35.     sheet = book.add_worksheet("test_data")  # 新建一页sheet，方便后续操作
    36.     headings = ["file_name", "data_std", "pic"]  # 表头信息
    37.     sheet.write_row("A1", headings)  # 从A1开始写表头信息
    38.  
    39.     # 计算数据列std均值
    40.     std_count = np.zeros([1, col_num])  # 用于存放每列std值
    41.     for i in range(col_num):
    42.         std_count[0, i] = np.std(data[:, i])
    43.     std_mean = int(np.mean(std_count))  # 将最终结果转成整形
    44.     sheet.write_number(1, 1, std_mean)  # 第1行，第一列写std_mean，之前的A1相当于是第(0,0)位置
    45.     file_name = csvpath.split("\\")[-1]  # 字符串按照"\\"符号进行分割，[-1]表示取分割后最后一个字符串
    46.     sheet.write_string(1, 0,  file_name)
    47.  
    48.     # excel插入图片
    49.     sheet.insert_image(1, 2, bmp_path)  # excel的sheet页，第1行、第3列插入bmp_path路径下图片
    50.     book.close()  # 关闭excel

    2、运行之后，得到excel如下所示：

    五、综合应用 

    1、完整代码如下：(可直接运行)

    注：需提前安装好库：numpy、pandas、Pillow、xlsxwriter

    1. # 需提前安装好库：numpy、pandas、Pillow、xlsxwriter
    2. import numpy as np
    3. import pandas as pd
    4. from PIL import Image
    5. import xlsxwriter
    6. import os
    7. import time
    8. import random
    9. import csv
    10.  
    11.  
    12. # 定义每帧数据大小
    13. row_num = 100
    14. col_num = 30
    15.  
    16.  
    17. # 新建多层文件夹
    18. def mkdir(path):
    19.     if not os.path.exists(path):       # 判断是否存在此路径
    20.         os.makedirs(path)          # 创建此路径
    21.         print("完成新建")
    22.  
    23.  
    24. # 读取csv内容至baseData
    25. def read_csv(csvpath):
    26.     baseData = pd.read_csv(open(csvpath), header=None, encoding="gdk")  # 此读取方式，可以读取包含中文路径的csv文件
    27.     baseData = np.array(baseData.values)
    28.     baseData = baseData[:row_num, :col_num]
    29.     return baseData
    30.  
    31.  
    32. # 将data写入对应路径的csv中
    33. def write_csv(data, csvpath):
    34.     with open(csvpath, "w", newline="") as f:
    35.         writer = csv.writer(f)
    36.         writer.writerows(data)
    37.     f.close()
    38.     print("完成data保存为csv")
    39.  
    40.  
    41. # 将矩阵数据保存为bmp灰度图
    42. def write_bmp(data, bmppath):
    43.     data1 = np.array(data, dtype="uint8")  # 转换为无符号8bit，0~255，灰度图
    44.     data1 = Image.fromarray(data1)
    45.     # 第一个参数为存储地址和名称，第二个为存储的图片类型
    46.     data1.save(bmppath, "bmp")
    47.  
    48.  
    49. # 读取csv内容至baseData
    50. def read_bmp(bmp_path):
    51.     pic = open(bmp_path, "rb")  # 以这种方式读bmp，方便读了之后关闭文件
    52.     image = Image.open(pic)
    53.     image_data = np.array(image)
    54.     data1 = image_data.astype("int16")
    55.     pic.close()
    56.     return data1
    57.  
    58.  
    59. # 主函数
    60. if __name__ == "__main__":
    61.     current_time = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime())  # 获取当前时间并以指定格式显示
    62.     root_path = os.getcwd()  # 获取py文件路径
    63.     # excel相关信息
    64.     book = xlsxwriter.Workbook(os.path.join(root_path, "test.xlsx"))  # 指定excel存放位置
    65.     sheet = book.add_worksheet("test_data")  # 新建一页sheet，方便后续操作
    66.     headings = ["file_name", "data_std", "pic"]  # 表头信息
    67.     sheet.write_row("A1", headings)  # 从A1开始写表头信息
    68.     count_row = 0  # 计算excel行数
    69.     # 1、新建csv数据
    70.     save_csv = os.path.join(root_path, "test_folder", "save_csv", current_time)
    71.     mkdir(save_csv)  # 创建多层文件夹
    72.     for k in range(20):  # 得到20帧噪声数据 100*30
    73.         data1 = np.ones([100, 30])  # 构成100*30的矩阵
    74.         # 数据中叠加噪声
    75.         for i in range(100):
    76.             for j in range(30):
    77.                 data1[i, j] += random.randint(1, 254)
    78.         print("test"+str(k)+".csv")
    79.         csvpath1 = os.path.join(save_csv, "test"+str(k)+".csv")  # csv保存的路径
    80.         write_csv(data1, csvpath1)
    81.     # 2、从文件夹中获取csv文件，并绘图
    82.     for root, dirs, files in os.walk(root_path):
    83.         for file in files:
    84.             if ".csv" not in file:
    85.                 continue
    86.             else:
    87.                 csv_path = os.path.join(root, file)
    88.                 data = read_csv(csv_path)
    89.                 bmp_path = csv_path.replace(".csv", ".bmp")  # 替换后缀，得到bmp保存路径
    90.                 write_bmp(data, bmp_path)  # 保存图片
    91.                 # 计算数据列std均值
    92.                 std_count = np.zeros([1, col_num])  # 用于存放每列std值
    93.                 for i in range(col_num):
    94.                     std_count[0, i] = np.std(data[:, i])
    95.                 std_mean = int(np.mean(std_count))  # 将最终结果转成整形
    96.                 # 3、插入统计数据及图片至excel中
    97.                 count_row += 1
    98.                 sheet.write_number((count_row-1)*6+1, 1, std_mean)  # 第1行，第一列写std_mean，之前的A1相当于是第(0,0)位置
    99.                 file_name = csv_path.split("\\")[-1]  # 字符串按照"\\"符号进行分割，[-1]表示取分割后最后一个字符串
    100.                 sheet.write_string((count_row-1)*6+1, 0, file_name)  # (count_row-1)*5 调整excel行间隔
    101.                 # excel插入图片
    102.                 sheet.insert_image((count_row-1)*6+1, 2, bmp_path)  # excel的sheet页，第1行、第3列插入bmp_path路径下图片
    103.     book.close()  # 关闭excel
    104.

    2、运行生成excel，效果如下所示：

  • 相关阅读:
    实现zotero星标功能且可以排序
    一文了解DataStore（Proto）
    状态定义与深度优先搜索、广度优先搜索
    FPGA - ZYNQ 基于Axi_Lite的PS和PL交互
    哪种蓝牙耳机降噪好？适合国庆假期使用的蓝牙耳机推荐
    枚举和注解01:自定义类实现枚举
    STC 51单片机58——旋转LED
    前端面试题及答案：app怎么做适配的？
    Java核心编程(22)
    随机链表的复制
  • 原文地址：https://blog.csdn.net/qq_38984928/article/details/127948439