分段读取csv文件并可视化处理

1.数据

使用数据为csv文件，数据有89万条记录，名称字段具体如下：

2.读取数据 

2.1完整读取数据并显示

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
 
inputpath=r"E:\csv_dbscan\ATL03_20200703015729_01180802_005_01_gt1r.csv"
df=pd.read_csv(inputpath)
X=df['Time (sec)']
Y=df['Height (m HAE)']
 
plt.figure()
plt.scatter(X,Y,marker='o',s=0.000003,label='Point Cloud')
plt.legend()
plt.show()

放大显示：

 2.2分段读取数据并显示

（1）根据总记录数和分段数来计算每段的数量是多少，然后我们每次只读取一段数据。

方法1：使用chunksize参数实现分段读取和显示

chunksize是按照行记录数量来分段的

df_chunker = pd.read_csv(inputpath,chunksize=segment_count)
for df_item in df_chunker:
    X_seg = df_item['Time (sec)']
    Y_seg = df_item['Height (m HAE)']
    plt.figure()
    plt.scatter(X_seg, Y_seg, marker='o', s=1, label='Point Cloud')
    plt.legend()
    plt.show()

比如我们每段数据设置为segment_count=10000条，那么就有segment_n=N/segment_count(segment_count每段记录数，N总记录数，segment_n为段数）段数据。

我们按照顺序读取每段数据并显示：

方法2：使用沿线距离来分段显示 

比如我们使用Along-Track (m)属性1000m分段显示：第一段的范围是20201.67926-20301.67926，后面依次加1000.

len_data=len(df['Time (sec)']) #行记录数
segment_count=1000
Along_track_n=int((df['AlongTrack'][len_data-1]-df['AlongTrack'][0])/segment_count)+1
start=df['AlongTrack'][0]
end=df['AlongTrack'][len_data-1]
for len_seg in range(Along_track_n):
    df_seg = df.loc[(df['AlongTrack'] >= (start + len_seg * segment_count)) & (df['AlongTrack'] <= (start+ (len_seg + 1) * segment_count)),:]
    X_seg = df_seg['AlongTrack']
    Y_seg = df_seg['Height (m HAE)']
    if len(X_seg)==0:
        print("该段没数据！")
    plt.figure()
    plt.scatter(X_seg, Y_seg, marker='o', s=1, label='Point Cloud')
    plt.legend()
    plt.show()