使用awk聚合和排序

用awk聚合和排序

一、需求

1.1 源文件格式

• 一份csv文件（默认逗号分隔）
• 一共五列，其中一列是用户名
• 文件名：日志文件.csv

1.2 需求

对每个人日记数量进行统计，并排序

• 根据username聚合

• 排序：倒序

二、用awk实现

2.1 写法

cat 日志文件.csv|awk -F ',' '{x[$3] += 1} END{for(i in x){print i,x[i]}}' |sort -rn -k 2 -t " " > sorted_by_username_num_日志文件.txt
1

说明：

• cat：查看文件
• | ：管道
• awk ： 用awk处理条目
• -F ‘,’ ： 用逗号作为分隔符。分隔完之后输出的是 “用户名 出现次数”，例如

zhangsan 2
lisi 2
wangwu 1

• sort： 利用linux的排序
• -t “ ” ：sort的参数t，意思是每行用逗号分开。 即分为： zhangsan 和 2
• -n ： sort的参数n，标识用数字排序（不然就是字符串排序规则了）
• -k 2：sort的参数k，标识用每行分隔之后的第几个元素排序。用t分隔之后，第一个元素是用户名shangsan，第二个元素是次数 2，所以用第2个元素排序
• -r ： sort的参数r， 倒序。

2.2 效果

cat 日记文件.csv|awk -F ',' '{x[$3] += 1} END{for(i in x){print i,x[i]}}' |sort -rn -k 2 -t " "
1