【牛客编程题】shell34题（Linux awk，grep命令）
SHELL01-22：基本文本处理
SHELL23-28：nginx日志分析
SHELL29-32：netstat练习
做题链接：https://www.nowcoder.com/exam/oj?page=1&tab=SHELL%E7%AF%87&topicId=195
参考资料：https://github.com/jaywcjlove/linux-command
awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。
它在命令行中使用，但更多是作为脚本来使用。awk有很多类似于C语言的灵活内建的功能，比如数组、函数等。
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)
-F fs，fs指定输入分隔符，fs可以是字符串或正则表达式，如-F : 。默认的分隔符是连续的空格或制表符。
-v var=value 赋值一个用户定义变量，将外部变量传递给awk
-f scripfile 从脚本文件中读取awk命令
参考资料：https://wangchujiang.com/linux-command/c/awk.html
awk脚本是由模式和操作组成的。
模式可以是以下任意一个：
~匹配， !~不匹配），awk脚本基本结构
awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file
第一步：执行BEGIN{ commands }语句块中的语句；
第二步：从文件或标准输入读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{ commands }语句块。
BEGIN和END是可选的，但是如果没有pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。
awk内置变量
NR: 表示记录数，在执行过程中对应于 当前的行号。
NF: 表示字段数，在执行过程中对应于 当前的字段数。
FS：字段分隔符（默认是任何空格）。
使用print $NF可以打印出一行中的最后一个字段，使用$(NF-1)则是打印倒数第二个字段。
打印每一行的第二和第三个字段：awk '{ print $2,$3 }' filename
统计文件中的行数：awk 'END{ print NR }' filename
在读入每一行的时，awk会将NR更新为对应的行号，当到达最后一行NR的值就是最后一行的行号，所以END语句块中的NR就是文件的行数。
将外部变量值传递给awk
借助 -v选项 ，可以将外部值传递给awk
VAR=10000
echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'
var1="aaa"
var2="bbb"
echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2
查找进程pid
netstat -antup | grep 7770 | awk '{ print $NF NR}' | awk '{ print $1}'
强大的文本搜索工具
grep全面搜索正则表达式并把匹配的行打印出来。用于过滤/搜索的特定字符。
# grep查找
grep "match_pattern" file_1 file_2 file_3 ...
# 查找后，输出除之外的所有行 -v
grep -v "match_pattern" file_name
# 使用正则表达式 -E
# 使用正则表达式 -P 选项：
grep -E "[1-9]+"
grep -P "(\d{3}\-){2}\d{4}" file_name
# 统计文件或者文本中包含匹配字符串的行数 -c 选项：
grep -c "text" file_name
# 输出包含匹配字符串的行数 -n 选项
grep "text" -n file_name
cat file_name | grep "text" -n
# 在多级目录中对文本进行递归搜索， .表示当前目录。
grep "text" . -r -n
# 忽略匹配样式中的字符大小写：
echo "hello world" | grep -i "HELLO"
# 查看文件的'\n'的数量
wc -l ./nowcoder.txt
# 执行结果
8 ./nowcoder.txt
# 用awk打印第一个数字
wc -l ./nowcoder.txt | awk '{print $1}'
# 查看文件的前5行，可以使用head命令，如
head -5 filename
# 查看文件的后5行，可以使用tail命令，如：
tail -5 filename 或 tail -n 5 filename
# 查看文件中间一段，你可以使用sed命令，如：
sed -n ‘5,20p’ filename
#!/bin/bash
for num in {0..500..7}; do
echo "${num}"
done
# head 命令拿到前五行，再通过通道，通过tail取出来最后一行，即第五行
head -n 5 nowcoder.txt | tail -n 1
# sed 命令中的 p 子命令，打印第五行
sed -n 5p nowcoder.txt
# awk是数据解析工具 对文件或管道数据、终端输入数据逐行解析 默认以空格分隔
# awk语法：awk 'pattern{命令}' 文件名, /pattern/是正则表达式匹配, /^$/表示空字符串
awk '/^$/{print NR}' nowcoder.txt
# awk 命令，判断当前行的内容然后输出
awk '!/^$/ {print $NF}' nowcoder.txt
awk '{if($0 != "") {print $0}}' nowcoder.txt
# cat 输出文本内容，然后通过管道符交由 awk 做非空校验然后输出
cat nowcoder.txt | awk NF
# grep 命令 -v 显示不包含匹配文本的所有行
grep -v '^$'
# awk嵌套for
awk -F " " '{for(i=1;i<=NF;i++){if(length($i) < 8){print $i}}}' nowcoder.txt
# 或者循环
for i in $(cat nowcoder.txt); do
if [ ${#i} -lt 8 ]; then
echo ${i}
fi
done
# 利用awk的强大功能
awk '{sum+=$6}END{print sum}' nowcoder.txt
# awk天下无敌
awk '{for(i=1;i<=NF;i++) a[$i]+=1}END{for(x in a) print x,a[x]}' nowcoder.txt
# awk
awk '{a[$2]+=1}END{for(x in a){if(a[x]>1) print a[x],x}}' nowcoder.txt
# awk
awk '{
for(i=1;i<=NF;i++){
if(NR==1){
row[i] = $i;
}else{
row[i] = row[i]" "$i;
}
}
}END{
for(i=1;i<=NF;i++){
print row[i]
}
}' nowcoder.txt
# awk
awk -F "[1,2,3,4,5]" '
BEGIN{sum=0}
{print "line"NR" number:"(NF-1);sum+=(NF-1)}
END{print "sum is "sum}
' nowcoder.txt
# grep 命令 -v 显示不包含匹配文本的所有行
grep -v 'this'
# awk 命令,检查当前 $0 不包含 this 随机输出
awk '$0!~/this/ {print $0}'
awk '{if(NR==1) {N=$1} else{sum+=$1}} END{printf ("%.3f",sum/N) }'
# 使用grep -v去掉
grep -E -v "[bB]"
# awk
awk '{ for (i=1; i<=NF; i++) { if ($i ~ /.*[bB]+.*/) { continue } else { print $i } } }'
# 使用 . 作为分隔符
awk -F '.' '{
if (NF == 4) {
for (i = 1; i < 5; i++) {
if ($i > 255 || $i < 0) {
print("no")
break
}
}
if (i == 5) {
print("yes")
} else {
print("error")
}
}
}'
awk -F ":" '{a[NR]=$NF; for (i=NF-1;i>0;i--) a[NR]=a[NR]":"$i }END{for(k in a) print a[k]}' nowcoder.txt
awk -F/ '{print $3}'|sort -r|uniq -c|awk '{print $1,$2}'
awk 'BEGIN{
for(n = 1; n <= 5; n++){
row = "";
for(i = 1;i <= 5 - n; i++){
row = row " "
}
for(i = 1; i <= n; i++){
row = row "*" " "
}
print row
}
}'
awk -F[1-9] '{if(NF==2)print $0}'
awk 'BEGIN{FS=""}{for(i=1;i<=NF;i++) {if((NF-i)%3==0&&i!=NF) printf $i",";else printf $i};printf "\n"}' nowcoder.txt
awk -F ":" '{
a[$1] = a[$1] $2 "\n"
}
END {for (i in a){
printf("[%s]\n%s",i,a[i])
}
}' nowcoder.txt
# 利用 awk 中的 substr 函数
awk '{
if(substr($4, 2, 11) == "23/Apr/2020") {
res[$1]++;
}
}END {
for(k in res) {
print res[k] " " k
}
}' | sort -nr -k 1 -t " "
# 使用grep
grep "23/Apr/2020" | cut -c '-12' | sort -u | wc -l
# awk
awk '{
if ($0 ~ /\[23\/Apr\/2020:2[0-2]/) {
a[$1]=1
}
} END {
print (length(a))
}'
awk '{
if ($1 in a) {
a[$1]++;
} else {
a[$1]=1
}
} END {
for (j in a) {
if (a[j] > 3) {
print a[j],j
}
}
}' nowcoder.txt | sort -r
awk '$1=="192.168.1.22"{a[$7]++}END{ for(i in a){ print a[i],i } }' | sort -r
# grep
grep 'www.baidu.com' nowcoder.txt | grep ' 404 ' | wc -l
# awk
awk '{
if ($0 ~ '/www.baidu.com/' && $9 = 404 ) a++
} END {
print a
}' nowcoder.txt
awk '{print substr($4,14,5)}' | sort | uniq -c | sort -rn -k 1 | awk '{print $1,$2}'
awk '/tcp/{a[$6]++}END{for(i in a)print i,a[i]}' nowcoder.txt | sort -nrk 2
cat nowcoder.txt | grep '3306' | grep 'ESTABLISHED' | awk -F ' ' '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr -k1 | awk '{print $1" "$2}'
awk -F "[ :]+" '/tcp/{a[$6]++}END{for(i in a)print i,a[i]}' nowcoder.txt | sort -nrk2
awk '{
if ($1 == "tcp" && $5 ~ /3306/) {
if ($6 == "ESTABLISHED") {
es++
}
ans++
arr[$5]=0
}
} END {
printf("TOTAL_IP %d\nESTABLISHED %d\nTOTAL_LINK %d", length(arr), es, ans)
}'
awk -F "[:,]" '{
if($0~"Server version"){
print "serverVersion:" $4;
}
if($0~"Server number"){
print "serverName:" $4;
}
if($0~"OS Name"){
print "osName:" $4;
}
if($0~"OS Version"){
print "osVersion:" $6
}
}'
awk '{
v += $5
r += $6
} END {
printf("MEM TOTAL\nVSZ_SUM:%0.1fM,RSS_SUM:%0.3fM", v/1024, r/1024)
}'