该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Shell》。欢迎关注专栏~
本文知识预告:
printf
命令地用法;awk
、sed
、xargs
、printf
命令地用法,其次,对于本题用到的printf
的一个小彩蛋也是比较有意思的。有一个文件nowcoder.txt,里面的每一行都是一个数字串,编写一个shell脚本对文件中每一行的数字串进行格式化:每3个数字加入一个逗号(,)。例如:数字串为“123456789”,那么需要格式化为123,456,789。
假设nowcoder.txt内容如下:
1
12
123
1234
那么你的脚本输出如下:
1
12
123
1,234
123,456
sed
:批量编辑文本文件sed
命令来自于英文词组“stream editor”的缩写,其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed
命令最初由贝尔实验室开发,后被众多Linux系统接纳集成,能够通过正则表达式对文件进行批量编辑,让需要重复的工作不再浪费时间。
sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。
sed命令行格式为:
sed [-nefri] ‘command’ 输入文本
常用选项:
-n
:使用安静(silent)模式。在一般 sed
的用法中,所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n
参数后,则只有经过sed
特殊处理的那一行(或者动作)才会被列出来。-e
:直接在指令列模式上进行 sed
的动作编辑;-f
:直接将 sed
的动作写在一个档案内, -f filename
则可以执行 filename
内的sed
动作;-r
:sed
的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)-i
:直接修改读取的档案内容,而不是由萤幕输出。常用命令:
a
:新增, a
的后面可以接字串,而这些字串会在新的一行出现;c
:取代, c
的后面可以接字串,这些字串可以取代 n1,n2
之间的行;d
:删除,因为是删除,所以 d
后面通常不接任何字符;i
:插入, i
的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);p
:列印,亦即将某个选择的资料印出。通常 p
会与参数 sed -n
一起运作;s
:取代,可以直接进行取代的工作!通常这个 s
的动作可以搭配正规表示法!例如 1,20s/old/new/g
!g
:是行内进行全局替换常用参数:
参数 | 功能 |
---|---|
-e | 以指定的脚本来处理输入的文本文件 |
-f | 以指定的脚本文件来处理输入的文本文件 |
-h | 显示帮助 |
-n | 仅显示script 处理后的结果 |
-V | 显示版本信息 |
参考实例
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()
lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include
using namespace std;
INT main()
{
INT a = 10;
INT b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
有点巧,这和前面学的Vim里面的替换基本一样。
lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include
using namespace std;
{
cout << "a + b:" << a + b << endl;
return 0;
}
lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\ cout << "hello world" << end;' nowcoder.
txt
#include
using namespace std;
int main()
{
cout << "hello world" << end;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\ cout << "hello world"
<< endl; \n cout << "hello aha" << endl;'
#include
using namespace std;
int main()
{
cout << "hello world" << endl;
cout << "hello aha" << endl;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
1 #include
6 int b = 100;
7 cout << "a + b:" << a + b << endl;
8 return 0;
9 }
lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include
cout << "gaga" << endl;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
awk
:文本和数据进行处理的编程语言awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 | 功能 |
---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk 命令 |
-m | 对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 | 说明 |
---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS | 设置字段分隔符,默认为空格或制表符 |
NF | 当前记录(行)的字段(列)个数 |
NR | 输入数据流的当前记录数(行号) |
OFS | 输出字段分隔符,默认为空格 |
ORS | 输出记录分隔符,默认为换行符 |
RS | 输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
例子:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd
文件中的内容由:
分隔开。
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
main
的内容:lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
NR
将所有文件的数据视为一个数据流,而FNR
则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
xargs
:给其他命令传参数的过滤器xargs
命令来自于英文词组” extended arguments“的缩写,其功能是用于给其他命令传参数的过滤器。xargs
命令能够处理从标准输入或管道符输入的数据,并将其转换成命令参数,也可以将单行或多行输入的文本转换成其他格式。
xargs
命令默认接收的信息中,空格是默认定界符,所以可以接收包含换行和空白的内容。
语法格式: xargs [参数]
常用参数:
-n | 多行输出 |
---|---|
-d | 自定义一个定界符 |
-I | 指定一个替换字符串{} |
-t | 打印出xargs 执行的命令 |
-p | 执行每一个命令时弹出确认 |
参考实例
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | xargs -n 1
how
they
are
implemented
and
applied
in
computer
X
为定界符,默认以单行的形式输出字符串内容:lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX
First Second Third Fourth Fifth
X
为定界符,以多行形式输出文本内容,每行显示两段内容值:lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2
First Second
Third Fourth
Fifth
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2 -p
echo First Second ?...y
First Second
echo Third Fourth ?...y
Third Fourth
echo 'Fifth'$'\n' ?...n
printf
:shell 输出printf
命令模仿 C 程序库(library)里的 printf()
程序。
printf
使用引用文本或空格分隔的参数,外面可以在printf
中使用格式化字符串,还可以制定字符串的宽度、左右对齐方式等。默认printf
不会像echo
自动添加换行符,我们可以手动添加\n
。
语法格式: printf [格式控制字符串] [参数]
常用参数:
\a | 警告字符,通常为ASCII的BEL字符 |
---|---|
\n | 换行 |
\r | 回车 |
\0ddd | 表示1到3位的八进制值字符 |
\ddd | 表示1到3位数八进制值的字符。仅在格式字符串中有效 |
参考实例
lucky@DESKTOP-VQ8KID4:~$ printf "Hello, Shell\n"
Hello, Shell
printf
的强大功能:lucky@DESKTOP-VQ8KID4:~$ cat printf.sh
printf "%-10s %-8s %-4s\n" 姓名 性别 体重kg
printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
printf "%-10s %-8s %-4.2f\n" 杨过 男 48.6543
printf "%-10s %-8s %-4.2f\n" 郭芙 女 47.9876
执行脚本,输出结果如下所示:
lucky@DESKTOP-VQ8KID4:~$ bash printf.sh
姓名 性别 体重kg
郭靖 男 66.12
杨过 男 48.65
郭芙 女 47.99
解释:
%s
%c
%d
%f
都是格式替代符%-10s
指一个宽度为10个字符(-
表示左对齐,没有则表示右对齐),任何字符都会被显示在10个字符宽的字符内,如果不足则自动以空格填充,超过也会将内容全部显示出来。%-4.2f
指格式化为小数,其中.2
指保留2位小数。lucky@DESKTOP-VQ8KID4:~$ printf "%d %s\n" 1 "abc"
1 abc
lucky@DESKTOP-VQ8KID4:~$ printf '%d %s\n' 1 "abc"
1 abc
lucky@DESKTOP-VQ8KID4:~$ printf %s abcdef
abcdef
本题可以使用printf
命令的一个小彩蛋解决:
printf "%'d\n" $i
%d
前面的单引号是给英文数字中千位加分割符的,只要是数字类型都行。
awk
awk 'BEGIN{FS = ""}{
for(i = 1; i <= NF; i++) {
if((NF - i) % 3 == 0 && i != NF)
printf $i",";
else
printf $i
};
printf "\n"
}' nowcoder.txt
下面这种写法也可以:
awk -F "" '{
ret="";
for(i = 1; i <= NF; i++){
ret = ret $i;
if(i % 3 == NF % 3 && i != NF)
ret=ret ","
}
print ret
}'
sed
+正则注意:\>
是匹配一个零宽的单词边界,这是gnu sed
的扩展支持。
sed -E ':a; s/([[:digit:]])([[:digit:]]{3})\>/\1,\2/; ta' nowcoder.txt
while
while read line; do
k=0
lin_len=${#line}
str=""
for ((i = $lin_len - 1; i >= 0; i--)); do
k=$(($k + 1))
str="${line:$i:1}$str"
if [ $(($k % 3)) -eq 0 ] && [ $i -gt 0 ] && [ $lin_len -gt 3 ]; then
str=",$str"
fi
done
echo ${str}
done <nowcoder.txt
for
+printf
%d
前面的单引号是给英文数字中千位加分割符的,只要是数字类型都行,想要在千位加英文中的分割符,就加个'
,所以这个里面也可以改成printf "%'.f\n" $i
。
for i in $(cat nowcoder.txt); do
printf "%'d\n" $i
done
当然,用while
也行,一个意思:
while read line; do
printf "%'d\n" ${line}
done <nowcoder.txt
xargs
+printf
cat nowcoder.txt | xargs -n1 printf "%'d\n"