• 【Linux】awk入门


    awk常用系统变量

    变量含义
    $0一整行数据内容
    $1第一列的数据
    $n第n列的数据
    NR行号,多文件时是接着计数的
    FNR行号,每个文件都是从1开始计数的
    FS字段分隔符(默认是空格)
    OFS输出字段的分隔符(默认是空格)
    RS行分隔符(默认以\n座位一行的结尾),单行分割成多行使用
    NF一行中的字段数量
    $NF一行中最后一个字段内容
    ARGC命令行参数的数目
    ARGV包含命令行参数的数组,第一个参数是命令awk

    awk常用语法解析

    选项含义
    -F-F ‘,’ 或者-F ‘正则表达式’ -F代表将一行数据按什么分隔 ,默认是空格或者\t
    -v-va=1 赋值一个用户定义变量a的值为
    -f-f scripfile,从脚本文件中读取awk命令

    语句1:

    • awk ‘NR==FNR{a[$2]=1} NR>FNR&&a[$1]!=1{print $0 > “test0.csv”}’ test2.csv test1.csv

    解析

    1. NR==FNR:读取第一个文件时,因为读取第一个文件时的行号NR等于FNR
    2. {a[$2]=1}:创建一个a数组,将第一个文件的第二列作为数组a的索引,并赋值为1
    3. NR>FNR:读取第二个文件及后面的文件,因为此时第二个文件的FNR是从1开始,而NR则是接着第一个文件末尾的序号继续排的
    4. a[$1]!=1:将第二个文件的第一列作为索引,赋值为1,这是因为设定的两个文件里,test2的第二列和test1的第一列的值是相等的,所以前面的a[$2]和后面的a[$1]其实是同一个索引即前面的变量$2和后面的变量$1是相同的。这句话就是判断第二个文件的第一列的值在数组中是否被赋值为1
    5. {print $0 > “test0.csv”}:符合前面条件的话则进入该语句,输出符合前面条件的一整行的数据到test0中,如果是>>则是在后面追加
    6. test2.csv test1.csv:这里处理的第一个文件是test2,第二个文件时test1
    7. 整句话的意思是:先将test2作为基准,将test2中第二列的所有值作为索引赋值一个1,然后处理test1文件,比较test1的第一列的所有值如果作为索引值是否已经被赋值了,如果赋值了就是前面处理第一个文件时赋的值,就跳过,没有则进入语句,将该整行的数据传入到test0文件中
    8. 总结:比较test1和test2文件,将test1中存在但在test2中不存在的值输出到test0文件中。

    语句2:

    • awk -F’,’ ‘NR==FNR{a[$2]=1} NR>FNR&&a[$1]==1 {print $0}’ test2.txt test1.txt

    解析

    1. -F’,‘:将文件每一行的数据按照’,'来分隔出每一列
    2. ‘NR==FNR{a[$2]=1} NR>FNR&&a[$1]==1 {print $0}’ test2.txt test1.txt
      :比较test2文件的第二列和test1文件的第一列,如果有值同时在test2和test1中存在,则输出这个值所在行的所有数据
  • 相关阅读:
    odps函数
    【思考总结】数列收敛和级数收敛的联系与区别【概念辨析】
    源码探索之@LoadBalanced注解工作原理
    2022.11.30-----leetcode.895
    SVM学习笔记
    Spring 作用域解析器AnnotationScopeMetadataResolver
    【python】计算偏度和峰度
    Python PyInstaller安装和使用教程(详解版)
    一个AI板卡电脑--香橙派 AIpro
    cmake构建和编译
  • 原文地址:https://blog.csdn.net/weixin_44485744/article/details/126598152