企业常用Linux三剑客awk及案例/awk底层剖析/淘宝网cdn缓存对象分级存储策略案例/磁盘知识/awk统计与计算-7055字

高薪·思维：
不愿意做的事情:加班，先例自己在利他
生活中先利他人在利自己
感恩，假设别人帮助过你，先帮助别人，感恩境界

awk三剑客老大

find其实也算是一种新的第四剑客

find 查找文件 查找文件，与其他命令配合
grep/egrep 过滤 过滤速度最快
sed 过滤，取行，替换，删除 替换，修改文件内容，取行
awk 过滤，取行，取列，统计计算，判断，循环

awk：是一门编程语言（单行脚本)，善于处理大量的文本。

语法格式：
awk option ‘pattern{action}’ file…
awk 参数 ‘条件{动作}’ 文件

核心作用：
1.取列
附加作用是：查，删

参数：
-F 指定字段分隔符

变量名 属性
$0 当前整行记录

$n 当前记录的第n列，字段间由FS或-F参数指定分隔符

NF 当前记录中的列的个数，就是有多少列

$(NF-n) 倒数第n列，n为数字

NR 已经读出的记录数，就是n行号，从1开始

默认的分隔符是空格：第二列是00
11 00 22
第一列 用$1表示
第二列 用$2表示

awk默认的分隔符是空格：

⭐⭐⭐⭐⭐案例 练习打印不同的列

[root@calms ~]# echo “11 00 22” >a.txt
[root@calms ~]# cat a.txt
11 00 22

⭐⭐⭐⭐⭐案例 打印多列

⭐⭐⭐⭐⭐案例 打印整行

⭐⭐⭐⭐⭐案例打印最后一列

⭐⭐⭐⭐⭐案例 打印倒数第二列

-F 指定分隔符

准备好测试文件，取passwd文件前5行。
[root@calms ~]# sed -n ‘1,5p’ /etc/passwd >test1.txt

⭐⭐⭐⭐⭐案例: 过滤出/etc/passwd文件中包含root或nobody的行

awk ‘/root|nobody/’ /etc/passwd

⭐⭐⭐⭐⭐案例: 使用awk取出ls -lh 的大小列和最后一列

[root@calms ~]# ls -lh /etc/hosts
-rw-r–r--. 1 root root 158 6月 7 2013 /etc/hosts
[root@calms ~]# ls -lh /etc/hosts |awk’{print $5,$9}’
158 /etc/hosts

[root@calms ~]# ls -lh /etc/hosts |awk’{print $ 5,$NF}’
158 /etc/hosts

⭐⭐⭐⭐⭐案例 过滤出日志中密码错误的ip地址.

grep failed secure-20161219 |head |awk ‘{print
$(NF-3)}’

awk输出与对齐:
使用column 命令即可或者使用\t
ll -h |awk ‘{print $5,$9}’|column -t
ll -h |awk ‘{print $5"\t"$9}’

⭐⭐⭐⭐⭐案例: 取出/etc/passwd中的第

1列,第3列和最后一列
awk取列的时候,默认是通过空白字符进行分割的.
空白字符:空格,连续空格,tab键.
但是一些时候使用默认分隔符不够了,需要我们手动指定分隔符,通过-F选项指定.
未来我们想快速取出想要的内容,选择趁手工具(选好分隔符).
选择分隔符建议: 看你目标两边是什么.

awk -F’:’ ‘{print $ 1,$ 3,$NF}’ /etc/passwd|column -t

⭐⭐⭐⭐⭐案例: 指定复杂分隔符取出ip

ip a s eth0 | awk ‘NR = 3’
inet 10.0.0.200/24 brd 10.0.0.255 scope global
noprefixroute eth0

提示: inet前面有4个空格
逐步实现
ip a s eth0 |awk ‘NR=3’|awk ‘{print $2}’|awk -F’/’
‘{print $1}’
遇到空格或/就切一刀,所以4个空格切4刀,ip是第6列

[root@calms ~]# ip a s eth0 | awk ‘NR=3’|awk -F’[ /]’ ‘{print $6}’
10.0.0.200
遇到连续的空格或/就切一刀,所以4个空格切1刀,所以ip是第3列

[root@oldboy-king-v3 ~]# ip a s eth0 | awk ‘NR=3’
|awk -F’ [ / ] +’ ‘{print $3}’
10.0.0.200
其他分隔符取出
ip a s eth0 |awk ‘NR=3’ |awk -F ‘inet |/24’
‘{print $2}’

⭐⭐⭐⭐⭐案例: 取行+取列 取ip地址

awk 选项 ‘条件{动作}’ /etc/passwd
ip a s eth0 | awk -F’[ /]+’ ‘NR=3{print $3}’
10.0.0.200

额外案例: 取出权限部分 stat /etc/hosts的0644部分
stat /etc/hosts | awk -F ‘[/(]’ ‘NR=4{print $2}’
stat /etc/hosts | awk -F ‘[^0-9]+’ ‘NR=4{print
$2}’

⭐⭐⭐⭐⭐案例: 取出/etc/passwd文件中第3列大于大于100的行,取出这行的第1列,第3列和最后一列

awk 选项 ‘条件{动作}’ /etc/passwd
#条件
awk -F’:’ ‘$ =100’ /etc/passwd
4 #条件+动作
5 awk -F’:’ ‘$ 3=100{print $ 1,$ 3,$NF}’ /etc/passwd
|column -t
6 lidao996 1001 /bin/bash
7 nginx 1002 /sbin/nologin

⭐⭐⭐⭐⭐案例: 如果系统swap使用超过0则输出"异常系统开始占用swap"

条件
条件1:过滤出swap
条件2:第3列 使用的数量大于0
动作
输出这句话 ““异常系统开始占用swap””

free |awk ‘/Swap/ = $3 = 0’
Swap: 2097148 0 2097148
free |awk ‘/Swap/ = $3 = 0 {print “异常系统开始占用
swap”}’
异常系统开始占用swap

free |awk 'NR=3 = $3>0 {print “swap占用,系统异常,请
排查”}

awk统计与计算

awk进行统计有2类案例:

1. 类似于wc -l统计次数.
2. 进行求和,累加.

统计次数

仅仅需要统计出现了多少次,出现了多少个.可以使用wc -l方式

说明i=i+1 先计算i+1然后把结果存放到i中.
i=i+1 i值 i=i+1值 i计算后的内容
第1行 空/0 i=0+1 i=1
第2行 1 i=1+1 i=2
第3行 2 i=2+1 i=3
i=i+1 计数公式.
awk ‘{i=i+1} END{print i}’ /etc/passwd
26

END{}内容会在awk读取完成文件的时候执行.
END{}一般用于输出执行结果.
i=i+1 = i++
这个案例未来可以搭配awk各种条件进行统计与计算

计算总和

seq 10 > num.txt计算num.txt每一行的数字的总和
awk ‘{i=i+$1}END{print i}’ num.txt
55

分析执行流程

i=i+$1
$1 i i=i+$1 i结果
第1行 1 空 i=0+1 i=1
第2行 2 1 i=1+2 i=3
第3行 3 3 i=3+3 i=6
第4行 4 6 i=6+4 i=10

cut命令（补充）

-d 指定分隔符
-f 数字指定那列，多列可以用逗号或者-
-c按字符取内容

指定冒号为分隔符进行取第一列
[root@calms ~]# cut -d: -f1 /etc/passwd

取多列
[root@calms ~]# cut -d: -f1,3,5 /etc/passwd

取连续的多列（1-3列）
cut -d “:” -f1-3 /etc/passwd

按字符取：

磁盘知识和内部物理结构介绍

内存：临时存放，断电后丢失
磁盘：永久保存

磁盘作用

存储我们平时工作，学习，生活中的数据

分类

国产硬盘出来之后，现在整体都不贵了

磁盘知识的体系结构

磁盘的外部结构

机械磁盘的外部结构

sata接口（左边数据，右边电源）

sas接口

scsi接口

ide接口

SSD固态盘的外部接口

类似于水壶的壶嘴，磁盘的读写速度，不同类型磁盘接口也有不同的读写速度

M2接口

企业级常用sas/sata硬盘

所有硬盘都是读大于写
一个盘片2个磁头
一摆盘片3-5个

固态硬盘的内部结构

这一块笔试题会考：

由三大块主控芯片，内存颗粒，缓存单元构成
cpu把数据扔到缓存里面，然后主控芯片把数据慢慢分配到内存颗粒，多个闪存颗粒

缓存硬件应用分析图：

ssd固态盘内部结构形象图：

磁盘的接口类型

ide磁盘与ide磁盘接口
sata磁盘（串口磁盘）与sata接口
scsi磁盘（已经过时了）与scsi接口（主要用于高端服务器和高档工作）

sas磁盘（是前面两个性能的结合产品）与sas接口
是新一代scsi技术，采用串行接口，与sata磁盘是兼容的

企业生产场景普及程度：sas》ssd》sata 单位容量与对比性能和价格：ssd》sas》sata
单位价格和购买磁盘容量：sata》sas》ssd

sata磁盘与sas磁盘区别

协议方面：sata串行高级技术附件，sas串行scsi
速率方面：sas接口传输速率12GB/S（300-500MB/s），sata：6GB/S（90-150MB/S）

硬盘方面：sas采用玻璃材料基板，常见容量（300,600,900g；1t，1.8t
sata采用铝·材料基板’，常见容量1,2，4,6，8t，它有两种：5400转（笔记本）或7200（企业级）转每分钟

ssd固态磁盘接口信息对比：

磁盘主要接口及特点：

ssd固态盘与传统机械硬盘优劣对比：

生产环境中服务器和磁盘的选型

Dell，hp，ibm等其中Dell是互联网主流的服务器，磁盘主流的服务器市场为sas，sata，ssd硬盘

企业级SAS硬盘

企业级sas硬盘是10000–15000转/分，具体企业需求和性价比考虑，多用于300G,600G,1T的sas硬盘。不要选择的单盘容量很大，除非用于单独纯备份！

做好RAID满足容量底层基础上保持在4块硬盘
用途:提供企业生产线对外提供服务的业务相关服务器（生产线数据业务，存储业务和相关高并发业务，web，http，cache服务）没有特殊的业务需求情况下sas磁盘为生产环境的首选磁盘配置！

单盘容量小，多块盘满足需求

企业中至少三块盘一组:
1.5T 单盘总容量为1.5T，不可以坏一块盘，读速度一块盘速度
6＊300Graid5，总容量1.5T,它可以坏一块盘，速度为6块之和，web服务器
5＊300G raid0,总容量1.5T，不可以坏一块盘，读速度6块之和，web服务器
10＊300G raid0,总容量1.5T，可以坏两块盘，读速度10块之和，数据库服务器，应用服务器（没有单点，集群模式），缺点:维护麻烦

根据需求:性能，成本，冗余度

企业级SATA硬盘

企业级SATA盘（7200转/分），容量1t，2t，4t，8t
优点:便宜，容量大
在工作中做线下不提供服务的数据库存储，并发业务访问小量的应用（站点程序/数据库/线下备份）
特性:容量高，一般2t的SATA磁盘特性

选择SATA理由:1.便宜
2.数据量少，不需要提供用户服务
3.用于备份

SSD固态盘

特点:容量小，价格贵，速度快，用于数据量小且有超大规模高并发业务（另一种方式通过磁盘加内存缓存的技术解决大规模高并发）

数据库适合使用固态盘
taobao ，业务可能根据数据热度来综合使用分层存储，达到性价比最佳。80G SSD+500GSATA
百度腾讯360核心业务会采用SSD磁盘

磁盘选购

线上业务:sas磁盘（常规业务，web服务及应用服务）
线下业务:SATA磁盘（数据库，邮箱，下载–百度云）
线上高并发:（数据库小容量业务，ssd磁盘，数据库服务）
成本控制思想:数据访问热度，智能分析存储SATA+SSD

企业故障案例

不要用SATA磁盘来做在线高并发服务的数据存储或数据库业务!!!

公司采用SATA做数据库存储盘，结果导致数据库连续宕机一个月
5台服务器，一堆SATA盘，raid5
解决:重新购买5台，把SATA（raid5）换成sas（raid10），最后6个月没事
数据库集群
1.主库改选择用sas raid10，从库sas raid0
2.数据库使用的引擎是myisam引擎，改成innodb引擎（更新记录，只锁定当前记录，别的可以改也可以读）

淘宝网cdn缓存对象分级存储策略案例

提出问题:
存储数据时，18kb一下对象数量占总数量达到80%，而其存储量不到40%同时，80%经常被访问对象所占用存储空间不到总量的20%
分析问题:
热点数据（访问频此高的内容）需要更快的性能，而占用的空间并不到，冷数据（访问频次低的内容）所需要的存储很大，对性能要求不需要高
解决问题:
所以服务器引入分层存储机制，单台服务器（实际会多台）的磁盘可由一块80Gb的ssd磁盘和两块500GB的SATA盘组成，然后把“热数据“存放在ssd盘上，冷数据存放在SATA盘，冷热数据可以动态调度，从而进行兼顾性能，容量与成本（分层存储调度软件由淘宝开发)

淘宝的策略是高效低成本方案，云计算运维我们在企业中不可能一直不考虑成本，无限制的提升性能

更多内容关注专栏！！！