文件系统和日志分析

深入理解linux文件系统与日志分析

文件系统

​

文件是存储在硬盘上的,硬盘上的最小存储单位是扇区,每个扇区的大小是512字节.

inode:元信息(文件的属性,权限,创建者,创建日期等等,文件名不算)

block:块,连续的八个扇区组成一个块,一个块的大小是4kb,创建一个文件,最小要占4kb,这是文件的最小存储单位

操作系统读取硬盘(机械),是一次性读取多个扇区,一个块一个块的读取数据

创建文件:第一个是实际空间大小,第二个是元信息.元信息(128字节或者256字节)和实际数据都保存在硬盘上.

一个文件必须占用一个inode(只要创建文件必须有一个inode号),至少占用一个block(空文件,也要占一个块)

时间戳:

​ atime 访问,只要读取文件就会更新这个时间

​ mtime 修改文件数据,更改文件的属性都会更新这个时间

​ ctime 修改文件的权限也会更新这个时间

inode号:linux都是识别文件的inode号

​ 系统找到这个文件名对应的inode号码

​ 元信息发生改变时,inode号也会跟着改变

​

​

文件存储

​ inode是根据磁盘大小来定的,磁盘越大,inode号越多,磁盘越小inode号越少

总结:

​ inode号和文件名分离,二者只是映射关系,linux呈现以下几个现象

​ 1.如果文件名包含特殊字符,rm可能无法正常删除,只能通过inode号删除

​ 2.如果移动文件,重命名文件,对inode号无影响

​ 3.一旦开始对文件操作,后续所有的认证和识别都是通过inode来的,不再考虑文件名

​ 4.元信息发生变化,inode也会发生变化

如果inode号满了,ext4文件系统和xfs文件系统之间有什么区别

​ ext4 满了无法再新建文件

​ xfs 还有缓冲的余地

xfs文件系统,如何能够实现备份和恢复?

​ xfsdump软件 备份

​ 使用限制:

​ 只能备份xfs的文件系统

​ 只能备份已经挂载的文件系统

​ 只有root权限才能进行备份

​ 备份之后的数据要恢复,只能使用xfsrestore解析恢复

​ 如果两个设备的uuid相同,不能备份(这种情况几乎不会有)(blkid)

​ mount /dev/sdh1 /data1 对追加上的磁盘sdh1进行挂载,挂载到data1目录下

​ xfsdump -f /opt/backup /dev/sdh1 [-L backup -M sdh1]

​ -f 执行文件

​ /opt/backup 必须是个文件,必须是个不存在的文件,不能使目录,如果是已经在,必须是个空文件

​ [-L(备份文件的标签) ]

​ [-M(设备标签,需要备份的硬盘分区)]

​ /dev/sdb2 设备

​ 备份的级别:全量备份和增量备份

​ 0 默认

​ 1

​ xfsdump -f 指定需要备份的硬盘分区(硬件设备的挂载点)

​ -L 指定标签

​ -M 指定设备标签

​ -s 备份单个文件,-s后面不能直接跟路径

​ 具体实现:

备份后又恢复的文件,inode号是否会发生变化

会

​

​ xfsrestore软件 恢复

​ xfsrestore -f /opt/backup /data1/

ext4只能在centos6

ext3格式

​ extundelete

日志分析

​ 系统的日志类型以及日志如何分析

​ linux系统本身和日志和发部分服务器程序的日志都在/var/log目录下

​ /var/log/messages 记录了linux的内核消息,各种应用程序的公共日志消息.

​ 应用程序公共日志:开,关,重启,网络错误,程序故障,这些都属于公共日志

​ 访问日志和一些自由业务不包含在其中,有自己的目录

​ cron:定时任务日志

​ dmesg:开机过程中的日志

​ mailog:记录进入或者发出的系统的电子邮件

​ secure:用户认证的相关信息

​ rsyslog

​ linux日志级别:

数字越小,优先级越大,消息就越重要

​

0 EMEGR 紧急 会导致主机系统不可用的情况,会导致系统崩溃,比如说磁盘要满了,就会提示EMERG

1 ALERT 警告 必须马上要采取措施解决的问题.比如说密码到期,数据库崩溃

2 CRT 严重 比较严重的情况.比如说磁盘读写出了故障,有些程序的功能无法启动

3 ERR 错误 运行出现错误.比如说程序启动失败,端口被占用等等,见的最多的情况,出现了也是要尽快解决的.*

4 WARNING 提醒 可能会影响功能,需要提醒用户的重要事件,但是不是报错,不过如果磁盘使用率到了85%还是需要处理下的*

5 NOTICE 注意 也是需要用户注意的,这个notice的信息无需处理*

6 info 信息 系统或者应用在程序在工作中产生的正常消息*

7 debug 调试 程序在开发阶段,调试程序时的信息

8 none 没有优先级 不记录任何日志消息

​ 日志级别怎么定义:

​ vim /etc/rsyslog.conf

​ *.info *表示所有,表示系统当中的设备,或者程序 info:包含info以及info级别以上的日志

​ auth 用户认证产生的日志

​ daemon 守护后台进程的进城

​ authpriv ssh,ftp登录验证的信息

​ news 网络传输产生的消息

​ syslog 系统的相关日志

​ kern 系统的内核日志

​ user 用户进程日志

​ local0-local7 自定义程序的日志

​

​ 举例

​ mail.info /var/log/mail.log:记录邮件的信息,包含info和info以上的,记录 到/var/log/mail.log

​ mail.=info /var/log/mail.log 只记录日志级别是info的

​ mail.!info /var/log/mail.log 除了info不记录,其他的都记

​ mail.info:news.info

​ mail,news.info

​ 表示当前日志发生的事件

test1 表示发生的主机名

systemd 哪个系统产生了这个日志

Starting The Apache HTTP Server…:日志的具体内容

第一个实验 ssh的日志单独列出来,作为一个独立的日志文件

​ 关闭两个shell连接的防火墙

​ systemctl stop firewalld 关闭防火墙

​ setenforce 关闭安全机制

​ 第一步第一个连接内:

​ vim /etc/rsyslog.conf 修改定义日志记录的配置文件

​ : set number

​ local6.* /var/log/ssh.log 将local6等级的记录存放到var下的log下的ssh.log文件中

​ wq

​ vim /etc/ssh/sshd_config 修改ssh配置文件

​ : set number

​ 32gg #

​ SyslogFacility LOCAL6

​ wq

​ systemctl restart rsyslog.service 重启日志服务

​ systemctl restart sshd 重启sshd服务

​ cd /var/log

​ tail -f /var/log/ssh.log

​ 第二步第二个连接内:

​ ssh root@192.168.118.51

第二个实验:

​ 配置日志服务器,来进行日志收集

test1 192.168.118.52 日志收集服务器

test2 192.168.118.53 53上面产生的日志,都会发到10上,20自己不再记录日志

​ @@表示使用tcp协议进行数据传输

​ @表示使用UDP协议进行传输

​ 端口状态

​ LISTEN 监听端口是否开启,端口是否正常传输数据

​ ESTABLISHED 表示端口之间已经建立连接而且在传输数据

192.168.118.53

​ vim /etc/rsyslog.conf

19行 $ModLoad imtcp 解掉注释

20行 $InputTCPServerRun 514 解掉注释

​ #*.info;mail.none;authpriv.none;cron.none /var/log/messages

55行 *.info;mail.none;authpriv.none;cron.none @@192.168.118.53

​ wq!

​ systemctl restart rsyslog.service

​ netstat -antp|grep 514

总结

​ 文件系统:对文的操作,用户是针对文件名,系统针对的inode号,系统是inode来进行识别,inode号又叫元信息,权限,大小,时间戳

​ block块 文件的最小存储单位,连续的8个扇区,4k

​ 创建文件:既要保存元信息,又要保存实际数据

​ 备份和恢复:XFS ext3

​ 日志:

​ error

*.info;mail.none;authpriv.none;cron.none @@192.168.118.53

​ wq!

​ systemctl restart rsyslog.service

​ netstat -antp|grep 514

总结

​ 文件系统:对文的操作,用户是针对文件名,系统针对的inode号,系统是inode来进行识别,inode号又叫元信息,权限,大小,时间戳

​ block块 文件的最小存储单位,连续的8个扇区,4k

​ 创建文件:既要保存元信息,又要保存实际数据

​ 备份和恢复:XFS ext3

​ 日志:

​ error

​ info