运维SRE-19 网站Web中间件服务-http-nginx

Ans自动化流程

1.网站集群核心协议：HTTP

1.1概述

web服务：网站服务，网站协议即可.
协议：http协议,https协议
服务：Nginx服务，Tengine服务....
1
2
3

1.2 HTTP协议

• http超文本传输协议，负责数据在网站与客户间互相传输(客户要页面，网站给页面.)
• 超文本传输协议（Hyper Text Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在[TCP]之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。

2）发展

tcp3次握手,建立连接.
发出请求要页面,服务端给你响应页面.
tcp4次挥手,断开连接.
1
2
3

http1.1 vs 2.0 速度区别：http1.1 vs 2.0 速度区别

3）HTTP请求与响应

4）HTTP请求详解
a）http请求概述

HTTP请求报文(数据包)内容：
	携带用户的基本信息：浏览器，版本
	携带用户的请求信息：http协议版本，域名，请求文件及路径
	还有一些额外信息...
1
2
3
4

curl -v www.baidu.com或者通过wireshark抓包
这里通过wget --debug www.baidu.com获取请求报文

DEBUG output created by Wget 1.14 on linux-gnu.

URI encoding = “UTF-8”
Converted file name 'index.html' (UTF-8) -> 'index.html' (UTF-8)
Converted file name 'index.html' (UTF-8) -> 'index.html' (UTF-8)
--2023-11-08 02:23:05--  http://www.baidu.com/
正在解析主机 www.baidu.com (www.baidu.com)... 120.232.145.144, 120.232.145.185, 2409:8c54:870:28:0:ff:b049:5cef, ...
Caching www.baidu.com => 120.232.145.144 120.232.145.185 2409:8c54:870:28:0:ff:b049:5cef 2409:8c54:870:2a:0:ff:b0ae:1bcf
正在连接 www.baidu.com (www.baidu.com)|120.232.145.144|:80... 已连接。
Created socket 3.
Releasing 0x0000000002080cb0 (new refcount 1).

---request begin---
GET / HTTP/1.1
User-Agent: Wget/1.14 (linux-gnu)
Accept: */*
Host: www.baidu.com
Connection: Keep-Alive

---request end---
已发出 HTTP 请求，正在等待回应... 
---response begin---
HTTP/1.1 200 OK
Content-Length: 2381
Content-Type: text/html
Server: bfe
Date: Tue, 07 Nov 2023 18:23:06 GMT

---response end---
200 OK
Registered socket 3 for persistent reuse.
长度：2381 (2.3K) [text/html]
正在保存至: “index.html”

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

b）http请求-起始行
请求办法: 用户如何访问网站(上传,下载)

URL:统一资源定位符,url地址.网址.用于让用户找出网站及资源的位置.
URI:统一资源标识符:正常来说URI范围会更广泛. web服务器中uri仅仅表示域名/(斜线后面的内容)
1
2

http协议版本
http1.0/1.1
请求起始行核心

请求方法: GET/POST/HEAD
URI:知道URL哪一部分即可
1
2

c) http请求-请求头

提供客户端的基本信息：浏览器，访问域名
1

• User-Agent: Windows NT 10.0; Win64; x64
• User-Agent:用户的客户端(用户使用什么访问的网站

谷歌浏览器信息：
#windows
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36

#苹果
mac/ios

#移动设备
iphone/android
1
2
3
4
5
6
7
8
9

• Host: www.baidu.com
• 用户访问域名部分

浏览器调试

1.打开网站与页面
2.找出 请求起始行信息和请求头信息
3.浏览器F12功能

5）http响应详解

http响应报文中主要显示的是服务端的信息
	服务端是否有这个文件，文件类型..
	服务端基本信息：服务名字，版本..
1
2
3

a）http响应起始行
http状态码

• 服务端发送给客户端,表示索要资源的状态(有/没有)
• 应用场景: 排错与监控分析网站情况.

状态码大全
Server:
web服务器使用的是什么:nginx,tengine
6）http请求与响应小结

应用：nginx相关web服务排错必备.面试常问.
http请求报文结构与核心内容
	http请求起始行：请求办法 url
	http请求头中：User-Agent客户端浏览器，Host域名
http响应报文结构：
	响应报文起始行：状态码
	响应报文头部：Server:什么web服务
1
2
3
4
5
6
7

1.3 用户请求与http协议

面试题：用户访问网站流程/介绍公司网站架构/介绍你公司app数据流

• 1.用户输入域名，域名进行DNS解析（得到域名的ip）
• 2.tcp3次握手（ip+端口80/443) 建立连接
• 3.客户端向服务端发出http请求报文: 请求起始行,客户端信息
• 4.服务端收到请求后进行处理(未来可以讲解网站架构).
• 5.服务端给客户端发出http响应报文: 响应起始行,服务端信息
• 6.tcp 4次挥手,断开连接

1.4网站核心指标

衡量网站访问情况的一些指标.

如何统计这些指标：
	ip,pv,uv,通过日志统计.
	一般的统计方法,第3方插件/代码,进行统计,比如:百度,谷歌统计.
	通过开源统计工具: matomo(原名piwiki) 测试网站:https://demo.matomo.org
	
	查询网站访问情况：https://alexa.chinaz.com
1
2
3
4
5
6

2.网站核心WEB服务: Nginx

2.1 概述

网站架构中的WEB服务.
web服务(网站服务)也可以叫做WEB中间件.
Nginx : Engine X,俄罗斯人开发出来.被F5(硬件负载均衡企业)收购.
Apache: web服务.
1
2
3
4

2.2 WEB中间件

2.3Nginx-特点

1）Nginx功能

nginx作为web服务.
nginx作为负载均衡与代理服务. (lvs,haproxy)
nginx作为缓存服务.
nginx安全功能.
1
2
3
4

2）Nginx特点

1.支持高并发：能支持几万并发连接(特别是静态小文件业务环境)
2.资源消耗少：在3万并发连接下，开启10个Nginx线程消耗不到200MB内存
3.可以做HTTP反向代理及加速缓存，即负载均衡功能。内置对RS节点服务器健康检查功能，这相当于专业的Haproxy软件或者lvs的功能
4.具备squid等专业缓存软件等的缓存功能
5.支持异步网络IO事件原型epoll(linux 2.6+)
1
2
3
4
5

3）Ngx vs Apache

ginx使用的是一种异步网络IO模型。
Apache使用的是一种同步的网络io模式。

同步：网站处理慢。 用户发出请求，网站立刻处理，如果不处理客户排队或丢弃。
异步：网站处理快，一般利用缓存实现。 用户发出请求，网站不立刻处理，网站找个地方把请求存放起来，然后网站一个一个快速处理。。

步目标：通过缓存，队列把用户请求临时存放，减轻用户大量访问对服务器要求。网站优化的一句话：缓存无处不在。


su-幼儿园叔叔。
su-同步模式： 挨个去问小朋友，是否要去洗手间。
su-异步模式： 画个圈圈，需要去洗手间的小朋友，请进入圈中，su定时把圈里的带到洗手间。


su-舍管大爷(女生)郑同学来女朋友。
su-同步模式： 苏大爷带着郑同学一个一个寝室找。
su-异步模式： 苏大爷拿出本本说你要找的人叫啥，根据本子找出寝室，然后找人。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

4）Ngx vs Tengine
Tengine需要编译安装。

2.4 Ngx版本选择

• 1.稳定版本。 (偶数)
• 2.距今6个月-1年版本。1.18 2020年 1.14 2018年
• 3.日常搜搜准备要用的版本的漏洞情况 nginx 1.20.2 漏洞

2.5 Ngx急速使用指南

nginx yum安装
CentOS 7的epel源中有nginx 1.20.1  #旧的。
手动在linux配置nginx源：1.20.2  1.21.xxx
1
2
3

安装过程

1.配置yum源
cat nginx.repo
[nginx]
baseurl = http://nginx.org/packages/centos/$releasever/$basearch/
enabled = 1
gpgcheck = 0
name = nginx stable repo

#安装
yum install -y nginx

#安装并配置自启动
3.systemctl start nginx
4.systemctl enable nginx

#查状态以及端口和线程
5.systemctl status nginx
6.ss -lntup|grep nginx
7.ps -ef|grep nginx
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

总结

1.HTTP请求报文结构和核心内容. ⭐⭐ ⭐ ⭐ ⭐ 
2.HTTP响应报文结构和核心内容.⭐⭐ ⭐ ⭐ ⭐ 
3.用户访问网站流程⭐⭐ ⭐ 
4.网站访问量指标.知道（熟悉）常见WEB中间件（web服务）Nginx vs Apache （同步vs异步）⭐⭐ ⭐ ⭐ 
5.部署nginx(手动配置yum源)安装nginx启动nginx
6.	常用命令：查看端口，查看进程，curl/wget
1
2
3
4
5
6