网络爬虫之HTTP原理

**

URI和URL

URI的全称Uniform Resource Identifier ，即统一资源标志符。URL的全称Uniform Resource Locator 即统一资源定位符。 URL是URI的子集，也就是每一个URL就是URI，但是每一个URI不一定是URL，URI还有一个子类叫URN，它的全称Universal Resource Name-统一资源名称，URN只命名资源而不指定资源位置。

HTTP和HTTPS 

HTTP的全称叫 Hyper Text Transfer Protocol（超文本传输协议）。 HTTPS的全称叫 Hyper Text Transfer over Secure Socket Layer(加密的超文本协议)，HTTP加入SSL层。

HTTPS的安全基础是SSL，因此通过它传输的内容都是经过SSL加密的，它的主要作用可以分为两种：

• 建立信息安全通道，来保证数据传输的安全

• 确认网站的真实性，凡是使用了HTTPS的网站，都可以通过点击浏览器地址的锁头标志来查看网站认证之后的真实的信息，也可以通过CA机构颁发的安全签章来查询

HTTP的请求过程

右侧栏点击社区社交，即发送了一个请求。这个过程浏览器向网站所在的服务器发送了一个请求，网站的服务器收到请求解析处理和解析并返回了接口，浏览器拿到接口的数据进行渲染并显示。

请求

请求，由客户端向服务器发送，可以分为四部分，请求方法，请求网址（URL）、请求头、请求体。

请求方法 常见的请求方法有两种：GET和POST

请求头 请求头，用来说明服务器需要使用的附加信息，重要的有Cookies、Referer、User-Agent。

• Accept：请求报头域，用于指定客户端可接受哪些类型的信息

• Accept-Language：指定客户端可接受的语言类型

• Accept-Encoding：指定客户端可接受的内容编码

• Host：用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。从HTTP1.1版本开始，必须包含此内容。

• Cookie：也常用复数形式Cookies，这是为了辨别用户进行会话跟踪而存储在用户本地的数据。它的主要功能是维持当前访问会话。

• Referer：此内容用来标识这个请求从哪个页面发过来的，服务器可以拿到这信息并做相应的处理，如来源统计、防盗链处理等

• User-Agent：简称UA，它是一个特殊的字符串头，可以使服务器识别客户使用操作系统及版本、浏览器及版本信息。

• Content-Type：也叫互联网媒体类型，在HTTP协议消息头中，它用来表示请求中的媒体类型信息，如text/html代表HTML，image/gif 代表GIF图片，application/json代表JSON类型。

请求体 请求体一般的内容是POST请求中的表单数据，而对GET请求，请求头为空。

响应

 响应，由服务器返回客户端，可分为三部分：响应状态码（Response Status Code）、响应头（Response Headers）、响应体（Response Body）.

响应状态码 响应状态码表示服务器的响应状态，如200表示服务器正常，404表示资源找不到，500表示服务器内部出错。

响应头 响应头包含服务器对请求的应答响应,如Content-Type,Server,Set-Cookie等

• Date：标识响应产生的时间

• Last-Modified：指定资源的最后的修改时间。

• Content-Encoding:指定响应内容的编码

• Sever：包含服务器的信息，比如名称、版本号等

• Content-Type:文档类型，指定返回的数据类型是什么，如text/html

• Set-Cookie：设置Cookies。响应头中的Set-Cookie告诉浏览器需要将此内容放在Cookies中，下次请求携带Cookies请求

• Expires：指定响应的过期时间，可以使代理服务器或浏览器将加载的内容更新到缓存中。如果再次访问时，就可以直接从缓存中加载，降低服务器负载，缩短加载时间。

响应体 最重要当响应属性响应体的内容。响应体的正文数据都在响应体中。请求网页时，响应的就是HTML代码；请求一张图片时，响应的数据就是二进制数据。

1、GET和POST有什么区别

        数据传输的不同：GET请求通过URL传输数据，而POST请求通过请求体传输。

        安全性不同：GET请求在URL中可以看见，通过历史记录、缓存可看；POST的数据在请求体中，安全相对较高。

        数据类型不同：GET只允许ASCII字符；POST无限制。

        特性不同：GET是安全（这里的安全是指只读特性，就是使用这个方法不会引起服务器状态变化）且幂等（幂等的概念是指同一个请求方法执行多次和仅执行一次的效果完全相同），而POST是非安全非幂等

2、HTTP和HTTPS的区别

         HTTP无CA证书，HTTPS有CA证书。

         HTTP明文传输，HTTPS是具有安全性的SSL加密传输。

         HTTP默认的端口是80；HTTPS默认的端口是443.