Go语言入门心法(六): HTTP面向客户端|服务端编程

Go语言入门心法(一): 基础语法

Go语言入门心法(二): 结构体

Go语言入门心法(三): 接口

Go语言入门心法(四): 异常体系

 Go语言入门心法(五): 函数

Go语言入门心法(六): HTTP面向客户端|服务端编程

Go语言入门心法(七): 并发与通道

Go语言入门心法(八): mysql驱动安装报错onnection failed

Go语言入门心法(九): 引入三方依赖

Go语言入门心法(十):Go语言操作MYSQL(CRUD)|事务处理

Go语言入门心法(十一): 文件处理

Go语言入门心法(十二): GORM映射框架

Go语言入门心法(十三): 反射认知升维

一:go语言面向web编程认知

Go语言的最大优势在于并发与性能,其性能可以媲美C和C++,并发在网络编程中更是至关重要
使用http发送请求,http包提供了HTTP客户端和服务器端的实现,使用HTTP客户端，需要理解和掌握两个非常重要的类型：

      (1) Client客户端
      (2) Request求体
       go语言模拟向浏览器发起HTTP请求,发起请求需要创建一个请求对象,使用NewRequest来创建

package main
 
import (
	"fmt"
	"io"
	"net/http"
)
 
/*
Go语言的最大优势在于并发与性能,其性能可以媲美C和C++,并发在网络编程中更是至关重要
使用http发送请求,http包提供了HTTP客户端和服务器端的实现,使用HTTP客户端，需要理解和掌握两个非常重要的类型：
		(1) Client客户端
		(2) Request求体
	    go语言模拟向浏览器发起HTTP请求,发起请求需要创建一个请求对象,使用NewRequest来创建
*/
func main() {
	// 使用NewRequest模拟浏览器向服务器发送HTTP请求
	client := &http.Client{}
	// 访问：爱奇艺-在线视频网站-海量正版高清视频在线观看 首页
	request, err := http.NewRequest("GET", "https://www.iqiyi.com/", nil)
	if err != nil {
		fmt.Println(err)
	}
	response, err := client.Do(request)
	fmt.Println(response.StatusCode)
	res, err := io.ReadAll(response.Body)
	if err != nil {
		fmt.Println(err)
	}
	// 打印body
	fmt.Println(string(res))
}

运行效果：

GOROOT=D:\program_file_worker\go1.20 #gosetup
GOPATH=D:\program_file_worker\go1.20\bin;C:\Users\Administrator\go #gosetup
D:\program_file_worker\go1.20\bin\go.exe build -o C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerToWebRequest_go.exe D:\program_file\go_workspace\org.jd.data\http\OOPHttpServerToWebRequest.go #gosetup
C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerToWebRequest_go.exe
200

    data-n-head="ssr" rel="canonical" href="//www.iqiyi.com/">
href="//stc.iqiyipic.com/gaze/pcw/ssr/pages/cloudCinema/pages/cloudCinema1/pages/cloudCinemaPCA/pages/cloudCinemaPCA1/pages/components/pag/8c7f18db.462771861c0e477fb66d.js" as="script"> s="script">
 
 
   

10/16/2023, 8:03:36 PM<
/div>

>

<
span type="button" class="search-box-btn">

VIP

="header__item__tit">游戏

上传

客户端

看过

二: 添加请求体Cookie,伪装浏览器登录状态 

---

模拟流量器登录：
当访问某些资源时,需要登录后才能访问,此时我们模拟登录,使得被访问的资源知道我们使用go编程的爬虫客户端是登录状态;
这就需要设置Cookie，Cookie通常用来标识客户端的登录状态;Request实例可以使用AddCookie方法给请求添加Cookie

---

package main
 
import (
	"fmt"
	"io"
	"net/http"
	"strconv"
)
 
/*
模拟流量器登录：
当访问某些资源时,需要登录后才能访问,此时我们模拟登录,使得被访问的资源知道我们使用go编程的爬虫客户端是登录状态;
这就需要设置Cookie，Cookie通常用来标识客户端的登录状态;Request实例可以使用AddCookie方法给请求添加Cookie
*/
func main() {
	client := &http.Client{}
	request, err := http.NewRequest("GET", "https://www.iqiyi.com/", nil)
	if err != nil {
		fmt.Println(err)
	}
	// 使用http.Cookie结构体初始化一个Cookie键值对
	cookie := &http.Cookie{Name: "userId", Value: strconv.Itoa(12345)}
	// 使用前面的构建的request方法AddCookie往请求中添加Cookie
	request.AddCookie(cookie)
	request.AddCookie(&http.Cookie{Name: "session", Value: "YWRtaW4="})
	response, err := client.Do(request)
	fmt.Println(response.Request.Cookies())
	fmt.Println(response.StatusCode)
	res, err := io.ReadAll(response.Body)
	if err != nil {
		fmt.Println(err)
	}
	// 打印body
	fmt.Println(string(res))
}

---

运行效果： 通常服务器使用session来判断客户端是否为登录用户   

[userId=12345 session=YWRtaW4=]

---

GOROOT=D:\program_file_worker\go1.20 #gosetup
GOPATH=D:\program_file_worker\go1.20\bin;C:\Users\Administrator\go #gosetup
D:\program_file_worker\go1.20\bin\go.exe build -o C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerToCookieLoginBrowser_go.exe D:\program_file\go_workspace\org.jd.data\http\OOPHttpServerToCookieLoginBrowser.go #gosetup
C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerToCookieLoginBrowser_go.exe
[userId=12345 session=YWRtaW4=]
200

    YI.COM)拥有海量、优质、高清的影视剧集等视频内容。爱奇艺VIP限时新                                                                                                                                                                新
户特惠：首月6元，会员畅看顶级视听品质体验！当前热播《唐朝诡事录》《一年一度喜剧大赛2》《航海王》《请君》"> iv="Cache-Control" content="no-transform"> "ssr" rel="icon" type="image/x-icon" href="//www.iqiyipic.com/pcwimg/128-128-logo.png"> ="ssr" rel="dns-prefetch" href="//datax.baidu.com"> 

三: 请求体添加Header,绕过反爬策略

---

有需网站作了反爬措施,一般会通过根据Header头中的User-Agent的值解析判断是浏览器还是爬虫;
这时我们需要设置成浏览器的UA来绕过这类反爬措施;Request可以直接使用request.Header.Set(key,value)来设置Header

---

package main
 
import (
	"compress/flate"
	"compress/gzip"
	"fmt"
	"io"
	"net/http"
)
 
func main() {
	println(`
        有需网站作了反爬措施,一般会通过根据Header头中的User-Agent的值解析判断是浏览器还是爬虫;
        这时我们需要设置成浏览器的UA来绕过这类反爬措施;Request可以直接使用request.Header.Set(key,value)来设置Header
    `)
 
	client := &http.Client{}
	request, err := http.NewRequest("GET", "http://www.baidu.com/", nil)
	if err != nil {
		fmt.Println(err)
	}
 
	// 设置request的header,具体可参考HTTP协议
	request.Header.Set("Accept", "text/html, application/xhtml+xml, application/xml;q=0.9,*/*;q=0.8")
	request.Header.Set("Accept-Charset", "UTF-8, utf-8;q=0.7, *; q=0.3")
	request.Header.Set("Accept-Encoding", "gzip,deflate,sdch")
	request.Header.Set("Accept-Language", "zh-CN,zh;q=0.8")
	request.Header.Set("Cache-Control", "max-age=0")
	request.Header.Set("Connection", "keep-alive")
	request.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/72.0.3626.121 Safari/537.36")
	response, err := client.Do(request)
	fmt.Printf("%#v", response.Request.Header)
	//res, err := io.ReadAll(response.Body)
	switch response.Header.Get("Content-Encoding") {
	case "gzip":
		bodyReader, err := gzip.NewReader(response.Body)
		if err != nil {
			fmt.Println(err)
		}
		res, err := io.ReadAll(bodyReader)
		// 打印body
		fmt.Println(string(res))
 
	case "deflate":
		bodyReader := flate.NewReader(response.Body)
		res, err := io.ReadAll(bodyReader)
		if err != nil {
			fmt.Println(err)
		}
		// 打印body
		fmt.Println(string(res))
	default:
		bodyReader := response.Body
		res, err := io.ReadAll(bodyReader)
		if err != nil {
			fmt.Println(err)
		}
		// 打印body
		fmt.Println(string(res))
	}
}

---

运行效果：

---

GOROOT=D:\program_file_worker\go1.20 #gosetup
GOPATH=D:\program_file_worker\go1.20\bin;C:\Users\Administrator\go #gosetup
D:\program_file_worker\go1.20\bin\go.exe build -o C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerGetToSetHeaderRequest_go.exe D:\program_file\go_workspace\org.jd.data\http\OOPHttpServerGetToSetHeaderRequest.go #gosetup
C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerGetToSetHeaderRequest_go.exe

        有需网站作了反爬措施,一般会通过根据Header头中的User-Agent的值解析判断是浏览器还是爬虫;
        这时我们需要设置成浏览器的UA来绕过这类反爬措施;Request可以直接使用request.Header.Set(key,value)来设置Header

http.Header{"Accept":[]string{"text/html, application/xhtml+xml, application/xml;q=0.9,*/*;q=0.8"}, "Accept-Charset":[]string{"UTF-8, utf-8;q=0.7, *; q=0.3"}, "Accept-Encoding":[]string{"gzip,deflate,sdch"}, "Accept-Language":[]string{"zh-CN,zh;q=0.8"}, "Cache-Control":[]string{"max-age=0"}, "Connection":[]string{"keep-alive"}, "Referer":[]string{"http://www.baidu.com/"}, "User-Agent":[]string{"Mozilla/5.0 (Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/72.0.3626.121 Safari/537.36"}}

---

---

---

 四: 直接使用Get(url)函数发送请求

Client类型包含get方法,get方法时对Do方法的封装,使用get方法可以快速发起一个get请求;
http包中也有一个叫GET的方法,底层就是调用Client的GET方法

---

package main
 
import (
	"fmt"
	"io/ioutil"
	"net/http"
)
 
/*
Client类型包含get方法,get方法时对Do方法的封装,使用get方法可以快速发起一个get请求;
http包中也有一个叫GET的方法,底层就是调用Client的GET方法
*/
func main() {
	// http.Get实际上是DefaultClient.Get(url)，Get函数是高度封装的,只有一个参数Url
	// 对于一般的http Request是可以使用，但是不能定制Request
	response, err := http.Get("http://www.baidu.com")
	if err != nil {
		fmt.Println(err)
	}
 
	defer response.Body.Close()
	body, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(body))
 
}

---

运行效果：

---

GOROOT=D:\program_file_worker\go1.20 #gosetup
GOPATH=D:\program_file_worker\go1.20\bin;C:\Users\Administrator\go #gosetup
D:\program_file_worker\go1.20\bin\go.exe build -o C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerUseGetMethodToSendRequest_go.exe D:\program_file\go_workspace\org.jd.data\http\OOPHttpServerUseGetMethodToSendRequest.go #gosetup
C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerUseGetMethodToSendRequest_go.exe
< rel="dns-prefetch" href="//dss1.bdstatic.com"/> 

五: Post()携带数据发送请求

---

post发送web请求

   Post向指定的URL发送一个post请求,bodyType为post数据的类型,body为post数据,作为请求主体。
   如果参数body实现了io.Close接口,它会在请求后被关闭,调用者有责任读取完返回值resp的主体后关闭它,
   该方法时对Client的POST方法的封装

---

package main
 
import (
	"fmt"
	"io/ioutil"
	"net/http"
	"strings"
)
 
/*
post发送web请求
	Post向指定的URL发送一个post请求,bodyType为post数据的类型,body为post数据,作为请求主体。
	如果参数body实现了io.Close接口,它会在请求后被关闭,调用者有责任读取完返回值resp的主体后关闭它,
	该方法时对Client的POST方法的封装
*/
func main() {
	resp, err := http.Post("https://blog.csdn.net/u014396256/article/details/84645350",
		"application/x-www-form-urlencoded",
		strings.NewReader("user=admin&pass=admin"))
	if err != nil {
		fmt.Println(err)
	}
 
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println(string(body))
 
}

---

运行效果：

---

GOROOT=D:\program_file_worker\go1.20 #gosetup
GOPATH=D:\program_file_worker\go1.20\bin;C:\Users\Administrator\go #gosetup
D:\program_file_worker\go1.20\bin\go.exe build -o C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerPostToWebRequest_go.exe D:\program_file\go_workspace\org.jd.data\http\OOPHttpServerPostToWebRequest.go #gosetup
C:\Users\Administrator\AppData\Local\Temp\GoLand\___go_build_OOPHttpServerPostToWebRequest_go.exe
   


   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
       
       
   
     {"@context":"https://ziyuan.baidu.com/contexts/cambrian.jsonld","@id":"https://blog.csdn.net/u014396256/article/details/84645350","appid":"1638831770136827","pubDate":"2018-11-30T11:02:20","title":"解决@ResponseBody注解返回中文乱码_responsebody返回中文乱码-CSDN博客","upDate":"2018-11-30T11:02:20"}