Go - 用户服务和Web服务

go日志库之zap

地址

Zap提供了两种类型的日志记录器— Sugared Logger 和 Logger 。
在性能很好但不是很关键的上下文中，使用 SugaredLogger 。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。在每一微秒和每一次内存分配都很重要的上下文中，使用 Logger 。它甚至比 SugaredLogger 更快，内存分配次数也更少，但它只支持强类型的结构化日志记录

1. 安装和基本使用

go get -u go.uber.org/zap 
1

package main
	import (
		"go.uber.org/zap"
	)
	func main() {
		logger, _ := zap.NewProduction()
		defer logger.Sync() // flushes buffer, if any
		url := "https://imooc.com"
		sugar := logger.Sugar()
		sugar.Infow("failed to fetch URL",
			// Structured context as loosely typed key-value pairs.
			"url", url,
			"attempt", 3,
	)
	sugar.Infof("Failed to fetch URL: %s", url)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

2. 写入日志文件

package main
	import (
		"go.uber.org/zap"
		"time"
	)
	func NewLogger() (*zap.Logger, error) {
		cfg := zap.NewProductionConfig()
		cfg.OutputPaths = []string{
		"./myproject.log",
		}
		return cfg.Build()
	}
	func main() {
	//logger, _ := zap.NewProduction()
	logger, err := NewLogger()
	if err != nil {
		panic(err)
		//panic("初始化logger失败")
	}
	su := logger.Sugar()
	defer su.Sync()
		url := "https://imooc.com"
		su.Info("failed to fetch URL",
		// Structured context as strongly typed Field values.
		zap.String("url", url),
		zap.Int("attempt", 3),
		zap.Duration("backoff", time.Second),
	)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

go的配置文件管理-viper

1. 介绍

Viper是适用于Go应用程序的完整配置解决方案。它被设计用于在应用程序中工作，并且可以处理所有类型的配置需求和格式。它支持以下特性：

• 设置默认值
• 从 JSON 、 TOML 、 YAML 、 HCL 、 envfile 和 Java properties 格式的配置文件读取配置信息
• 实时监控和重新读取配置文件（可选）
• 从环境变量中读取
• 从远程配置系统（etcd或Consul）读取并监控配置变化
• 从命令行参数读取配置
• 从buffer读取配置
• 显式配置值

2. yaml教程

教程地址

3. 安装

go get github.com/spf13/viper 
1

4. 将配置文件映射成struct

package main
	import (
		"fmt"
		"github.com/spf13/viper"
	)
	type ServerConfig struct{
		ServiceName string `mapstructure:"name"`
		Port int `mapstructure:"port"`
	}
	func main(){
	v := viper.New()
	//⽂件的路径如何设置
	v.SetConfigFile("viper_test/ch01/config.yaml")
	if err := v.ReadInConfig(); err != nil{
		panic(err)
	}
	serverConfig := ServerConfig{}
	if err := v.Unmarshal(&serverConfig); err != nil{
		panic(err)
	}
	fmt.Println(serverConfig)
	fmt.Printf("%V", v.Get("name"))
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

配置文件config.yaml

name: 'user-web'
port: 8021
1
2

5. 使用

package main
	import (
		"fmt"
		"github.com/fsnotify/fsnotify"
		"github.com/spf13/viper"
		"time"
	)
	type MysqlConfig struct {
		Host string `mapstructure:"host"`
		Port int `mapstructure:"port"`
	}
	type ServerConfig struct{
		Name string `mapstructure:"name"`
		MysqlInfo MysqlConfig `mapstructure:"mysql"`
	}
	func GetEnvInfo(env string) string {
		viper.AutomaticEnv()
		return viper.GetString(env)
	}
	func main(){
		data := GetEnvInfo("Debug")
		var configFileName string
		configFileNamePrefix := "config"
		if data == "true" {
			configFileName = fmt.Sprintf("viper_test/%s-debug.yaml", configFileNamePr
		}else{
			configFileName = fmt.Sprintf("viper_test/%s-pro.yaml", configFileNamePref
		}
		serverConfig := ServerConfig{}
		fmt.Println(data)
		 v := viper.New()
		v.SetConfigFile(configFileName)
		err := v.ReadInConfig()
		if err != nil {
			panic(err)
		}
		if err := v.Unmarshal(&serverConfig); err != nil {
			panic(err)
		}
		fmt.Println(serverConfig)
		go func() {
			v.WatchConfig()
			v.OnConfigChange(func(e fsnotify.Event) {
			fmt.Println("Config file changed:", e.Name)
			_ = v.ReadInConfig() // 读取配置数据
			_ = v.Unmarshal(&serverConfig)
			fmt.Println(serverConfig)
		})
	}()
	time.Sleep(time.Second*3000)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

配置文件内容

name: 'user-web'
mysql:
host: '127.0.0.1'
port: 3306
1
2
3
4

自定义验证器

1. 手机号码正则表达式

^1([38][0-9]|14[579]|5[^4]|16[6]|7[1-35-8]|9[189])\d{8}$ 
1

2. 自定义翻译的问题

//注册验证器
if v, ok := binding.Validator.Engine().(*validator.Validate); ok {
		_ = v.RegisterValidation("mobile", myvalidator.ValidateMobile)
		_ = v.RegisterTranslation("mobile", global.Trans, func(ut ut.Translator)
		return ut.Add("mobile", "{0} ⾮法的⼿机号码!", true) // see universal-t
		}, func(ut ut.Translator, fe validator.FieldError) string {
		t, _ := ut.T("mobile", fe.Field())
		return t
	})
}
1
2
3
4
5
6
7
8
9
10

JWT

1. json web token是什么？

JSON Web Token (JWT)是一个开放标准(RFC 7519)，它定义了一种紧凑的、自包含的方式，用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任，因为它是数字签名的。

2. 什么时候你应该用JSON Web Tokens

下列场景中使用JSON Web Token是很有用的：
Authorization (授权) : 这是使用JWT的最常见场景。一旦用户登录，后续每个请求都将包含JWT，允许用户访问该令牌允许的路由、服务和资源。单点登录是现在广泛使用的JWT的一个特性，因为它的开销很小，并且可以轻松地跨域使用。
**Information Exchange (信息交换) : **对于安全的在各方之间传输信息而言，JSON Web Tokens无疑是一种很好的方式。因为JWTs可以被签名，例如，用公钥/私钥对，你可以确定发送人就是它们所说的那个人。另外，由于签名是使用头和有效负载计算的，您还可以验证内容没有被篡改。

3. JSON Web Token的结构是什么样的

JSON Web Token由三部分组成，它们之间用圆点(.)连接。这三部分分别是：

• Header
• Payload
• Signature
  因此，一个典型的JWT看起来是这个样子的：
  xxxxx.yyyyy.zzzzz

Header
header典型的由两部分组成：token的类型（“JWT”）和算法名称（比如：HMAC SHA256或者RSA等等）。
然后，用Base64对这个JSON编码就得到JWT的第一部分

Payload
JWT的第二部分是payload，它包含声明（要求）。声明是关于实体(通常是用户)和其他数据的声明。声明有三种类型: registered, public 和 private。

Signature
为了得到签名部分，你必须有编码过的header、编码过的payload、一个秘钥，签名算法是header中指定的那个，然对它们签名即可。

4. JSON Web Tokens是如何工作的

在认证的时候，当用户用他们的凭证成功登录以后，一个JSON Web Token将会被返回。此后，token就是用户凭证了，你必须非常小心以防止出现安全问题。一般而言，你保存令牌的时候不应该超过你所需要它的时间。
无论何时用户想要访问受保护的路由或者资源的时候，用户代理（通常是浏览器）都应该带上JWT，典型的，通常放在Authorization header中，用Bearer schema。
header应该看起来是这样的：Authorization: Bearer
服务器上的受保护的路由将会检查Authorization header中的JWT是否有效，如果有效，则用户可以访问受保护的资源。如果JWT包含足够多的必需的数据，那么就可以减少对某些操作的数据库查询的需要，尽管可能并不总是如此。如果token是在授权头（Authorization header）中发送的，那么跨源资源共享(CORS)将不会成为问题，

下面这张图显示了如何获取JWT以及使用它来访问APIs或者资源：

5. 基于Token的身份认证 与 基于服务器的身份认证

5.1. 基于服务器的身份认证
在讨论基于Token的身份认证是如何工作的以及它的好处之前，我们先来看一下以前我们是怎么做的：HTTP协议是无状态的，也就是说，如果我们已经认证了一个用户，那么他下一次请求的时候，服务器不知道我是谁，我们必须再次认证。传统的做法是将已经认证过的用户信息存储在服务器上，比如Session。用户下次请求的时候带着Session ID，然后服务器以此检查用户是否认证过。
这种基于服务器的身份认证方式存在一些问题：
Sessions : 每次用户认证通过以后，服务器需要创建一条记录保存用户信息，通常是在内存中，随着认证通过的用户越来越多，服务器的在这里的开销就会越来越大。

Scalability : 由于Session是在内存中的，这就带来一些扩展性的问题。
CORS : 当我们想要扩展我们的应用，让我们的数据被多个移动设备使用时，我们必须考虑跨资源共
享问题。当使用AJAX调用从另一个域名下获取资源时，我们可能会遇到禁止请求的问题。
CSRF : 用户很容易受到CSRF攻击。

5.2. JWT与Session的差异
相同点是，它们都是存储用户信息；然而，Session是在服务器端的，而JWT是在客户端的。
Session方式存储用户信息的最大问题在于要占用大量服务器内存，增加服务器的开销。而JWT方式将用户状态分散到了客户端中，可以明显减轻服务端的内存压力。Session的状态是存储在服务器端，客户端只有session id；而Token的状态是存储在客户端。

5.3. 基于Token的身份认证是如何工作的
基于Token的身份认证是无状态的，服务器或者Session中不会存储任何用户信息。
没有会话信息意味着应用程序可以根据需要扩展和添加更多的机器，而不必担心用户登录的位置。

虽然这一实现可能会有所不同，但其主要流程如下：

• 用户携带用户名和密码请求访问
• 服务器校验用户凭据
• 应用提供一个token给客户端
• 客户端存储token，并且在随后的每一次请求中都带着它
• 服务器校验token并返回数据

注意：

• 每一次请求都需要token
• Token应该放在请求header中
• 我们还需要将服务器设置为接受来自所有域的请求，用 Access-Control-Allow-Origin: *

5.4. 用Token的好处
无状态和可扩展性 Tokens存储在客户端。完全无状态，可扩展。我们的负载均衡器可以将用户传递到任意服务器，因为在任何地方都没有状态或会话信息。
安全 Token不是Cookie。（The token, not a cookie.）每次请求的时候Token都会被发送。而且，由于没有Cookie被发送，还有助于防止CSRF攻击。即使在你的实现中将token存储到客户端的Cookie中，这个Cookie也只是一种存储机制，而非身份认证机制。没有基于会话的信息可以操作，因为我们没有会话!还有一点，token在一段时间以后会过期，这个时候用户需要重新登录。这有助于我们保持安全。还有一个概念叫token撤销，它允许我们根据相同的授权许可使特定的token甚至一组token无效。

5.5. JWT与OAuth的区别

• OAuth2是一种授权框架 ，JWT是一种认证协议
• 无论使用哪种方式切记用HTTPS来保证数据的安全性
• OAuth2用在使用第三方账号登录的情况(比如使用weibo, qq, github登录某个app)，而JWT是用在前后端分离, 需要简单的对后台API进行保护时使用。

浏览器的跨域请求问题

浏览器在什么情况下会发起options预检请求？

在非简单请求且跨域的情况下，浏览器会发起options预检请求。
Preflighted Requests是CORS中一种透明服务器验证机制。预检请求首先需要向另外一个域名的资源发送一个 HTTP OPTIONS 请求头，其目的就是为了判断实际发送的请求是否是安全的。
下面的情况需要进行预检

关于简单请求和复杂请求：
1 简单请求
简单请求需满足以下两个条件

1. 请求方法是以下三种方法之一：

• HEAD
• GET
• POST

2. HTTP 的头信息不超出以下几种字段

• Accept
• Accept-Language
• Content-Language
• Last-Event-ID
• Content-Type: 只限于 (application/x-www-form-urlencoded、multipart/form-data、text/plain)

2 复杂请求
非简单请求即是复杂请求
常见的复杂请求有：

1. 请求方法为 PUT 或 DELETE
2. Content-Type 字段类型为 application/json
3. 添加额外的http header 比如access_token
   在跨域的情况下，非简单请求会先发起一次空body的OPTIONS请求，称为"预检"请求，用于向服务器请求权限信息，等预检请求被成功响应后，才发起真正的http请求。

DOCTYPE html>
<html lang="en">
<head>
	<meta charset="UTF-8">
	<title>Titletitle>
	<script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js">script>
head>
<body>
<button type="button" id="query">请求数据button>
body>
<script type="text/javascript">
	$("#query").click(function () {
		$.ajax(
		{
			url:"http://127.0.0.1:8021/u/v1/user/list",
			dataType: "json",
			type: "get",
			beforeSend: function(request) {
			request.setRequestHeader("x-token", "eyJhbGciOiJIUzI1NiIsInR5cC
		},
			success: function (result) {
				console.log(result.data);
				$("#content").text(result.data)
			},
		error: function (data) {
			alert("请求出错")
			}
		}
		);
	});
script>
html>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

阿里云发送短信

package main
import (
	"fmt"
	"github.com/aliyun/alibaba-cloud-sdk-go/sdk/requests"
	"github.com/aliyun/alibaba-cloud-sdk-go/services/dysmsapi"
)
func main(){
	client, err := dysmsapi.NewClientWithAccessKey("cn-beijing", "xxxx", "xxx")
	if err != nil {
		panic(err)
	}
	request := requests.NewCommonRequest()
	request.Method = "POST"
	request.Scheme = "https" // https | http
	request.Domain = "dysmsapi.aliyuncs.com"
	request.Version = "2017-05-25"
	request.ApiName = "SendSms"
	request.QueryParams["RegionId"] = "cn-beijing"
	request.QueryParams["PhoneNumbers"] = "xxx" //⼿机号
	request.QueryParams["SignName"] = "xxx" //阿⾥云
	request.QueryParams["TemplateCode"] = "xxx" //阿⾥云的短信模板号 ⾃⼰设置
	request.QueryParams["TemplateParam"] = "{\"code\":" + "777777" + "}" //短信模板
	response, err := client.ProcessCommonRequest(request)
	fmt.Print( client.DoAction(request, response))
	// fmt.Print(response)
	if err != nil {
		fmt.Print(err.Error())
	}
	fmt.Printf("response is %#v\n", response)
	//json数据解析
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31