【NoSQL】Redis介绍、安装、性能优化

一、关系数据库和非关系数据库概述

1、关系型数据库

关系数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向记录。

SQL语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行关系型数据库中数据的检索和操作。

• 主流的关系型数据库包括：oracle、mysql、sqlserver、Microsoft access、db2等

优点

• 易于维护： 都是使用表结构，格式一致
• 使用方便： sql语言通用，可用于复杂查询
• 支持复杂操作， 支持sql，可用于一个表以及多个表之间非常复杂的查询

缺点

• 读写性能比较差， 尤其是海量数据的高效读写
• 固定的表结构， 灵活度差
• 数据存储在磁盘， 高并发读写容易遇到瓶颈

2、非关系型数据库

NoSQL（NoSQL = Not Only SQL），表示为不仅仅是SQL，是非关系型数据库的总称，除了主流的关系型数据库外的数据库，都认为是非关系型。

• 主流的NoSQL数据库有Redis、MongoDB、Hbase、CouhDB等

二、关系数据库和非关系数据库的区别

主要区别分为三种：①数据存储的格式不同，②扩展方式不同，③对事物的处理不同

1、数据存储格式不同

关系型和非关系型数据库的主要差异是数据存储的方式，关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。

非关系数据不适合在数据表的行和列中，而是大块组合在一起。非关系数据通常存储在数据集中，就像文档、键值对或者图结构，你的数据及其特性是选择数据存储和提取方式的首要因数。

2、扩展方式不同

SQL和NoSQL数据库最大的差别可能是在扩展方式上，要支持日益增长的需求当然要扩展。

要支持更多并发量，SQL数据库是纵向扩展。也就是说提高处理能力，使用速度更快的计算机，这样处理相同的数据集就更快了，因为数据存储在关系表中，操作的性能瓶颈可能涉及到很多个表，这都需要通过计算机性能来克服。虽然SQL数据库有很大扩展空间，但最终肯定会达到纵向扩展的上限。

NoSQL数据库是横向扩展。因为非关系数据存储天然就是分布式的，NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器（节点）来分担负载。

3、对事务的支持不同

如果数据操作需要高事务性或者数据查询需要控制执行计划，那么传统的SQL数据库从性能和稳定方面考虑是你最佳选择， SQL数据库支持对事务原子性细粒度控制。并且易于回滚事务。

虽然NoSQL数据库也可以使用事务操作，但稳定方面没法和关系型数据库比较所以真正的优势还是在于扩展性和大数据量处理方面。

三、非关系数据库产生背景

关系型数据库和非关系型数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系数据库关注在关系上，非关系型数据库关注在存储上。例如，在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中，提升访问速度。

可用于web2.0纯动态网站类型的问题。 高并发、高效存储、高扩展高、高可用

1、Hight performance ---- 对数据库高并发读写需求。

2、Huge Storage------ -对海量数据高效存储访问需求

3、Hight Scalability && Hight Availabity ----- 对数据高扩展性与高可用性需求。

1、总结

关系型数据库

实例（服务器）----》数据库----》表（table）----》记录行（row）、数据字段（coulumn）

非关系型数据库

实例（服务器）-----》数据库----》集合（collection）—》键值对（key-value）

四、Redis简介

Redis 是一个开源的，使用C语言编写的NoSQL数据库。

Redis基于内存运行并支持持久化，采用key-balues（键值对）的存储形式，是目前分布架构中不可或缺的一环。

Redis服务器程序时单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降，若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。

即：在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程，若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个进程，若CPU资源比较紧张，采用单进程即可。

1、 Redis的单线程模式

Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程。Redis 实际处理速度则是完全依靠于主进程的执行效率。

若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力会有一定程度的下降。

若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时会服务器的CPU造成很大压力。

在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程，若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个进程，若CPU资源紧张，采用单线程即可。

2、Redis优点

①具有极高的数据读写速度： 数据读取的速度最高可达到110000次/s，数据写入速度最高可达到81000次/s。

②支持丰富的数据类型 ，支持key-values、string字符串、lists列表、hashes散列值、sets集合 及 ordered sets等数据类型操作。

③支持数据的持久化： 可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。

④原子性： redis所有操作都是原子性的。

⑤支持数据备份： 即master-salve模式的数据备份。

⑥分布式

⑦默认使用epoll + i/o 多路复用来提高并发能力。

Redis作为基于内存运行的数据库，缓存是其最常用的场景之一。除次之外，redis常见应用场景还包括获取最近N个数据的操作、排行榜类应用、计数器、存储关系、实时分析系统、日志记录。

3、Redis的缺点

数据容量受到物理内存的限制，不能用于海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。

五、Redis安装部署

systemctl stop firewalld
setenforce 0
#关闭防火墙
 
yum install -y gcc gcc-c++ make
#安装依赖环境
 
tar zxvf redis-5.0.7.tar.gz -C /opt/
#将redis包进行解压
 
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install
#进行编译安装
1
2
3
4
5
6
7
8
9
10
11
12
13
14

cd /opt/redis-5.0.7/utils
./install_server.sh
#进行安装（安装时，需要输入路径，具体看下图）
1
2
3

ln -s /usr/local/redis/bin/ *  /usr/local/bin

/etc/init.d/redis_6379 stop				#停止
/etc/init.d/redis_6379 start			#启动
/etc/init.d/redis_6379 restart			#重启
/etc/init.d/redis_6379 status			#状态
1
2
3
4
5
6

vim /etc/redis/6379.conf

bind 127.0.0.1 192.168.184.10				
#70行，添加 监听的主机地址

port 6379									
#93行，Redis默认的监听端口

daemonize yes							
#137行，启用守护进程


pidfile /var/run/redis_6379.pid				
#159行，指定 PID 文件


loglevel notice								
#167行，日志级别


logfile /var/log/redis_6379.log	
#172行，指定日志文件

/etc/init.d/redis_6379 restart
#重启redis
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

六、Redis命令工具

redis-server		用于启动 Redis 的工具
redis-benchmark		用于检测 Redis 在本机的运行效率
redis-check-aof		修复 AOF 持久化文件
redis-check-rdb		修复 RDB 持久化文件
redis-cli	 		Redis命令行工具
1
2
3
4
5

1、redis-cli命令行工具

若不添加任何选项表示，则使用127.0.0.1:6379连接本机上的Redis数据库

redis-cli -h 20.0.0.55 -p6379
#登录数据库（没有密码，所有不需要加-a）
1
2

2、redis-benchmark 测试工具

redis-benchmark 是官方自带的Redis性能测试工具，可以有效的测试Redis服务的性能。

基础的测试语法：redis-benchmark 【选项】 【选项值】

向IP地址为20.0.0.55、端口为6379的Redis服务器发送100个并发连接和100000个请求测试性能

redis-benchmark -h 20.0.0.55 -p 6379 -c 100 -n 100000
1

测试存取大小为100字节的数据包的性能

redis-benchmark -h 20.0.0.55 -p 6379 -q -d 100
1

测试本机上Redis服务在进行set与lpush操作时的性能

redis-benchmark -t set,lpush -n 100000 -q
1

3、Redis数据库常用命令

set		#存放数据，命令格式为 set key value
get		#获取数据，命令格式为 get key
keys 	#命令可以取符合规则的键值列表，通常情况可以结合*、?等选项来使用。
exists 	#命令可以判断键值是否存在。
del 	#命令可以删除当前数据库的指定 key。
type 	#命令可以获取 key 对应的 value 值类型。
1
2
3
4
5
6

存储键值，获取值

redis-cli 【-h 20.0.0.55】 -p 6379
#登录redis

set ky20  yudeqiang   #存储键为:ky20,值为:yudeqiang
get ky20    #查找键ky20的值

set h1 1   #创建 键为：h1 值为:1..下面类似
set h2 2
set h3 3
set a1 1
set a2 22
set a22 4
1
2
3
4
5
6
7
8
9
10
11
12

使用通配符 * 和 ？查询当前数据库的所有键

keys *
keys h*
keys a?
keys a??
1
2
3
4

判断某键是否存在

exists ydq
exists ky20
1
2

对已有的键进行重命名（会覆盖不提醒）

rename 旧key  新key

rename a1 aaa1
rename a2 a22
1
2
3
4

对已有的键进行重命名（检测新名是否存在，如果存在，执行失败）

renamenx  旧key  新key
renamenx h1 h4
renamenx h2 h3
1
2
3

查看当前数据库中的key数目-----dbsize

keys *
dbszie
1
2

设置redis密码和查看密码

config set requirepass 123123
#设置redis密码

config get requirepass 
#查看密码

#注意:设置密码后，redis数据库中所有命名都不能操作，必须输入密码后，才可进行操作
config set requirepass ''
#清空密码

auth 123123
1
2
3
4
5
6
7
8
9
10
11

4、Redis 多数据常用命令

• Redis支持多数据库，Redis默认情况下包含16个数据库，数据库名称为：0-15依次技术。

• 每个数据库相互独立，互不干扰

• 使用select 命令进行切换数据库，初始进入数据库默认在0号库

select 10
select 15
1
2

多数据库之间移动操作----move

select 10
set ydq  123
get ydq

move ydq 15
get ydq

select 15
get ydq
1
2
3
4
5
6
7
8
9

清空数据库（谨慎操作）

flushdb :清空当前数据库
flushall:清空所有数据库的数据
1
2

七、Redis性能管理

查看Redis内存使用

info memory
1

1、内存碎片率

操作系统分配的内存值 used_memory_rss 除以Redis使用的内存总量值 used_memory 计算得出。

内存值 used_memory_rss 表示该进程所占物理内存的大小，即为操作系统分配给Redis实例的内存大小。

除了用户定义的数据和内部开销以外，used_memory_rss 指标还包含了内存碎片的开销。

内存碎片由操作系统抵消的分配/回收物理内存导致的（不连续的物理内存分配）

举例来说：Redis 需要分配连续内存块来存储1G的数据集，如果物理内存上没有超过1G的连续内存块，那操作系统就不得不使用多个不连续的小内存块来分配并存储着1G数据，该操纵就会导致内存碎片的产生。

跟踪内存碎片率对理解Redis实例的资源性能是非常重要的

• 内存碎片率大于1是合理的，这个值表示内存碎片率比较低，也说明Redis没有发生内存交换
• 内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率，需要在redis-cli 工具上输入shutdown save 命令，让redis数据库执行保存操作并关闭redis服务，再重启服务器。
• 内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正常进行内存交换，需要增加可用物理内存或减少redis内存占用。

2、内存使用率

redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间。

避免内存交换发生的交换

• 针对缓存数据大小选择安装Redis实例
• 尽可能的使用hash数据结构存储
• 设置key的过期时间

3、内存回收key

内存清理策略，保证合理分配redis优先的内存资源。

当达到设置的最大阈值时，需选择一种key的回收策略，默认情况下回收策略是禁止删除。

配置文件中修改 maxmemory-policy属性值

vim /etc/redis/6379.conf
--598--
maxmemory-policy noenviction
●volatile-lru：使用LRU算法从已设置过期时间的数据集合中淘汰数据(移除最近最少使用的key，针对设置了TTL的key)
●volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰（移除最近过期的key）
●volatile-random：从已设置过期时间的数据集合中随机挑选数据淘汰（在设置了TTL的key里随机移除）
●allkeys-lru：使用LRU算法从所有数据集合中淘汰数据（移除最少使用的key，针对所有的key）
●allkeys-random：从数据集合中任意选择数据淘汰（随机移除key）
●noenviction：禁止淘汰数据（不删除直到写满时报错）
1
2
3
4
5
6
7
8
9

八、总结

关系数据和非关系数据库的区别

关系数据库

• 安全性高（持久性）
• 事务处理能力强
• 任务控制能力强
• 可基于日志备份、恢复、容灾、能力更强

非关系数据库

• 将数据保存在内存中，利于读取查询数据
• 架构中位置非常灵活
• 分布式、扩展性高。

主要区别

• 关系数据库存储的格式是以表格式存储，非关系数据库时大块组合一起。比如键值对

• 关系数据库扩展是纵向扩展，就是添加设备硬件，非关系数据库可以横向扩展，实现分布式，通过节点来分摊压力

• 关系数据库支持事务，对于性能和查询来说稳定性强，而且还可以回滚操作，非关系数据库相对来说没有关系数据库稳定，

非关系数据库的优势

• 对数据高并发读写需求，对数据高效存储与访问需求，对数据高扩展性和高可用性需求

Reids的优势

• 支持持久化，单进程模型，
• 读写数据快
• 支持丰富的数据类型（5大类型：string、lists列表、hash散列、sets集合、ordered sets有序集合，键值（key-vales））
• 也具有原子性
• 支持数据备份（使用主从复制备份数据）
• 将数据保存在内存中，利于读取查询数据
• 架构中位置非常灵活
• 分布式、扩展性高。