MySQL高级：（二）存储引擎

笔记来源：MySQL数据库教程天花板，mysql安装到mysql高级，强！硬！

2.1 存储引擎基本概念

为了管理方便，人们把连接管理、查询缓存、语法解析、查询优化这些并不涉及真实数据存储的功能划分为MySQL server的功能，把真实存取数据的功能划分为存储引擎的功能。所以在MySQL server完成了查询优化后，只需按照生成的执行计划调用底层存储引擎提供的API，获取到数据后返回给客户端就好了。

MySQL中提到了存储引擎的概念。简而言之，存储引擎就是指表的类型。其实存储引擎以前叫做表处理器，后来改名为存储引擎，它的功能就是接收上层传下来的指令，然后对表中的数据进行提取或写入操作。

查看MySQL提供什么存储引擎

2.2 InnoDB：具备外键支持功能的事务存储引擎

有外键功能并不一定是优势，阿里规约就规定，不可使用外键约束，因为外键约束不好维护，性能差。外键更多的是在Java代码层面进行逻辑处理。

• InnoDB是MySQL的 默认事务型引擎 ，它被设计用来处理大量的短期(short-lived)事务。可以确保事务的完整提交(Commit)和回滚(Rollback)。

• 除了增加和查询外，还需要更新、删除操作，那么，应优先选择InnoDB存储引擎。

• 除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。

• 数据文件结构：

  • 表名：.frm ，存储表结构（MySQL8.0时，合并在表名.ibd中）

  • 表名：.ibd ，存储数据和索引

• InnoDB是为处理巨大数据量的最大性能设计。

• 对比MyISAM的存储引擎，InnoDB写的处理效率差一些，并且会占用更多的磁盘空间以保存数据和索引。

• InnoDB不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响；MyISAM只缓存索引，不缓存真实数据。

2.3 MyISAM：主要的非事务处理存储引擎

• MyISAM提供了大量的特性，包括全文索引、压缩、空间函数(GIS)等，但MyISAM 不支持事务、行级 锁、外键 ，有一个毫无疑问的缺陷就是 崩溃后无法安全恢复 。

• 5.5之前默认的存储引擎

• 优势是访问的 速度快 ，对事务完整性没有要求或者以SELECT、INSERT为主的应用

• 针对数据统计有额外的常数存储。故而 count(*) 的查询效率很高

• 数据文件结构：

  • 表名：.frm ，存储表结构

  • 表名：.MYD ，存储数据 (MYData)

  • 表名：.MYI ，存储索引 (MYIndex)

• 应用场景：只读应用或者以读为主的业务

2.3 Archive：用于数据存档

• archive是归档的意思，仅仅支持插入和查询两种功能(行被插入后不能再修改）。
• 在MySQL 5.5以后支持索引功能。
• 拥有很好的压缩机制，使用zlib压缩库，在记录请求的时候实时的进行压缩，经常被用来作为仓库使用。
• 数据文件的扩展名为.ARZ。
• 同样数据量下，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小大约83%。
• ARCHIVE存储引擎采用了行级锁。该ARCHIVE引擎支持 AUTO_INCREMENT列属性。AUTO_INCREMENT列可以具有唯一索引或非唯一索引。尝试在任何其他列上创建索引会导致错误。
• Archive表适合日志和数据采集（档案）类应用；适合存储大量的独立的作为历史记录的数据。拥有很高的插入速度，但是对查询的支持较差。

下表展示了ARCHIVE存储引擎功能

2.4 Blackhole 引擎：丢弃写操作，读操作会返回空内容

• Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。

• 但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单地记录到日志。但这种应用方式会碰到很多问题，因此并不推荐。

2.5 CSV 引擎：存储数据时，以逗号分隔各个数据项

• CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引。
• CSV引擎可以作为一种数据交换的机制，非常有用。
• CSV存储的数据直接可以在操作系统里，用文本编辑器，或者excel读取。
• 对于数据的快速导入、导出是有明显优势的。
• 数据文件扩展名为.CSV，元数据文件扩展名为.CSM

2.6 Memory：置于内存的表

Memory采用的逻辑介质是内存，响应速度很快，但是当mysqld守护进程结束的时候，数据会丢失。另外，要求存储的数据是数据长度不变的格式，比如，Blob和Text类型的数据不可用(长度不固定的)。

• Memory同时支持哈希（HASH）索引和B+树索引 。

• Memory表至少比MyISAM表要快一个数量级 。

• MEMORY表的大小是受到限制的。表的大小主要取决于两个参数，分别是max_rows和max_heap_table_size。其中，max_rows可以在创建表时指定；max_heap_table_size的大小默认为16MB，可以按需要进行扩大。

• 数据文件与索引文件分开存储。

• 缺点：其数据易丢失，生命周期短。基于这个缺陷，选择MEMORY存储引擎时需要特别小心。

使用Memory存储引擎的场景：

1. 目标数据比较小，而且非常频繁的进行访问，在内存中存放数据，如果太大的数据会造成内存溢出。可以通过参数max_heap_table_size控制Memory表的大小，限制Memory表的最大的大小。

2. 如果数据是临时的，而且必须立即可用得到，那么就可以放在内存中。

3. 存储在Memory表中的数据如果突然间丢失的话也没有太大的关系。

2.7 Federated：访问远程表

Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的 。

2.8 Merge：管理多个MyISAM表构成的表集合

2.9 NDB：集群专用存储引擎

也叫做NDB Cluster存储引擎，主要用于MySQL Cluster分布式集群环境，类似 Oracle的RAC集群。

2.10 引擎对比

其实我们最常用的就是InnoDB和MyISAM，有时会提一下Memory。其中InnoDB是MySQL默认的存储引擎。

2.11 课外补充：详解InnoDB

2.11.1 InnoDB表的优势

• InnoDB存储引擎在实际应用中拥有诸多优势，比如操作便利、提高了数据库的性能、维护成本低等。

• InnoDB崩溃恢复功能自动将之前提交的内容定型，然后撤销没有提交的进程，重启之后继续从崩溃点开始执行。

• InnoDB存储引擎在主内存中维护缓冲池，高频率使用的数据将在内存中直接被处理。这种缓存方式应用于多种信息，加速了处理进程。

• InnoDB的性能优势不只存在于长时运行查询的大型表。在同一列多次被查询时，自适应哈希索引会提高查询的速度。

• 使用InnoDB可以压缩表和相关的索引，可以在不影响性能和可用性的情况下创建或删除索引。对于大型文本和BLOB数据，使用动态行形式，这种存储布局更高效。

• 在同一个语句中，InnoDB表可以与其他存储引擎表混用。

• 即使有些操作系统限制文件大小为2GB，InnoDB仍然可以处理。当处理大数据量时，InnoDB兼顾CPU，以达到最大性能。

2.11.2 InnoDB与ACID模型

ACID模型是一系列数据库设计规则，这些规则着重强调可靠性，而可靠性对于商业数据和任务关键型应用非常重要。

下面讲解InnoDB存储引擎与ACID模型相同作用的四个方面：

1. 原子性：ACID的原子方面主要涉及InnoDB事务，与MySQL相关的特性主要包括：

• 自动提交设置。

• COMMIT语句。

• ROLLBACK语句。

操作INFORMATION_SCHEMA库中的表数据。

2. 一致性：ACID模型的一致性主要涉及保护数据不崩溃的内部InnoDB处理过程，与MySQL相关的特性

• 主要包括：

• InnoDB双写缓存。

• InnoDB崩溃恢复。

3. 隔离性：隔离是应用于事务的级别，与MySQL相关的特性主要包括：

• 自动提交设置。

• SET ISOLATION LEVEL语句。

• InnoDB锁的低级别信息。

4. 持久性：ACID模型的耐久性主要涉及与硬件配置相互影响的MySQL软件特性。由于硬件复杂多样化，耐久性方面没有具体的规则可循。

2.11.3 InnoDB架构

1. 缓冲池：缓冲池是主内存中的一部分空间，用来缓存已使用的表和索引数据。缓冲池使得经常被使用的数据能够直接在内存中获得，从而提高速度。

2. 更改缓存：更改缓存是一个特殊的数据结构，当受影响的索引页不在缓存中时，更改缓存会缓存辅助索引页的更改。索引页被其他读取操作时会加载到缓存池，缓存的更改内容就会被合并。不同于集群索引，辅助索引并非独一无二的。当系统大部分闲置时，清除操作会定期运行，将更新的索引页刷入磁盘。更新缓存合并期间，可能会大大降低查询的性能。在内存中，更新缓存占用一部分InnoDB缓冲池。在磁盘中，更新缓存是系统表空间的一部分。

3. 自适应哈希索引：自适应哈希索引将负载和足够的内存结合起来，使得InnoDB像内存数据库一样运行，不需要降低事务上的性能或可靠性。

4. 重做日志缓存：重做日志缓存存放要放入重做日志的数据。重做日志缓存会定期地将日志文件刷入磁盘。大型的重做日志缓存使得大型事务能够正常运行而不需要写入磁盘。

5. 系统表空间：系统表空间包括InnoDB数据字典、双写缓存、更新缓存和撤销日志，同时也包括表和索引数据。多表共享，系统表空间被视为共享表空间。

6. 双写缓存：双写缓存位于系统表空间中，用于写入从缓存池刷新的数据页。只有在刷新并写入双写缓存后，InnoDB才会将数据页写入合适的位置。

7. 撤销日志：撤销日志是一系列与事务相关的撤销记录的集合，包含如何撤销事务最近的更改。如果其他事务要查询原始数据，可以从撤销日志记录中追溯未更改的数据。撤销日志存在于撤销日志片段中，这些片段包含于回滚片段中。

8. 每个表一个文件的表空间：每个表一个文件的表空间是指每个单独的表空间创建在自身的数据文件中，而不是系统表空间中。每个表空间由一个单独的.ibd数据文件代表，该文件默认被创建在数据库目录中。

9. 通用表空间：使用CREATE TABLESPACE语法创建共享的InnoDB表空间。通用表空间可以创建在MySQL数据目录之外能够管理多个表并支持所有行格式的表。

10. 撤销表空间：撤销表空间由一个或多个包含撤销日志的文件组成。

11. 临时表空间：用户创建的临时表空间和基于磁盘的内部临时表都创建于临时表空间。

12. 重做日志：重做日志是基于磁盘的数据结构，在崩溃恢复期间使用，用来纠正数据。正常操作期间，重做日志会将请求数据进行编码，这些请求会改变InnoDB表数据。遇到意外崩溃后，未完成的更改会自动在初始化期间重新进行。