MySQL的底层原理和技术学习

很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。很多时候，出去面试时，被面试官吊打的现象成了家常便饭。

不仅仅是面试，如果你想从一名底层程序员上升为高级工程师、架构师等，MySQL的底层原理和技术是你必须要掌握的。

今天一起来学习MySQL的体系架构。

MySQL体系架构

我们先来看看MySQL的体系架构图，如下所示。

注：图片来自互联网

从MySQL的架构图，我们可以看出MySQL的架构自顶向下大致可以分为网络连接层、数据库服务层、存储引擎层和系统文件层四大部分。接下来，我们就来简单说说每个部分的组成信息。

网络连接层

网络连接层位于整个MySQL体系架构的最上层，主要担任客户端连接器的角色。提供与MySQL服务器建立连接的能力，几乎支持所有主流的服务端语言，例如：Java、C、C++、Python等，各语言都是通过各自的API接口与MySQL建立连接。

数据库服务层

数据库服务层是整个数据库服务器的核心，主要包括了系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存等部分。

连接池

主要负责存储和管理客户端与数据库的连接信息，连接池里的一个线程负责管理一个客户端到数据库的连接信息。

系统管理和控制工具

提供数据库系统的管理和控制功能，例如对数据库中的数据进行备份和恢复，保证整个数据库的安全性，提供安全管理，对整个数据库的集群进行协调和管理等。

SQL接口

主要负责接收客户端发送过来的各种SQL命令，并将SQL命令发送到其他部分，并接收其他部分返回的结果数据，将结果数据返回给客户端。

解析树

主要负责对请求的SQL解析成一棵“解析树”，然后根据MySQL中的一些规则对“解析树”做进一步的语法验证，确认其是否合法。

查询优化器

在MySQL中，如果“解析树”通过了解析器的语法检查，此时就会由优化器将其转化为执行计划，然后与存储引擎进行交互，通过存储引擎与底层的数据文件进行交互。

缓存

MySQL的缓存是由一系列的小缓存组成的。例如：MySQL的表缓存，记录缓存，MySQL中的权限缓存，引擎缓存等。MySQL中的缓存能够提高数据的查询性能，如果查询的结果能够命中缓存，则MySQL会直接返回缓存中的结果信息。

存储引擎层

MySQL中的存储引擎层主要负责数据的写入和读取，与底层的文件进行交互。值得一提的是，MySQL中的存储引擎是插件式的，服务器中的查询执行引擎通过相关的接口与存储引擎进行通信，同时，接口屏蔽了不同存储引擎之间的差异。MySQL中，最常用的存储引擎就是InnoDB和MyISAM。

InnoDB和MyISAM存储引擎需要小伙伴们重点掌握，高频面试考点，也是成为架构师必知必会的内容。

系统文件层

系统文件层主要包括MySQL中存储数据的底层文件，与上层的存储引擎进行交互，是文件的物理存储层。其存储的文件主要有：日志文件、数据文件、配置文件、MySQL的pid文件和socket文件等。

日志文件

MySQL中的日志主要包括：错误日志、通用查询日志、二进制日志、慢查询日志等。

错误日志

主要存储的是MySQL运行过程中产生的错误信息。可以使用下面的SQL语句来查看MySQL中的错误日志。

showvariableslike'%log_error%';

通用查询日志

主要记录MySQL运行过程中的一般查询信息，可以使用下面的SQL语句来查看MySQL中的通用查询日志文件。

showvariableslike'%general%';

二进制日志

主要记录对MySQL数据库执行的插入、修改和删除操作，并且也会记录SQL语句执行的时间、执行的时长，但是二进制日志不记录select、show等不修改数据库的SQL。主要用于恢复数据库的数据和实现MySQL主从复制。

查看二进制日志是否开启。

showvariableslike'%log_bin%';

查看二进制日志的参数。

showvariableslike'%binlog%'

查看日志文件。

showbinarylogs;

慢查询日志

慢查询主要记录的是执行时间超过指定时间的SQL语句，这个时间默认是10秒。

查看是否开启慢查询日志。

showvariableslike'%slow_query%';

查看慢查询设置的时长。

showvariableslike'%long_query_time%'

数据文件

数据文件中主要包括了：db.opt文件、frm文件、MYD文件、MYI文件、ibd文件、ibdata文件、ibdata1文件、ib_logfile0和ib_logfile1文件等。

db.opt文件

主要记录当前数据库使用的字符集和检验规则等信息。

frm文件

存储数据表的结构信息，主要是数据表相关的元数据信息，包括数据表的表结构定义信息，每张表都会有一个frm文件。

值得注意的是：MySQL8版本中的innodb存储引擎的表没有frm文件。（后面专门写一些MySQL8新特性的文章，从使用到底层原理与MySQL5到底有何不同）。

MYD文件

MyISAM存储引擎专用的文件格式，主要存放MyISAM存储引擎数据表中的数据，每张MyISAM存储引擎表对应一个.MYD文件。

MYI文件

MyISAM存储引擎专用的文件格式，主要存放与MyISAM存储引擎数据表相关的索引信息，每张MyISAM存储引擎表对应一个.MYI文件。

ibd文件

存放Innodb存储引擎的数据文件和索引文件，主要存放的是独享表空间的数据和索引，每张表对应一个.ibd文件。

ibdata文件

存放Innodb存储引擎的数据文件和索引文件，主要存放的是共享表空间的数据和索引，所有表共用一个（或者多个）.ibdata文件，可以根据配置来指定共用的.ibdata文件个数。

ibdata1文件

MySQL的系统表空间数据文件，主要存储MySQL的数据表元数据、Undo日志等信息。

ib_logfile0和ib_logfile1文件

MySQL数据库中的Redo log文件，主要用于MySQL实现事务的持久性。如果在某个时间点MySQL发生了故障，此时如果有脏页没有写入到数据库的ibd文件中，在重启MySQL的时候，MySQL会根据Redo Log信息进行重做，将写入Redo Log并且尚未写入数据表的数据进行持久化操作。

配置文件

用于存放MySQL所有的配置信息，在Unix/Linux环境中是my.cnf文件，在Windows环境中是my.ini文件。

pid文件

pid文件是存放MySQL进程运行时的进程号的文件，主要存在于Unix/Linux环境中，具体的存储目录可以在my.cnf或者my.ini文件中进行配置。

socket文件

socket文件和pid文件一样，都是MySQL在Unix/Linux环境中运行才会有的文件。在Unix/Linux环境中，客户端可以直接通过socket来连接MySQL。

原文标题：一文搞懂MySQL体系架构！

文章出处：【微信公众号：Linux爱好者】欢迎添加关注！文章转载请注明出处。

责任编辑:haq