MySQL 开源工具集合


目前已收集的并在实际环境中使用过的开源工具如下:

MySQL 开源工具,MySQL 开源工具集合,在线DDL变更,备份恢复工具,客户端图形化管理工具


可以说掌握了这些工具(原理和使用技巧),MySQL的日常运维就更简单。

备注:介绍中图片部分是开源社区的,部分是自己按照思路画的,画图有助于理解。

在线DDL变更

pt-osc&gh-ost都是在线变更ddl的工具。

  • pt-osc在于触发器原理
  • gh-ost不依赖于触发器,通过模拟从库,在binlog中获取增量变更,再异步应用到ghost表
    备注:最终都会有RENAME表名的动作。

备份恢复工具

  • xtrabackup 二进制在线热备份工具,支持增量备份。目前物理备份中唯一的选择。全量方面,其实mysql8.0 clone也算是不错的选择。(高版本innobackupex已废弃)
  • mydumper是多线逻辑备份工具,一些自研产品常用的工具,myloader是sql语句导入工具 ,同一个软件包,跟mydumper结合使用。

压测工具

  • TPCC测试模拟了一个比较复杂的 OLTP应用环境,是一个在线零售公司。此公司对10万种商品进行销售,业务模型:批发零售系统,订单处理下的数据库的表现。
  • sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。单语句INSERT,SELECT,UPDATE下的数据库的表现。

区别在于TPCC测试的业务流程,sysbench测试的单语句执行性能。按照自需选择测试工具。

闪回工具

有时会误删或者误更新数据,binlog格式必须为row,且binlog_row_image=full,并且保留下来的情况下。可以分析binlog回转SQL语句进行恢复。就是delete→insert ,insert→delete,update→update方式按照时间顺序倒序回放。常用的工具有binlog2sql和MyFlash。

大众点评 binlog2sql:

  • 数据库服务必须在线状态
  • 开发语言Python 2.7, 3.4+
  • 仅支持 MySQL 5.6, 5.7
    https://github.com/danfengcao/binlog2sql

美团点评 MyFlash:

  • 仅支持MySQL 5.6与5.7
  • 只能回滚DML(增、删、改)
  • 开发语言c,mysqlbinlog工具配合sed、awk
  • 离线解析
    https://github.com/Meituan-Dianping/MyFlash

MyFlash做的性能对比:

MySQL 开源工具,MySQL 开源工具集合,在线DDL变更,备份恢复工具,客户端图形化管理工具
  • binlog2sql是要分析数据库运行中的一些状态 和 BINLOG_DUMP协议获取binlog内容
  • mysqlbinlog是因为要把binlog解析的不是标准的SQL语句
  • MyFlash是直接生成标准sql语句,效率上更高

慢日志分析

pt-query-digest是 Percona-Toolkit 的组件之一,非常不错的日志分析工具,优于mysqldumpslow,可以从普通日志、慢查询日志、二进制日志以及show processlist和tcpdump中对SQL进行分析。

主从一致性验证

pt-table-checksum 是 Percona-Toolkit 的组件之一,用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum,把相同的sql语句传递到从库执行,并在从库上计算相同数据块的checksum,最后,比较主从库上相同数据块的checksum值,由此判断主从数据是否一致。recursion-method 方式选择host方式。

其他

  • undrop-for-innodb分析ibd文件进行数据恢复工作。当误删除数据、无备份,且确保本地ibd文件没有写入,数据能恢复。但中文解析可能失败需注意。
  • innodb_rub
    innodb_ruby 主要可查看innodb数据库数据表的各种存储,解析innodb的文件,用于学习数据库底层的一些存储。

备注:这里可以结合官方innnchecksum,分析MySQL8.0的ibd文件结构,便于做个类似的工具

SQL审核web工具

基于Python 及 Django,利于二次开发改造,有开发能力,可以参考。主要是依赖于pt-toolkit进行整合开发的。

  • Yearning
    自动化SQL语句审核,可对SQL进行自动检测并执行。DDL/DML语句执行后自动生成回滚语句。前身是Inception。
    https://github.com/cookieY/Yearning
  • Archery
    集成SQL查询、审核、执行、备份、慢日志管理等功能。
    https://github.com/hhyo/Archery

客户端图形化管理工具

主要解决数据库管理员、程序开发者提供可视化的SQL开发、数据操作、以及数据库管理功能,易学易用。特别是数据导入导出功能和二进制数据转化图片方面,比较方便。但对于DBA来说是一个潜在的风险,长时间使用这些工具,命令行易忘记。
从上到下推荐:

  • Navicat
  • SQLyog
  • HeidiSQL:采用 Delphi 开发,支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 SQL Server
  • MySQL Workbench 官方管理重量级工具
  • PhpMyAdmin 安装部署比较麻烦,早起使用的多

总结

对于MySQL5.7版本这些工具目前支持的都非常友好,但8.0版本目前很多工具不兼容。

工具就是替代一部分功能,提高效率的。MySQL运维中提高工作效率,就需要引入这些工具,也需要使用得当,理解并熟悉用法,才是运维之道。