MySQL数据库压测

2022/2/7 19:21:24

本文主要是介绍MySQL数据库压测,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

作为开发人员,对数据库进行基准测试,以掌握数据库的性能情况是非常必要的。本文介绍了MySQL基准测试的基本概念,以及使用 sysbench 对MySQL进行基准测试的详细方法。

数据库基准测试

什么是基准测试

数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。

基准测试与压力测试

  • 基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑,更加简单、直接、易于测试,数据可以由工具生成,不要求真实;
  • 而压力测试一般考虑业务逻辑(如购物车业务),要求真实的数据。

基准测试的作用

对于多数Web应用,整个系统的瓶颈在于数据库;原因很简单:Web应用中的其他因素,例如网络带宽、负载均衡节点、应用服务器(包括CPU、内存、硬盘灯、连接数等)、缓存,都很容易通过水平的扩展(俗称加机器)来实现性能的提高。而对于MySQL,由于数据一致性的要求,无法通过增加机器来分散向数据库写数据带来的压力;虽然可以通过前置缓存(Redis等)、读写分离、分库分表来减轻压力,但是与系统其它组件的水平扩展相比,受到了太多的限制。

而对数据库的基准测试的作用,就是分析在当前的配置下(包括硬件配置、OS、数据库设置等),数据库的性能表现,从而找出MySQL的性能阈值,并根据实际系统的要求调整配置。

基准测试的指标

常见的数据库指标包括:

  • TPS/QPS:衡量吞吐量。

  • 响应时间:包括平均响应时间、最小响应时间、最大响应时间、时间百分比等,其中时间百分比参考意义较大,如前95%的请求的最大响应时间。。

  • 并发量:同时处理的查询请求的数量。

基准测试的分类

对MySQL的基准测试,有如下两种思路:

(1)针对整个系统的基准测试:通过http请求进行测试,如通过浏览器、APP或postman等测试工具。该方案的优点是能够更好的针对整个系统,测试结果更加准确;缺点是设计复杂实现困难。

(2)只针对MySQL的基准测试:优点和缺点与针对整个系统的测试恰好相反。

在针对MySQL进行基准测试时,一般使用专门的工具进行,例如mysqlslap、sysbench等。其中,sysbench比mysqlslap更通用、更强大,且更适合Innodb(因为模拟了许多Innodb的IO特性),下面介绍使用sysbench进行基准测试的方法。

使用mtr进行网络时延测试

mtr简介

mtr是Linux中有一个非常棒的网络连通性判断工具,它结合了ping, traceroute,nslookup 的相关特性。

mtr结果说明

第一列:显示的是IP地址和本机域名,这点和traceroute很像
第二列:snt:10 设置每秒发送数据包的数量,默认值是10 可以通过参数 -c来指定。其中-c的说明是:–report-cycles COUNT
第三列:是显示的每个对应IP的丢包率
第四列:显示的最近一次的返回时延
第五列:是平均值 这个应该是发送ping包的平均时延
第六列:是最好或者说时延最短的
第七列:是最差或者说时延最常的
第八列:是标准偏差

mtr测试网络时延

旧库网络延时

$ mtr -s 100 --report -n 11.171.68.253
Start: Wed Dec 29 17:51:31 2021
HOST: ack-troopers033011196118.pr Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 11.57.244.37               0.0%    10    4.4   5.0   4.3   8.1   0.9
  2.|-- 11.57.244.37               0.0%    10    4.1   4.6   4.1   5.4   0.0
  3.|-- 11.129.109.46              0.0%    10    2.8   4.3   2.7  10.1   2.4
  4.|-- 11.171.68.253              0.0%    10    2.2   2.2   2.2   2.3   0.0
 
# 辅助 ping 测试
$ ping -s 100 -c 5 11.171.68.253
PING 11.171.68.253 (11.171.68.253) 100(128) bytes of data.
108 bytes from 11.171.68.253: icmp_seq=1 ttl=99 time=2.21 ms
108 bytes from 11.171.68.253: icmp_seq=2 ttl=99 time=2.24 ms
108 bytes from 11.171.68.253: icmp_seq=3 ttl=99 time=2.22 ms
108 bytes from 11.171.68.253: icmp_seq=4 ttl=99 time=2.23 ms
108 bytes from 11.171.68.253: icmp_seq=5 ttl=99 time=2.21 ms

--- 11.171.68.253 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4003ms
rtt min/avg/max/mdev = 2.216/2.226/2.240/0.052 ms

新库网络延时

$ mtr -s 100 --report -n 11.20.31.251
Start: Wed Dec 29 17:49:44 2021
HOST: ack-troopers033011196118.pr Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 11.20.31.251               0.0%    10    1.0   1.0   1.0   1.0   0.0

# ping 测试
$ ping -s 100 -c 5 11.20.31.251
PING 11.20.31.251 (11.20.31.251) 100(128) bytes of data.
108 bytes from 11.20.31.251: icmp_seq=1 ttl=102 time=0.984 ms
108 bytes from 11.20.31.251: icmp_seq=2 ttl=102 time=0.988 ms
108 bytes from 11.20.31.251: icmp_seq=3 ttl=102 time=1.00 ms
108 bytes from 11.20.31.251: icmp_seq=4 ttl=102 time=0.995 ms
108 bytes from 11.20.31.251: icmp_seq=5 ttl=102 time=0.997 ms

--- 11.20.31.251 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4003ms
rtt min/avg/max/mdev = 0.984/0.993/1.003/0.028 ms

结果分析

  • 单从网络时延来看,应用连接上海OXS区的时延比应用连接旧库的时延小。

使用sysbench进行基准测试

sysbench简介

sysbench是跨平台的基准测试工具,支持多线程,支持多种数据库;主要包括以下几种测试:

  • cpu性能

  • 磁盘io性能

  • 调度程序性能

  • 内存分配及传输速度

  • POSIX线程性能

  • 数据库性能(OLTP基准测试)

此次主要介绍对数据库性能的测试。

sysbench工具安装

sysbench 在 Linux 系统上采用手动编译的方式进行安装:

# 安装编译用到的工具包
$ yum -y install mariadb-devel automake libtool make

# 获取 sysbench 源码包,解压,并进入sysbench目录
$ wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
$ unzip sysbench-1.0.zip && cd sysbench-1.0

# 编译sysbench
$ ./autogen.sh
$ ./configure
$ make && make install

# 查看是否编译成功,查看 sysbench 版本信息
$ sysbench --version

sysbench压测参数

sysbench的语法,这里就不在介绍了。稍微介绍下 sysbench 的参数,因为解析来我们会用到这些参数。下面以压测mysql为例:

### 数据库连接信息参数
#MySQL服务器主机名,默认localhost;如果在本机上使用localhost报错,提示无法连接MySQL服务器,改成本机的IP地址应该就可以了。
--mysql-host 
#MySQL服务器端口,默认3306
--mysql-port
#用户名
--mysql-user
#密码
--mysql-password

### 执行参数,或者说压测定义参数
#执行模式,包括simple、nontrx和complex,默认是complex。simple模式下只测试简单的查询;nontrx不仅测试查询,还测试插入更新等,但是不使用事务;complex模式下测试最全面,会测试增删改查,而且会使用事务。可以根据自己的需要选择测试模式。
--oltp-test-mode
#测试的表数量,根据实际情况选择
--oltp-tables-count
#测试的表的大小,根据实际情况选择
--oltp-table-size
#客户端的并发连接数
--threads
#测试执行的时间,单位是秒,该值不要太短,可以选择120
--time
#生成报告的时间间隔,单位是秒,如10
--report-interval

sysbench压测用例

用例一:10表并发写,每表写10w条数据,执行时间120s

#准备数据
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=**** \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=100000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#执行测试,并将结果输出至本地文件 mysysbench.log
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=**** \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=100000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理数据
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=**** cleanup

结果分析:上海(p95 latency) = 64.47ms, 杭州(p95 latency) = 244.38ms

img

img

用例二:10表并发写,单表500w条数据,执行120s

#准备数据
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#执行测试
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理数据
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

结果分析:p95 latency = 69.29ms

img

用例三:单表500w条数据,执行120s

#准备数据
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#执行测试
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理数据
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

结果分析:p95 latency = 64.47ms

img

用例四:单表1000w条数据,执行120s

#准备数据
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=10000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#执行测试
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=10000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理数据
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

结果分析:p95 latency = 69.29ms

img

结果分析

  • p95 latency 平均在 60~70ms


这篇关于MySQL数据库压测的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程