7、生产经验: 如何对生产环境中的数据库进行360度无死角压测?
00 分钟
2022-8-26

7、生产经验: 如何对生产环境中的数据库进行360度无死角压测?

1、一款非常好用的数据库压测工具

上一篇文章给大家讲解了我们在压测的过程中要关注哪些东西,这一篇文章就和大家一步一步的利用一个工具进行数据库压测。
先给大家介绍一个非常好用的数据库压测工具,就是sysbench,这个工具可以自动帮你在数据库里构造出来大量的数据,你想要多少数据,他就自动给你构造出来多少条数据。
然后这个工具接着可以模拟几千个线程并发的访问你的数据库,模拟使用各种各样的SQL语句来访问你的数据库,包括模拟出来各种事物提交到你的数据库里去,甚至可以模拟出几十万的TPS去压测你的数据库。
所以一般来说,如果你要进行数据库压测,就是直接使用sysbench工具就可以了,这一篇文章我和大家一起学习一下这个压测工具的使用,大家学习完这一篇,完全可以自己本地装一个MySQL数据库,然后自己压测一下试一试。

2、在linux上安装sysbench工具

首先你需要有一台linux机器,如果你只有一个windows笔记本电脑,可以在里面装一个linux虚拟机,然后你可以用如下的命令设置一下yum repo仓库,接着基于yum来安装sysbench就可以了,安装完成以后验证一下是否成功。 ` curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
sudo yum -y install sysbench
sysbench –version `
如果上面可以看到sysbench的版本号,就说明安装成功了􏰖

4、数据库压测的测试用例

接着我们需要在自己的数据库里创建一个测试库,我们可以取个名字叫做test_db,同时创建好对应的测试账号,可以叫做test_user,密码也是test_user,然干这个用户有权限可以访问test_db。
然后我们将要基于sysbench构建20个测试表,每个表里有100万条数据,接着使用10个并发线程去对这个数据库发起访问,连续访问5分钟,也就是300秒,然后对其进行压力测试。

5、基于sysbench构造测试表和测试数据

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare 上面我们构造了一个sysbench命令,给他加入了很多的参数,现在我们来解释一下这些参数,相信很多参数大家自己看到也就大致明白上面意思了:
  • -db-driver=mysql:基于MySQL的驱动去连接MySQL数据库,你要是oracle或者SQLserver,那自然就是其他的数据库的驱动了 -time=300:连续访问300秒 -threads=10:用10个线程模拟并发访问 -report-interval=1:每隔1秒输出一下压测情况 -mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user:连接到哪台节气的哪个端口上的MySQL库,他的用户名和密码是什么 -mysql-db=test_db --tables=20 --table_size=1000000:在test_db这个库里,构造20个测试表,每个测试表里构造100万条测试数据,测试表的名字会是类似于sbtest1、sbtest2这个样子的 oltp_read_write:这个就是说,执行oltp数据库的读写测试 -db-ps-mode=disable:禁止ps模式
最后有一个prepare,意思是参照这个命令的设置去构造出来我们需要的数据库里的数据,他会自动创建20个测试表,每个表里创建100万条测试数据,所以这个工具是非常方便的。

6、对数据库进行360度的全方位测试

测试数据库的综合读写TPS,使用的是oltp_read_write模式(大家看命令中最后不是prepare,是run了,就是运行压测):
notion image
测试数据库的只读性能,使用的是oltp_read_only模式(大家看命令中的oltp_read_write已经变为oltp_read_only了) sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_read_only --db-ps-mode=disable run
测试数据库的删除性能,使用的是oltp_delete模式: sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_delete --db-ps-mode=disable run
测试数据库的更新索引字段的性能,使用的是oltp_update_index模式: sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_update_index --db-ps-mode=disable run
测试数据库的更新非索引字段的性能,使用的是oltp_update_non_index模式: sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_update_non_index --db-ps-mode=disable run
测试数据库的插入性能,使用的是oltp_insert模式: sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_insert --db-ps-mode=disable run
测试数据库的写入性能,使用的是oltp_write_only模式: sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_write_only --db-ps-mode=disable run
使用上面的命令,sysbench工具会根据你的指令构造出各种各样的SQL语句去更新或者查询你的20张测试表里的数据,同时检测出你的数据库的压测性能指标,最后完成压测之后,可以执行下面的cleanup命令,清理数据。 sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table-size=1000000 oltp_write_only --db-ps-mode=disable cleanup

7、压测结果分析

按照我们上面的命令,我们是让他每隔1秒都会输出一次压测报告的,此时他每隔一秒会输出类似下面的一段东西: [ 22s ] thds: 10 tps: 380.99 qps: 7312.66 (r/w/o: 5132.99/1155.86/1321.35) lat (ms, 95%): 21.33 err/s: 0.00 reconn/s: 0.00
我来给大家解释一下这是什么意思,首先他说的这是第22s输出的一段压测统计报告,然后是其他的一些统计字段: thds:10,这个意思就是有10个线程在压测 tps:380.99,这个意思就是每秒执行了380.99个事物 qps:7312.66,这个意思就是每秒可以执行7312.66个请求 (r/w/o: 5132.99/1155.86/1321.35):这个意思是说,在每秒7312.66个请求中,有5132.99个读请求,1155.86个写请求,1321.35个其他请求,就是对QPS进行了拆解 lat (ms, 95%): 21.33:这个意思是说,95%的请求的延迟都在21.33毫秒以下 err/s: 0.00 reconn/s: 0.00:这两个的意思是说,每秒有0个请求是失败的,发生了0次网络重连
这个压测结果会根据每个人的机器的性能不同有很大的差距,你要是机器性能特别高,那你可以开很多的并发线程去压测,比如100个线程,此时可能会发现数据库每秒的TPS有上千个,如果你的机器性能很低,可能压测出来你的TPS才二三十个,QPS才几百个,这都是有可能的。
另外在完成压测之后,最后会显示一个总的压测报告,我把解释写在下面了: ``` SQL statistics: queries performed: read:1480084 // 指在300s的压测期间执行了148万多次的读请求 write:298457 // 指在压测期间执行了29万多次的写请求 other:325436 // 只在压测期间执行了30万多次的其他请求 total: 2103977 // 这是说􏰈共执行了210万多次的请求

评论