sysbench工具测试达梦数据库
sysbench工具测试达梦数据库
1、简单介绍
s
ysbench是一个开源，模块化的多线程性能测试工具，可以用来进行硬件环境性能测试，也可进行数据库的性能测试。但是由于需要支持DM测试，所以我们一般使用源码进行编译。
2、运行方法
sysbench通过运行lua脚本进行数据库测试。
而
每次测试都分为prepare
、
run
、
cleanup
这三
个步骤，分别对应数据准备，运行测试，数据清理。每一次测试都是一个闭环，必须严格按照这三步来进行
操作
，
不然会报错
。
使用
s
ysbench源码进行编译测试时
，
由于lua脚本
存在
依赖关系
，
防止出现找不到调用lua脚本的错误
。
需要
将src目录下生成的可执行文件sysbench拷贝至
/lua/目录下运行
。
3、 测试场景
s
ysbench自带
的
oltp测试脚本，模拟了单个表的查询、更新、删除、插入操作，
并
以主键为过滤条件。表名以sbtest为前缀，后面加上数字
来
区分。
自带的
测试表结构不复杂，事务简单，过滤条件是主键查询。一般常见的测试时单表数据量以十万数量级。所以sysbench的性能测试主要压力在CPU上。
虽然自带的
测试表结构不复杂
。
但是不建议随意修改测试场景中的列类型。
4、编译安装
4.1、检查系统环境
操作系统中需要安装
gcc、automake、libtool
等
基本的编译工具
来
需要先解决环境问题
，
不然在
生成
配置
文件
（
autogen.sh
）
的时候会报错，
4.2、生成
配置
文件
在解压程序包后，例如目录为/opt/sysbench-master，在该目录中执行./autogen.sh脚本来生成对应的 configure
配置文件。如
此步骤出错，说明该系统缺少基本的编译工具
，
解决
检查并解决
环境问题
。
| cd /opt/sysbench-master ./autogen.sh |
4.3、设置环境变量
如果安装
了DM数据库，安装路径
在/
home/dmdba
/dmdbms目录，那么
就会
自动增加一个环境变量DM_HOME=/
home/dmdba
/dmdbms
，
如果该机器没有安装
DM数据库
，那么需要
在/etc/profile配置文件
设置环境变量DM_HOME
。
| export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/home/dmdba/dmdbms/bin" export DM_HOME="/home/dmdba/dmdbms" PATH=$PATH:$HOME/.local/bin:$HOME/bin:$DM_HOME/bin export PATH |
4.4、
执行
配置
文件
默认是
以
编译
的方式
支持测试
MySQL
和
DM数据库
。
在编译的过程中
需要
MySQL
的动态库和头文件，此时会进行检查。如果仅测试
DM数据库
，命令如下：
| cd /opt/sysbench-master ./configure –without-mysql –with-dm |
4.5、
编译
并且安装
在
编译成功后，在src目录下生成可执行文件sysbench
，
测试方便将sysbench拷贝到src/lua目录下，然后进入src/lua目录运行sysbench
。
| cd /opt/sysbench-master make |
5、
测试
说明
：
s
ysbench的数据库测试脚本在src/lua目录下，
都是
以oltp为前缀。
其中
oltp_common.lua脚本是最基础的测试脚本，定义了表结构，事务的基本操作。
剩余
oltp脚本都是引用oltp_common
脚本
，将其中query进行组合，实现各种测试场景。最常使用的3个脚本如下：
| 脚本名称 | 说明 |
| oltp_read_write.lua | 读写混合性能测试，包含查询，更新，删除，插入操作。 |
| oltp_read_only.lua | 读性能测试，包含查询操作。 |
| oltp_write_only.lua | 包含更新，删除，插入操作。 |
5.1、数据准备：
| ./sysbench oltp_read_write.lua –tables=25 –table-size=250000 –db-driver=dm –dm-db=localhost:5236 –dm-user=SYSDBA –dm-password=SYSDBA –auto-inc=1 –threads=64 –time=180 –report-interval=10 prepare |
5.2、运行测试
| ./sysbench oltp_read_write.lua –tables=25 –table-size=250000 –db-driver=dm –dm-db=localhost:5236 –dm-user=SYSDBA –dm-password=SYSDBA –auto-inc=1 –threads=64 –time=180 –report-interval=10 run |
5.3、清理数据
| ./sysbench oltp_read_write.lua –tables=25 –table-size=250000 –db-driver=dm –dm-db=localhost:5236 –dm-user=SYSDBA –dm-password=SYSDBA –auto-inc=1 –threads=64 –time=180 –report-interval=10 cleanup |
5.4、参数说明：
| 参数 | 说明 |
| –db-driver=dm | 表示使用dm驱动 |
| –dm-db=localhost:5236 | 表示dm的连接信息 |
| –dm-user=SYSDBA | 表示dm的登录用户名 |
| –dm-password=SYSDBA | 表示dm的登录密码 |
| –table-size=250000 | 表示每个测试表填充数据量为 250000 |
| –tables=25 | 表示25张表 |
| –threads=64 | 表示发起64个并发连接 |
| –report-interval=10 | 表示每10秒输出一次测试进度报告 |
| –time=180 | 表示最大执行时长为180秒 |
6、测试验证
测试的内容主要
分为
三
类，分别是
read_only
（select操作）、
write_only
（update、delete和insert操作）、
read_write
（select
、
update、delete和insert操作）。
下面针对这三种情况分别测试验证：
6.1、纯读测试：
准备数据
| ./sysbench –db-driver=dm –dm-db=192.168.10.30:5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25 –events=0 –time=600 oltp_read_only prepare |
运行测试
| ./sysbench –db-driver=dm –dm-db=192.168.10.30:5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 –range-selects=0 –skip-trx=1 –report-interval=1 oltp_read_only run |
数据清理：
| ./sysbench –db-driver=dm –dm-db=192.168.10.30:5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 –range-selects=0 oltp_read_only cleanup |
6.2、纯写测试：
准备数据
| ./sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25–events=0 –time=600 oltp_write_only prepare |
运行
测试
| ./sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 –report-interval=1 oltp_write_only run |
数据
清理
| ./sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=25000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 oltp_write_only cleanup |
6.3、读写测试：
准备数据
| . /sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=250000 –tables=25 –events=0 –time=600 oltp_read_write prepare |
运行
测试
| . /sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=250000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 –report-interval=1 oltp_read_write run |
数据
清理
| . /sysbench –db-driver=dm –dm-db=192.168.10. 30 :5236 –dm-user=SYSDBA –dm-password=ROOT123456 –table_size=250000 –tables=25 –events=0 –time=600 –threads=32 –percentile=95 oltp_read_write cleanup |
7、测试结果
在s
ysbench测试数据库性能
的
测试结果中，
一般关注的参数有
平均响应时间
、
TPS和QPS，
其中
TPS
表示
每秒的事务数
，
QPS
表示
每秒的查询数。
(1)、
response time avg：平均响应时间（后面的95%的大小通过–percentile=98的方式更改）。
(2)、
transactions：精确的说是这一项后面的TPS，但如果使用了–skip-trx=on，这项事务数为0，需要用total number of events去除以总时间，得到tps（其实还可以分为读tps和写tps）。
7.3、
queries：用它除以总时间，得到吞吐量QPS。
8、
问题
解决
1、错误信息为：ALERT: Error - DM_-70089_Encryption module failed to load
sysbench测试DM数据库时，没有找到所依赖的dm动态库。可以在运行sysbench的终端，设置LD_LIBRARY_PATH，添加dm的bin目录，或将dm的bin目录下的动态库拷贝到系统库目录。
运行sysbench测试DM数据库时，缺少动态库导致运行失败，在src/lib64里面包含centos7下运行sysbench可能需要的动态库，因此设置环境变量LD_LIBRARY_PATH可以解决这个问题。
2、错误信息：DM_-606_Stmt handle to the limit the number of statements or system of memory
修改dm.ini配置文件，增加MAX_SESSION_STATEMENT=1000。该值表示一个session上的句柄限制。由于sysbench测试的时候是先进行stmt prepare操作，然后进行执行。
3、错误信息：DM_-7120_Undo record version too old
配置文件dm.ini中UNDO_RETENTION配置的太小导致。增加UNDO_RETENTION。一般情况下，为了提高性能，在进行优化配置时，会将UNDO_RETENTION配置的尽可能小。但是在实际性能慢的情况下，这种配置可能导致sql执行失败，此时测试无法继续。所以测试能够正常进行，需要增加UNDO_RETENTION。