服务器性能优化(四):mysql数据库调优

2016-07-12 10:25:10来源:oschina作者:stone_人点击

加快mysql服务器的运行速度的方法,按照效率从低到高的依次为:


1. 替换有问题的硬件


2. 对mysql进程的设置进行调优


3. 对查询进行优化


1) 记录慢查询


在一个 SQL 服务器中,数据表都是保存在磁盘上的。索引为服务器提供了一种在表中查找特定数据行的方法,而不用搜索整个表。当必须要搜索整个表时,就称为表扫描。通常来说,您可能只希望获得表中数据的一个子集,因此全表扫描会浪费大量的磁盘 I/O,因此也就会浪费大量时间。当必须对数据进行连接时,这个问题就更加复杂了,因为必须要对连接两端的多行数据进行比较。


配置mysqld将这些慢查询记录到指定的慢查询日志中,通过查看慢查询日志可以定位到可能有问题的sql语句.启用慢查询日志需在my.cnf文件中添加如下设置.


[mysqld]


; enable the slow query log, default 10 seconds


log-slow-queries=/opt/mysql/logs/mysql-slow.log


; log queries taking longer than 2 seconds


long_query_time = 2


; log queries that don't use indexes even if they take less than long_query_time


; MySQL 4.1 and newer only


log-queries-not-using-indexes



这3个设置一起使用,可以记录执行时间超过2秒和没有使用索引的查询. 慢查询日志会存放在 /opt/mysql/logs/mysql-slow.log.


阅读慢查询日志使用mysqldumpslow的命令进行。指定日志文件的路径,就可以看到一个慢查询排序后的列表,并且显示它们在日志中出现的次数.一个非常有用的特性是mysqldumpslow在比较结果之前,会删除任何用户指定的数据,因此对同一个查询的不同调用被记为一次,这样可以找出工作量最多的查询.


/opt/mysql/bin/mysqldumpslow -s c -t 20 mysql-slow.log//慢查询中访问次数最多的20条sql


/opt/mysql/bin/mysqldumpslow -s r -t 20 mysql-slow.log//返回记录结果集最多的20条sql


-s.是order的排序,分别按照query的次数,时间,lock时间和返回的记录数来排序.


-t ,是top n 的意思,就是返回 前面多少条数据。



显示结果如下:



Count: 1147605 Time=0.01s (7931s) Lock=0.00s (107s) Rows=0.0 (984), wcontact[wcontact]@[172.16.236.115]


select Fuid, Fcompany_id from relation_company where Ftime >= N and Ftime <= N order by Fuid limit N,N


Count: 108878 Time=0.03s (2792s) Lock=0.00s (5s) Rows=1.0 (108878), wcontact[wcontact]@2hosts



SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=N AND Funread=N AND Fdel=N


Count: 23142 Time=0.04s (1012s) Lock=0.00s (1s) Rows=15.7 (363685), wcontact[wcontact]@[172.16.236.115]



select Fcompany_id, count(*) num from relation_company where Ftime > N and Ftime <= N group by Fcompany_id limit N,N


............


对相应的sql语句进行优化:


例如


SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=N AND Funread=N AND Fdel=N


表结构:


CREATE TABLE `msg_index` (


`Fid` int(11) NOT NULL AUTO_INCREMENT COMMENT '短消息编号',


`Fmsg_id` int(11) NOT NULL DEFAULT '0' COMMENT '消息ID',


`Fuid` bigint(20) NOT NULL DEFAULT '0' COMMENT '发送者UID',


`Fobj_uid` bigint(20) NOT NULL DEFAULT '0' COMMENT '接收者UID',


`Ftype` tinyint(3) NOT NULL DEFAULT '0' COMMENT '0发送 1接收',


`Funread` tinyint(3) NOT NULL DEFAULT '0' COMMENT '新短消息',


`Ftime` bigint(20) NOT NULL DEFAULT '0' COMMENT '发送时间',


`Fdel` tinyint(3) NOT NULL DEFAULT '0' COMMENT '删除状态',


PRIMARY KEY (`Fid`),


KEY `ft` (`Fuid`,`Fobj_uid`),


KEY `taf` (`Ftime`,`Ftype`)


) ENGINE=MyISAM AUTO_INCREMENT=163376 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC



通过explain查看索引使用情况


mysql> explain SELECT COUNT(*) FROM msg_index WHERE Fobj_uid=12 AND Funread=1 AND Fdel=0;



+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+



| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra|



+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+



| 1 | SIMPLE | msg_index | ALL | NULL | NULL | NULL| NULL | 3775 | Using where |



+----+-------------+-----------+------+---------------+------+---------+------+------+-------------+



1 row in set (0.00 sec)



可以看到该sql语句未用到索引,导致了全表扫描. 故因将联合索引 `ft`,拆分成2个索引.



alter table msg_index drop index `ft`;


alter table msg_index add index `Fuid`(`Fuid`);


alter table msg_index add index `Fobj_uid`(`Fobj_uid`);



2).对mysqld进程参数进行调优


1.对查询进行缓存


在/opt/mysql/my.cnf添加如下的参数:


###query_cache###


query_cache_size = 64M //启用64M查询缓存


query_cache_type = 1


query_cache_limit = 2M


query_cache_min_res_unit = 4K


启用查询缓存之后,看它是否有效使用:



mysql> show status like 'qcache%';



+-------------------------+----------+



| Variable_name| Value|



+-------------------------+----------+



| Qcache_free_blocks | 7321 |


| Qcache_free_memory | 33249712 |


| Qcache_hits| 17036563 |


| Qcache_inserts | 15195159 |


| Qcache_lowmem_prunes| 3166865 |


| Qcache_not_cached| 370185|


| Qcache_queries_in_cache | 28664|


| Qcache_total_blocks | 64727|



+-------------------------+----------+



8 rows in set (0.00 sec)



上表中一些变量的解释:



Qcache_free_blocks


缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE 会对缓存中的碎片进行整理,从而得到一个空闲块。



Qcache_free_memory


缓存中的空闲内存。



Qcache_hits


每次查询在缓存中命中时就增大。



Qcache_inserts


每次插入一个查询时就增大。命中次数除以插入次数就是不中比率;用 1 减去这个值就是命中率。在上面这个例子中,大约有 87% 的查询都在缓存中命中。



Qcache_lowmem_prunes


缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存很少。(上面的free_blocks 和 free_memory 可以告诉您属于哪种情况)。



Qcache_not_cached


不适合进行缓存的查询的数量,通常是由于这些查询不是 SELECT 语句。



Qcache_queries_in_cache


当前缓存的查询(和响应)的数量。



Qcache_total_blocks


缓存中块的数量。


间隔几秒显示这些变量就可以看出区别,这可以帮助确定缓存是否正在有效地使用。



2.强制限制



可以在mysqld中强制来确保系统负载不会导致系统资源耗尽.


max_connections = 800


wait_timeout = 15


max_connect_errors = 200


max_connections 是设置连接最大数,确保只建立服务器允许数目的连接.确定目前建立的最大连接数,可以执行show status like 'max_used_connections'.



mysql> show status like 'max_used_connections';



+----------------------+-------+



| Variable_name| Value |



+----------------------+-------+



| Max_used_connections | 26|



+----------------------+-------+



1 row in set (0.00 sec)



第 2 行告诉 mysqld 终止所有空闲时间超过 15 秒的连接。在 LAMP 应用程序中,连接数据库的时间通常就是 Web 服务器处理请求所花费的时间。有时候,如果负载过重,连接会挂起,并且会占用连接表空间。如果有多个交互用户或使用了到数据库的持久连接,那么将这个值设低一点并不可取!


最后一行是一个安全的方法。如果一个主机在连接到服务器时有问题,并重试很多次后放弃,那么这个主机就会被锁定,直到 FLUSH HOSTS 之后才能运行。默认情况下,10 次失败就足以导致锁定了。将这个值修改为 100 会给服务器足够的时间来从问题中恢复。如果重试 100 次都无法建立连接,那么使用再高的值也不会有太多帮助,可能它根本就无法连接。



3.表缓存.



数据库中每个表都可以表示为磁盘上的一个文件,必须先打开,后读取。为了加快从文件中读取数据,mysqld会对这些打开的文件进行缓存。其最大数目的是由/opt/mysql/my.cnf中的table_cache指定.


###表缓存


table_cache= 1024


显示打开表的活动情况:


mysql> show status like 'open%tables';



+---------------+-------+



| Variable_name | Value |



+---------------+-------+



| Open_tables| 287|



| Opened_tables | 12|



+---------------+-------+



2 rows in set (0.00 sec)


上述说明: 目前有287表是打开的,有12个表是需要打开的,因为缓存中已经没有可用的文件描述符了。 如果Opened_tables随着运行show status命令而快速增加时,说明缓存的命中率不够.如果Opened_tables比table_cache设置小很多,就说明该值太大.



4. 线程的缓存


所说线程缓存,就是mysqld早接收连接时会根据需要生成线程.在一个连接变化很快的繁忙服务器上,对线程进行缓存有助于可以加快最初的连接.


显示线程使用的统计信息:



mysql> show status like 'threads%';



+-------------------+---------+



| Variable_name | Value|



+-------------------+---------+



| Threads_cached| 0|



| Threads_connected | 68 |



| Threads_created| 1359226 |



| Threads_running| 1|



+-------------------+---------+



上述中最重要的时 Threads_created值,每次mysqld需要创建一个新线程时,这个值都会增加。如果这个值随着show status命令而快速增加,就应该尝试增大线程缓存.



###线程缓存



Thread_cache16



5.关键字缓存区(myisam)



关键字缓存区是保存myisam表的索引块.在联想情况下,对于这些块的请求应该来自于内存,而非磁盘.如何确定有多少块是从磁盘读取,有多少块是从内存读取的.



mysql> show status like 'key_read%';



+-------------------+------------+



| Variable_name | Value |



+-------------------+------------+



| Key_read_requests | 2367514011 |



| Key_reads | 652489 |



+-------------------+------------+



2 rows in set (0.00 sec)



Key_reads代表命中磁盘的请求次数,key_read_requests是总数.命中磁盘的次数占总数的 652489 /2367514011 = 0.0002756.大约在1000个请求中有0.3次不会命中内存.如果该值(0.3)超过1时,就应该考虑



增大关键字缓存区.key_buffer = 2G会将缓存区设置为2G.



###MyISAM引擎参数###



key_buffer_size=2G



key_cache_block_size=1024



read_buffer_size=32M



read_rnd_buffer_size=32M



myisam_sort_buffer_size=2M



6.临时表的使用



临时表可以在高级查询中使用, 其中数据在进一步进行处理(group by )之前, 都必须先保存在临时表中.理想情况下,在内存中创建临时表,如果临时表变的太大,就需要写入磁盘中.



mysql> show status like 'created_tmp%';



+-------------------------+-------+



| Variable_name| Value |



+-------------------------+-------+



| Created_tmp_disk_tables | 0 |



| Created_tmp_files| 746|



| Created_tmp_tables | 0 |



+-------------------------+-------+



3 rows in set (0.00 sec)



每次使用临时表都会增大 Created_tmp_tables;基于磁盘的表也会增大 Created_tmp_disk_tables。对于这个比率,并没有什么严格的规则,因为这依赖于所涉及的查询。长时间观察 Created_tmp_disk_tables 会显示所创建的磁盘表的比率,您可以确定设置的效率。 tmp_table_size 和 max_heap_table_size 都可以控制临时表的最大大小,因此请确保在 my.cnf 中对这两个值都进行了设置。



优化查询语句时候,要避免使用临时表,如果避免不了的话,一定要保证临时表存在内存中。如果你有很多group by语句,并且有很多内存的话,那就增大tmp_table_size和max_heap_table_size的值.



一般遵循的的公式:



Created_tmp_disk_tables/Created_tmp_tables<5%。



7.排序缓存区



当mysql进行排序时,就会在磁盘上读取数据时分配一个缓存区来存放这些数据行.如果要排序的数据太大,那么数据就要存放在磁盘上的临时文件中,并再次进行排序。如果sort_merge_passes状态量很大,这就指示磁盘的活动情况.


mysql> SHOW STATUS LIKE "sort%";



+-------------------+---------+



| Variable_name | Value|



+-------------------+---------+



| Sort_merge_passes | 1|



| Sort_range| 79192|



| Sort_rows | 2066532 |



| Sort_scan | 44006|



+-------------------+---------+



4 rows in set (0.00 sec)


如果sort_merge_passes很大.就表示要注意sort_buffer_size。 sort_buffer_size=16M将排序缓存区设置为16M.


###排序缓存区



sort_buffer_size=16M



8.innodb参数



1) innodb_buffer_pool_size


对于innodb表来说,innodb_buffer_pool_size的作用就相当于key_buffer_size相对于myisam一样.innodb使用该参数指定大小的内存来缓冲数据和索引.对于单独的mysql数据库服务器,最大可以把该值设置成物理内存的80%。



2)innodb_additional_mem_pool_size


该参数指定Innodb用来存储数据字典和其他内部数据结构的内存池大小。缺省值为1M。对于 2G内存的服务器推荐值为 20M.



3)innodb_log_buffer_size


推荐值为8M。



4)innodb_log_file_size


推荐值是 innodb_buffer_pool_size的25%.



5) innodb_flush_log_at_trx_commit


该值指定innodb记录日志的方式.如果设置为1,则每个事务提交的时候,mysql都会将事务日志写入磁盘.如果设置为0或2,则每秒将日志写入磁盘一次.



6) innodb_file_per_table


将该值设置为1时,则innodb表将使用独立的表空间.



###Innodb引擎参数###


innodb_buffer_pool_size = 4G


innodb_additional_mem_pool_size = 20M


innodb_log_file_size = 256M


innodb_log_buffer_size = 8M


innodb_flush_log_at_trx_commit = 1


innodb_lock_wait_timeout = 100


innodb_open_files=800


innodb_file_per_table = 1


innodb_commit_concurrency = 4



3)使用mysqlreport调优性能



下载 :http://hackmysql.com/scripts/mysqlreport-3.5.tgz


解压tar zxf mysqlreport-3.5.tgz


./mysqlreport -user test -password test -port 3306


Can't locate DBI.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at ./mysqlreport line 24.


BEGIN failed--compilation aborted at ./mysqlreport line 24.



解决该错误 : sudo yum install perl-DBI perl-DBD-MySQL -y



使用mysqlreport


[fanlinlin@WRM_DB01 mysqlreport-3.5]$ perl mysqlreport --host=127.0.0.1 --user=test --password=test


__ Key _________________________________________________________________



Buffer used295.49M of 24.00G %Used:1.20


Current4.78G%Usage: 19.91


Write hit 65.12%


Read hit99.97%


__ Questions ___________________________________________________________


Total 45.03M19.2/s


DMS 22.87M 9.7/s %Total: 50.79


QC Hits 17.39M 7.4/s38.63


Com_ 3.53M 1.5/s7.85


COM_QUIT 1.41M 0.6/s3.13


-Unknown178.89k 0.1/s0.40


Slow 2 s2.93M 1.3/s6.52 %DMS: 12.83 Log: ON


DMS22.87M 9.7/s50.79


SELECT15.89M 6.8/s35.28 69.48


INSERT3.80M 1.6/s8.44 16.63


UPDATE1.41M 0.6/s3.14 6.18


REPLACE 938.06k 0.4/s2.08 4.10


DELETE 827.92k 0.4/s1.84 3.62


Com_3.53M 1.5/s7.85


set_option2.03M 0.9/s4.50


change_db 1.01M 0.4/s2.25


show_status 366.23k 0.2/s0.81


__ SELECT and Sort _____________________________________________________


Scan2.51M 1.1/s %SELECT: 15.81


Range3.98M 1.7/s25.05


Full join 14.74k 0.0/s0.09


Range check 00/s0.00


Full rng join00/s0.00


Sort scan1.68M 0.7/s


Sort range251.33k 0.1/s


Sort mrg pass 371 0.0/s



__ Query Cache _________________________________________________________



Memory usage35.67M of 64.00M %Used: 55.73


Block Fragmnt9.92%


Hits17.39M 7.4/s


Inserts15.49M 6.6/s


Insrt:Prune4.81:1 5.2/s


Hit:Insert 1.12:1



__ Table Locks _________________________________________________________



Waited 3.36k 0.0/s %Total:0.01


Immediate 24.70M10.5/s



__ Tables ______________________________________________________________



Open287 of 1024%Cache: 28.03


Opened893 0.0/s



__ Connections _________________________________________________________



Max used26 of 800 %Max:3.25


Total1.41M 0.6/s



__ Created Temp ________________________________________________________



Disk table 3.57k 0.0/s


Table 927.74k 0.4/sSize: 16.0M


File748 0.0/s



__ Threads _____________________________________________________________



Running3 of7


Cached13 of16 %Hit:100


Created32 0.0/s


Slow 00/s



__ Aborted _____________________________________________________________



Clients34 0.0/s


Connects 333 0.0/s



__ Bytes _______________________________________________________________



Sent18.91G8.1k/s


Received9.19G3.9k/s



__ InnoDB Buffer Pool __________________________________________________



Usage1.00M of4.00G %Used:0.02


Read hit92.17%


Pages


Free262.08k%Total: 99.98


Data640.02 %Drty:0.00


Misc00.00


Latched 0.00


Reads166 0.0/s


From file13 0.0/s7.83


Ahead Rnd 1 0.0/s


Ahead Sql 00/s


Writes00/s


Flushes00/s


Wait Free00/s



__ InnoDB Lock _________________________________________________________



Waits 00/s


Current0


Time acquiring


Total0 ms


Average0 ms


Max 0 ms



__ InnoDB Data, Pages, Rows ____________________________________________



Data


Reads26 0.0/s


Writes3 0.0/s


fsync3 0.0/s


Pending


Reads0


Writes 0


fsync0


Pages


Created00/s


Read64 0.0/s


Written00/s


Rows


Deleted00/s


Inserted 00/s


Read00/s


Updated00/s


6. apache ab 压力测试



/opt/apache/bin/ab -c 1000 -n 1000 http://fix.weirenmai.dragon-stone.cn/


This is ApacheBench, Version 2.3


Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/


Licensed to The Apache Software Foundation, http://www.apache.org/


Benchmarking fix.weirenmai.dragon-stone.cn (be patient)



Completed 100 requests


Completed 200 requests


Completed 300 requests


Completed 400 requests


Completed 500 requests


Completed 600 requests


Completed 700 requests


Completed 800 requests


Completed 900 requests


Completed 1000 requests


Finished 1000 requests


Server Software:Apache/2.4.3


Server Hostname:fix.weirenmai.dragon-stone.cn


Server Port:80


Document Path: /


Document Length:0 bytes


Concurrency Level: 1000 //并发数


Time taken for tests:19.280 seconds //整个测试持续的时间


Complete requests: 1000 //完成的请求数


Failed requests:0//失败的数量


Write errors:0


Non-2xx responses: 1000


Total transferred: 669559 bytes// 整个传输量


HTML transferred:0 bytes



//相当于 LR 中的每秒事务数,后面括号中的 mean 表示这是一个平均值


Requests per second:51.87 [#/sec] (mean)


// 相当于 LR 中的平均事务响应时间,后面括号中的 mean 表示这是一个平均值


Time per request:19279.633 [ms] (mean)


Time per request:19.280 [ms] (mean, across all concurrent requests)


//平均每秒网络上的流量,可以帮助排除是否存在网络流量过大导致响应时间延长的问题



Connection Times (ms)


min mean[+/-sd] medianmax



Connect:0 1699 3354.9 013403


Processing:60 2356 2019.0191815280


Waiting:60 2354 2019.4191815280


Total: 61 4055 4334.0258419277



Percentage of the requests served within a certain time (ms)


50%2584


66%4267


75%5154


80%5807


90%9886


95% 16438


98% 18259


99% 18298


100% 19277 (longest request)



整个场景中所有的用户请求的响应状况,每个请求都有一个响应时间,其中50%的用户响应的时间小于2584ms,66%的用户响应时间小于4267,最大的响应时间为19277ms


优化后测试的结果:



[fanlinlin@web ~]$ /opt/apache/bin/ab -c 1000 -n 1000 http://fix.weirenmai.dragon-stone.cn/


This is ApacheBench, Version 2.3


Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/


Licensed to The Apache Software Foundation, http://www.apache.org/


Benchmarking fix.weirenmai.dragon-stone.cn (be patient)



Completed 100 requests


Completed 200 requests


Completed 300 requests


Completed 400 requests


Completed 500 requests


Completed 600 requests


Completed 700 requests


Completed 800 requests


Completed 900 requests


Completed 1000 requests



Finished 1000 requests


Server Software:Apache/2.4.3


Server Hostname:fix.weirenmai.dragon-stone.cn


Server Port:80


Document Path: /


Document Length:0 bytes


Concurrency Level: 1000


Time taken for tests:11.070 seconds


Complete requests: 1000


Failed requests:0


Write errors:0


Non-2xx responses: 1000


Total transferred: 637429 bytes


HTML transferred:0 bytes


Requests per second:90.33 [#/sec] (mean)


Time per request:11070.237 [ms] (mean)


Time per request:11.070 [ms] (mean, across all concurrent requests)


Transfer rate: 56.23 [Kbytes/sec] received


Connection Times (ms)



min mean[+/-sd] medianmax


Connect:0 745 1929.5 09012


Processing:529 2289 1451.918189833


Waiting: 529 2287 1451.818189833


Total:544 3033 2312.3233310987


Percentage of the requests served within a certain time (ms)


50%2333


66%3002


75%3811


80%4183


90%6512


95%8925


98% 10694


99% 10809


100% 10987 (longest request)


根据测试结果进行对比 :


对于1000的并发数,总耗时从19.280s下降到11.070s


优化前:


Requests per second:51.87 [#/sec] (mean)


Time per request:19279.633 [ms] (mean)


Time per request:19.280 [ms] (mean, across all concurrent requests)


Transfer rate: 33.91 [Kbytes/sec] received


优化后:


Requests per second:90.33 [#/sec] (mean)


Time per request:11070.237 [ms] (mean)


Time per request:11.070 [ms] (mean, across all concurrent requests)


Transfer rate: 56.23 [Kbytes/sec] received


最能反应服务器性能的时 Request per second,即每秒完成的请求数从51.87提升到90.33。


每个请求花费的时间从19.280ms下降到11.070ms.


每秒的网络流流量从33.91Kbytes提示到56.23Kbytes.


当一个人找不到出路的时候,最好的办法就是将当前能做好的事情做到极致,做到无人能及。

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台