工具研發者介紹

賀春暘， 凡普金科愛錢進DBA團隊負責人，《MySQL管理之道：性能調優、高可用與監控》第一、二版作者，曾任職於中國移動飛信、安卓機鋒網。致力於MariaDB、MongoDB等開源技術的研究，主要負責數據庫性能調優、監控和架構設計。

工具下載：

https://github.com/hcymysql/mongo_slowquery

簡介

MongoDB的慢SQL日誌是記錄到業務庫的system.profile表裏的，當線上DB運行緩慢時，開發通常聯繫DBA去排查問題，那麼可以將這種機械化的工作，做成一個平臺化、可視化的工具出來，讓開發在網頁裏點點鼠標即可查看數據庫運行狀況，這將大大提高工作效率，降低對DBA的依賴。

筆者參考了Percona pt-mongodb-query-digest工具抓取分析的展示思路，並用PHP重構，將分析結果插入 MySQL表裏 ，用前端頁面展現出來，方便開發定位問題。每次抓取最近1000條超過1秒的慢SQL記錄入庫。

執行：

php check_mongo_slowsql.php

相當於執行：

db.getSiblingDB("samples").system.profile.find({millis:{$gte:2000}},    

{millis:1,ns:1,query:1,ts:1,client:1,user:1}).sort({ts:-1}).limit(1000)

採用遠程連接方式獲取慢SQL，所以無需要在數據庫服務器端部署相關agent或計劃任務。

首頁彙總了生產業務庫31天內的慢SQL集合。

點擊“選擇數據庫標籤”可以查看具體的業務庫慢SQL趨勢走向。

點擊抽象語句欄目的✚號，會彈出一個新連接，展示慢SQL的來源用戶名、IP、集合的大小、集合的索引信息，以及SQL的Explain執行計劃。

環境搭建

1、php-mysql驅動安裝：

shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql

2、php-mongo驅動安裝：

shell> pecl install mongo

把extension=mongo.so加入到/etc/php.ini最後一行。

重啓httpd服務，service httpd restart

（注：如果通過pecl安裝報錯，請參考以下鏈接，進行源碼安裝。PHP 5.4版本對應的驅動版本是mongodb-1.3.4.tgz： https://www.runoob.com/mongodb/mongodb-install-php-driver.html ）

3、創建MongoDB管理員用戶權限（監控採集數據時使用）

首先我們在被監控的數據庫端創建授權帳號，允許採集器服務器能連接到MongoDB數據庫。由於需要執行命令db.runCommand()，所以需要授予管理員角色，授權方式如下所示：

> use yourdb

> db.createUser({user:"monitor_slowsql",pwd:"123456",roles:[{role:"dbOwner",db:"yourdb"}]})

MongoDB Slowquery部署

把https://github.com/hcymysql/mongo_slowquery/archive/master.zip安裝包解壓縮到/var/www/html/目錄下。

1、導入MongoDB Slowquery慢查詢監控工具表結構（mongo_slowsql庫）

cd /var/www/html/mongo_monitor/

mysql -uroot -p123456 < mongo_slowsql_schema.sql

2、錄入被監控主機的信息

INSERT INTO mongo_status_info(ip,tag,user,pwd,port,dbname,threshold_slow_ms)

VALUES('10.10.159.31','MongoDB測試機1','monitor_slowsql','123456','27017','yourdb',1000);

注，以下字段可以按照需求變更：

  • ip字段含義：輸入被監控Mongo的IP地址；

  • tag字段含義：輸入被監控Mongo的業務名字；

  • user字段含義：輸入被監控Mongo的用戶名（ROOT權限）；

  • pwd字段含義：輸入被監控Mongo的密碼；

  • port字段含義：輸入被監控MySQL的端口號；

  • dbname字段含義：輸入被監控Mongo的數據庫登錄權限認證庫名；

  • threshold_slow_ms字段含義：輸入慢查詢的閾值，當查詢時間超過設定的閾值時，該SQL語句會被agent端抓取到平臺裏，單位毫秒。

3、修改conn.php配置文件

vim /var/www/html/mongo_monitor/conn.php

$con = mysqli_connect("127.0.0.1","admin","123456","mongo_monitor","3306") or die("數據庫鏈接錯誤".mysql_error());

改成你的MongoDB Slowquery慢查詢監控工具表結構（mongo_slowsql庫）連接信息。

4、Agent定時任務每10分鐘抓取一次慢日誌

crontab -l

*/10 * * * * cd /var/www/html/mongo_slowquery; /usr/bin/php /var/www/html/mongo_slowquery/check_mongo_slowsql.php  > /dev/null 2 >&1

5、頁面訪問

http://yourIP/mongo_slowquery/mongo_slowquery.php

加一個超鏈接，可方便地接入你們的自動化運維平臺裏。

6、MongoDB開啓慢查詢

db.setProfilingLevel(1,1000); 

查看是否開啓慢查詢。

db.getProfilingStatus()

注：監控環境爲MongoDB 3.2以上版本，2.X版本未測試。

下載方式

此工具現通過dbaplus社羣免費爲大家提供下載使用。若使用過程中有任何問題或建議，可隨時與我們聯繫，歡迎大家試用。

登錄以下鏈接即可下載：

https://github.com/hcymysql/mongo_slowquery

更多開源工具&腳本

詳情及下載： http://dbaplus.cn/list-142-1.html

從過去40年至今，數據庫的形態基本經歷了傳統商業數據庫、開源數據庫到雲原生數據庫的演進過程。雲時代下數據庫將如何革新與創變？企業核心數據庫遷移與建設如何安全平穩展開？ 9月11日到 Gdevops全球敏捷運維峯會北京站尋找答案吧：

  • 《All in Cloud 時代，下一代雲原生數據庫技術與趨勢》 阿里巴巴集團副總裁/達摩院首席數據庫科學家 李飛飛（飛刀）

  • 《AI和雲原生時代的數據庫進化之路》 騰訊數據庫產品中心總經理 林曉斌（丁奇）

  • 《ICBC的MySQL探索之路》 工商銀行軟件開發中心 魏亞東

  • 《民生銀行在SQL審覈方面的探索和實踐》 民生銀行 資深數據庫專家 李寧寧

  • 《OceanBase分佈式數據庫在西安銀行的落地和實踐》 螞蟻金服P9資深專家/OceanBase核心負責人 蔣志勇

  • 《金融行業MySQL高可用實踐》 愛可生技術總監 明溪源

相關文章