近日,浪潮KaiwuDB與中國人民大學合作的論文FOSS: A Self-Learned Doctor for Query Optimizer(《FOSS:一款自學習的數據庫查詢優化器》)被數據庫領域頂會The 40th IEEE International Conference on Data Engineering(第40屆國際數據工程大會,簡稱ICDE2024)錄用。論文提出了具備自學習、自診斷能力的查詢優化器FOSS,推動了基於AI算法的學習型查詢優化技術革新,其技術創新性獲得國際頂會權威認可。浪潮KaiwuDB高級研發工程師、人大信息學院博士孫路明爲共同作者。

ICDE是電氣與電子工程師協會(IEEE)舉辦的旗艦會議,與SIGMOD、VLDB並稱數據庫三大頂會,也是中國計算機學會(CCF)推薦的A類國際會議,主要聚焦設計、構建、管理和評估高級數據密集型系統和應用等研究問題,在國際上享有盛譽並具有廣泛的學術影響力。此次在荷蘭召開的ICDE2024大會,吸引到北京大學、清華大學、中國人民大學、浙江大學、MIT、斯坦福等高校及全球知名科技企業參會,共同探討數據庫、數據處理領域的先進技術問題。

近年來,數據庫研究人員提出了多個基於AI算法的學習型查詢優化器,它們或者通過自下而上的方式從頭學習構建查詢計劃,或者通過提示(Hint)引導或者限制傳統優化器的執行計劃生成過程。雖然這些方法取得了一些成功,但它們卻面臨訓練效率低下、計劃搜索空間有限等方面的挑戰。

本篇論文提出了一種基於深度強化學習的查詢優化新框架——FOSS。FOSS的行爲類似一個診療查詢計劃的醫生,它從傳統優化器生成的原始計劃開始優化,發現其中的性能問題,並通過一系列優化動作逐步改進計劃中的次優節點。與引導傳統優化器行爲的黑盒方法不同,FOSS是一個白盒方法,通過優化傳統查詢優化器生成的計劃,更好地利用專家優化知識。此外,FOSS中還採用了不對稱的收益模型來評估兩個計劃之間的性能差異。爲了提高FOSS的訓練效率,本文將FOSS與傳統優化器集成以形成一個模擬環境。利用這個模擬環境,FOSS可以自動快速生成大量高質量的模擬經驗,然後從這些經驗中學習以提高其優化能力。論文在Join Order Benchmark, TPC-DS和Stack Overflow等多組數據集和負載上評估了FOSS的性能,實驗結果表明,FOSS在模型收斂速度、查詢優化效果上優於現有學習型查詢優化器,與PostgreSQL默認查詢優化器相比,更是獲得了最高8.33倍的加速效果。通過引入該技術,數據庫查詢性能、響應時間及用戶體驗或將有效提升,適用於OLAP、HTAP等數據密集型場景的查詢需求。

作爲業內首款分佈式、多模融合、支持原生AI的數據庫產品,KaiwuDB長期致力於爲AIoT等重點場景提供更豐富的數據運管能力和更卓越的數據庫性能,力求不斷在SQL優化、數據庫自治等重點技術上實現突破。未來也將始終堅持以先進技術打磨產品,加速學術研究與產業應用融合,爲中國數據庫技術創新發展、數據處理效能提升等方面貢獻新思路,爲政企客戶夥伴提供高性能、高可用、易運維的數據服務,助力產業數字化升級與應用創新。

相關文章