多模態大模型是當下很火的一種創新技術，加快對多模態大模型技術的佈局，可進一步提高金融服務效率，緩解行業發展困境。爲了攻克創新技術領域的難題，度小滿聯合哈爾濱工業大學共同研發出一種創新的自適應剪枝算法——SmartTrim。憑藉精細化的剪枝策略，SmartTrim能夠在保持模型性能的同時，大幅提升計算效率。

自適應剪枝能力，智能識別並剪除不必要的計算負擔

在視覺語言大模型（VLM）的研究和應用中，高計算成本一直是制約其廣泛部署的主要障礙。近日，哈爾濱工業大學聯合度小滿共同研發出一種創新的自適應剪枝算法——SmartTrim。該算法針對多模態大模型的冗餘計算進行有效削減，實現了顯著的效率提升，相關研究成果已被國際自然語言處理領域頂級會議COLING24接收。

據介紹，SmartTrim技術的核心在於其自適應剪枝能力，通過分析模型中每層的token表示和attentionhead的冗餘性，智能識別並剪除不必要的計算負擔。這一過程中，SmartTrim不僅考慮了token在單一模態序列中的重要性，還特別強調了跨模態交互中的關鍵作用。通過這種精細化的剪枝策略，SmartTrim能夠在保持模型性能的同時，大幅提升計算效率。

在基於VQA微調的METER的跨模態編碼器中，層內不同token（上）和attentionhead（下）表示的相似性。

SmartTrim框架的實施涉及兩個關鍵組件：跨模態感知的Token修剪器和模態自適應的注意力頭修剪器。Token修剪器利用多層感知器（MLP）結構，智能地識別並去除那些對於當前層不重要的Token。這一過程不僅考慮了Token在文本或圖像序列中的獨立重要性，還綜合了它們在跨模態交互中的貢獻。注意力頭修剪器則直接集成在模型的自注意力模塊中，評估並修剪那些冗餘的注意力頭，從而優化了模型的計算效率。

SmartTrim框架結構圖

在訓練SmartTrim模型時，研究人員採用了一種結合任務相關目標和計算開銷目標的雙重優化策略。通過重參數化技巧，解決了不可導二值mask的問題，實現了模型的端到端訓練。此外，自蒸餾和課程學習策略的引入，進一步提高了剪枝後模型的性能，確保了訓練過程的穩定性。

持續佈局多模態大模型，爲行業發展注入活力

實驗結果表明，SmartTrim在METER和BLIP兩個VLM上實現了2-3倍的加速，同時將性能損失最小化。這一成果不僅在理論上具有創新性，也爲實際應用中的模型優化提供了新的思路。特別是在1.5倍加速比下，SmartTrim的性能甚至超過了原始模型。在高加速比下，SmartTrim相比其他方法展現出顯著優勢。SmartTrim技術的推出，標誌着多模態大模型研究的一個重要里程碑。度小滿表示，SmartTrim技術將在未來整合到公司的軒轅大模型中，以推動大模型技術的發展。

此次，度小滿聯合哈爾濱工業大學共同推出SmartTrim，藉助創新技術進一步提升計算效率，不斷創新金融智能服務，帶給消費者優質便捷的服務體驗。在未來，度小滿將持續佈局多模態大模型，在創新技術領域展開積極地探索與實踐，不斷攻克技術難題，以先進技術助力金融行業高質量發展。