格隆匯3月29日|據阿里通義千問官微,通義千問團隊開源首個MoE模型,名爲Qwen1.5-MoE-A2.7B。它僅有27億個激活參數,但性能可與當前公認最先進的70億參數模型(Mistral 7B、Qwen1.5-7B等)相媲美。

相關文章