每經記者 朱成祥    每經編輯 董興生    

4月24日上午,商湯-W(HK00020,股價0.8港元,市值268億港元)港股開盤大漲。隨後,商湯公告稱,於11點15分起短暫停止買賣。暫停交易前,商湯股價上漲31.15%,報0.80港元/股。

4月23日,商湯科技在上海臨港AIDC(人工智能計算中心)舉辦技術交流日活動。在技術交流日上,商湯發佈日日新5.0大模型,全面對標GPT-4 Turbo。據悉,該大模型超過10TB tokens訓練、覆蓋大量合成數據,全新的日日新5.0採用混合專家架構,推理時上下文窗口可以有效到200K左右。

此外,商湯也推出日日新·端側大模型。商湯科技董事長兼CEO徐立表示:“我們認爲,今年是大模型在端側應用的元年。試想,如果幾十億端側的設備都在不停地調用大模型,沒有任何一個服務器能夠‘服務得起’。所以說,端側應用,其實是大模型鋪開最核心的關鍵。”

據瞭解,商湯日日新·端側大語言模型的推理速度達到了業內最快,可在中端平臺實現18.3字/s的平均生成速度,旗艦平臺達到78.3字/s。

在現場,徐立展示了端側AI智能體的應用。比如通過語音輸入查郵件,且將剛查看的郵件移動到智能手機的文件夾,併發送一個羣公告:下午5點開會。

徐立表示:“端側業務SDK(軟件開發工具包)正式發佈,大家可以掃碼來適配到不同端側,目前支持高通8系列、7系列芯片,還有匹配天璣的芯片。”

值得注意的是,此前的AI PC普遍對計算機性能要求較高。將大模型部署到PC端,它對算力、存儲的要求都很高。如果現在部署到手機端,手機的算力、存儲包括帶寬是否會不足以支撐端側小模型?

4月21日,商湯科技首席科學家王曉剛在接受《每日經濟新聞》記者採訪時表示:“大家要看不同的應用,對於模型的準確率或體驗的要求是不一樣的。比如大量聊天式的應用,對模型性能的要求也會低一些。如果通過模型作爲智能體做各種操作,它對操作的準確性、時效性要求會更高。不同的應用方向、場景對模型的要求是不一樣的,對於模型應用要求不是非常高的地方,是可以用端側模型去做的。”

王曉剛補充表示:“(雲端)大模型要求的是一個通用能力,能做很多事情,而手機上的端側小模型要求是隻需要在某些方面的能力做到足夠好就可以了。最終,我們的模型不是一個模型,而可能是一組模型。比如在端側,就用它作爲AI智能體執行調用各種APP,執行各種功能,這時候,可以把端上的小模型侷限在特定的功能上,把它做到最好。”

除了針對特定的功能,端側模型的性能也在不斷提升,一是數據質量的提升,二是可以通過雲端大模型生成數據。

王曉剛表示:“隨着整個數據清洗的質量越來越高,將來會有越來越高質量的數據訓練端上的模型。另外,因爲雲端大模型的能力變得很強,它也能幫助我們生成某些方面高質量的數據。用這些數據可以更好地訓練小模型,因此,端上小模型的性能也在快速地提升。各種因素綜合到一起,還是能保證未來在端上的模型有一個好的應用,滿足終端消費者的要求。”

相關文章