據澎湃新聞報道,5 月 26 日,微軟(中國)有限公司創新技術總經理崔宏禹在上海舉行的向星力・未來數據技術峯會(FDTC)上回應了當下一個廣泛被提及的問題,即如何用自己的數據訓練自己的模型,將私域數據與 GPT 的能力相融合。崔宏禹解答道,“一般來說,我們推薦兩種方式。一種是微調(在不改動預訓練模型的基礎上,在模型頂層增加分類器或一些特徵映射,使微調後的模型能夠更貼合實際使用場景),但在 GPT-4 以後,我們已經不建議或者已經不讓大家使用微調的方式了。我們更推薦的是嵌入(將一個內容實體映射爲低維向量,從而可以獲得內容之間的相似度)的方式。”
相關文章