PANews 4月25日消息,據ZAKER報道,蘋果研究團隊推出了一種先進的開放語言模型OpenELM。OpenELM使用分層縮放策略,在transformer模型的每一層中有效地分配參數,從而提高了準確性。例如,在參數預算約爲10億的情況下,OpenELM 的準確率比OLMo提高了2.36%,而所需的預訓練token卻減少了2倍。 與之前只提供模型權重、推理代碼以及在私有數據集上進行預訓練的做法不同,OpenELM包含了在公共可用數據集上對語言模型進行訓練和評估的完整框架,包括訓練日誌、多個檢查點和預訓練配置。此外,他們還發布了將模型轉換爲MLX庫的代碼,從而在蘋果設備上進行推理和微調。 早在今年2月,蘋果公司CEO TimCook表示,蘋果生成式AI功能將於“今年晚些時候”推出,有消息稱即將在6月發佈iOS 18可能是蘋果iOS史上“最大”的更新,而9月也將推出首款AI iPhone設備。
相關文章