作者 | 鄧詠儀

編輯 | 蘇建勳

36氪獲悉,MLOps服務商「星鯨科技」獲數千萬人民幣天使輪融資,投資方爲南山資本及遠鏡創投。

「星鯨科技」是一家AI管理和協同的服務商,爲此提供MLOps平臺和工具,成立於2022年。創始人徐串曾任前百度雲首席架構師,前曠視科技首席架構師。

MLOps(機器學習運維,Machine Learning Operations)是一個快速成長的新興領域。目前,MLOps的市場規模22年達到11億美元,有望實現高速增長,預計2027年將達到59億美元。

就像雲計算的興起帶動了軟件研發和運維的改革,直接催生了DevOps賽道的興起,MLOps的道理也類似——原來,工程師需要在本地完成的軟件研發,並且完成一個步驟後才移交到下一步驟,如今通過DevOps工具,從規劃到部署的整個生命週期都能“上雲”,能夠做到實時同步,並且統一了工作流,大大提升了軟件開發效率。

MLOps即是AI生產環境的工作“流水線”。狹義上的MLOps,即是將AI模型的設計、部署、運維統一管理起來。通過構建一系列流程、方法和平臺工具,MLOps能夠讓數據工程師、算法科學家、ML工程師、測試、 業務研發等多個團隊在上面進行溝通、協作和整合。

隨着AI大模型成爲熱點,企業對MLOps的需求也水漲船高。前幾年,企業訓練和應用的AI技術主要應用的是小模型,無論是開發還是部署都相對容易,但AI的開發幾乎都沒有實現內部流程自動化,部署上線時間長;模型訓練過程手動記錄,項目交接難。而如今的大模型在數據、計算量、運維層面難度更高,擁有一個統一的開發、訓練、部署運維工具,就顯得更有必要。

AI從設計、訓練到部署運維是非常長的鏈條。而星鯨科技的定位,則是先圍繞數據和模型兩個環節,提供MLOps平臺和服務。

徐串表示,之所以先圍繞數據和模型,而不是做“大而全”的方案,是因爲數據處理和模型是AI訓練的核心環節,星鯨的路線,是先專注在這兩個核心環節,再向外拓展更多能力。

“如果說過去企業私有化模型的開發部署還是需要專門的算法工程師,那麼在大語言模型時代,這件事會變得更加標準化,企業更多精力會放在建立自己的數據集上,通過合適的Prompt(提示詞)對模型進行微調以適合企業自身業務需求。這個過程中,對於數據和模型的標準化管理會顯得更加重要。”徐串解釋。

當前,星鯨科技已經初步搭建起了包括數據和模型兩大功能板塊的平臺。

在數據管理方面,星鯨科技可以靈活匹配不同的數據格式,用戶只需少量代碼即可實現數據導入 ,並且對不同數據集版本爲數據添加各類標籤以便管理。星鯨還會提供可定製的可視化組件工具,支持客戶自己進行開發。

在模型環節,星鯨定義了標準的模型交付包,支持將模型文件、配置、相關推理代碼等進行統一管理。在適配性上,星鯨也支持包括GPU、CPU、車載芯片等設備。星鯨平臺支持數據在線運行,快速顯示模型評測結果。

“現在AI生產的鏈條非常長,這導致AI應用門檻居高不下。未來,AI普惠的趨勢不會改變,如果我們將開發、部署等環境那些多餘的能夠去掉之後,用平臺來做這種自動化對接,那意味着我們通過用MLOps,能夠減少人力成本,將AI技術的應用成本降到最低。”徐串對36氪表示。

MLOps應用在生產環節後,實際效果會怎麼樣?徐串舉例,如果是在工業場景,以前一個百萬級AI項目的傳統做法是,至少需要一個現場的實施人員,對接客戶的各種需求;以及一位算法開發人員,需要針對客戶做定製化開發;甚至連數據也需要專人進行採集,從數據收集、管理、模型設計到最終,人力和物力成本都會很高。但在應用了MLOps平臺後,以上環節的時間都能大大減少。

在MLOps這一細分領域,如今已經有包括Kuberflow、Databricks mlflow等開源項目,應用覆蓋很廣;而AWS、百度等大廠也會自研MLOps平臺,並且通常與AI服務一起打包對外;另外還有Weights&Biases、Tecton、OctoML等初創公司,也已經獲得數億美元的融資。

星鯨科技的優勢在於何處?徐串表示,星鯨科技看好的是在大模型時代,開源生態將佔據十分重要的地位。類似目前移動端市場的蘋果和安卓兩大生態,大模型也將分爲閉源和開源兩方。重視數據隱私的企業會更加傾向於私有化部署自己的模型,而不是把數據交給像OpenAI這樣的第三方公司。星鯨採取開源的產品化路線,定位第三方開源軟件,能夠避免企業被底層的雲廠商綁定,並且也能更靈活地針對客戶場景提供服務,支持私有化部署。

目前的星鯨Starwhale開源版本既支持企業端部署,也支持個人開發使用。除此之外,星鯨科技還即將推出星鯨雲,包含目前開源的各類大模型和數據集,支持模型微調、評估和部署,方便中小企業和個人使用。

在市場策略上,星鯨科技會從自動駕駛等AI計算需求快速增長領域開始,如今團隊已經完成產品初步開發,已與數家自動駕駛初創公司、供應商等進行合作。今年,星鯨也將會加速商業化落地。

相關文章