作者 | 邓咏仪

编辑 | 苏建勋

36氪获悉,MLOps服务商「星鲸科技」获数千万人民币天使轮融资,投资方为南山资本及远镜创投。

「星鲸科技」是一家AI管理和协同的服务商,为此提供MLOps平台和工具,成立于2022年。创始人徐串曾任前百度云首席架构师,前旷视科技首席架构师。

MLOps(机器学习运维,Machine Learning Operations)是一个快速成长的新兴领域。目前,MLOps的市场规模22年达到11亿美元,有望实现高速增长,预计2027年将达到59亿美元。

就像云计算的兴起带动了软件研发和运维的改革,直接催生了DevOps赛道的兴起,MLOps的道理也类似——原来,工程师需要在本地完成的软件研发,并且完成一个步骤后才移交到下一步骤,如今通过DevOps工具,从规划到部署的整个生命周期都能“上云”,能够做到实时同步,并且统一了工作流,大大提升了软件开发效率。

MLOps即是AI生产环境的工作“流水线”。狭义上的MLOps,即是将AI模型的设计、部署、运维统一管理起来。通过构建一系列流程、方法和平台工具,MLOps能够让数据工程师、算法科学家、ML工程师、测试、 业务研发等多个团队在上面进行沟通、协作和整合。

随着AI大模型成为热点,企业对MLOps的需求也水涨船高。前几年,企业训练和应用的AI技术主要应用的是小模型,无论是开发还是部署都相对容易,但AI的开发几乎都没有实现内部流程自动化,部署上线时间长;模型训练过程手动记录,项目交接难。而如今的大模型在数据、计算量、运维层面难度更高,拥有一个统一的开发、训练、部署运维工具,就显得更有必要。

AI从设计、训练到部署运维是非常长的链条。而星鲸科技的定位,则是先围绕数据和模型两个环节,提供MLOps平台和服务。

徐串表示,之所以先围绕数据和模型,而不是做“大而全”的方案,是因为数据处理和模型是AI训练的核心环节,星鲸的路线,是先专注在这两个核心环节,再向外拓展更多能力。

“如果说过去企业私有化模型的开发部署还是需要专门的算法工程师,那么在大语言模型时代,这件事会变得更加标准化,企业更多精力会放在建立自己的数据集上,通过合适的Prompt(提示词)对模型进行微调以适合企业自身业务需求。这个过程中,对于数据和模型的标准化管理会显得更加重要。”徐串解释。

当前,星鲸科技已经初步搭建起了包括数据和模型两大功能板块的平台。

在数据管理方面,星鲸科技可以灵活匹配不同的数据格式,用户只需少量代码即可实现数据导入 ,并且对不同数据集版本为数据添加各类标签以便管理。星鲸还会提供可定制的可视化组件工具,支持客户自己进行开发。

在模型环节,星鲸定义了标准的模型交付包,支持将模型文件、配置、相关推理代码等进行统一管理。在适配性上,星鲸也支持包括GPU、CPU、车载芯片等设备。星鲸平台支持数据在线运行,快速显示模型评测结果。

“现在AI生产的链条非常长,这导致AI应用门槛居高不下。未来,AI普惠的趋势不会改变,如果我们将开发、部署等环境那些多余的能够去掉之后,用平台来做这种自动化对接,那意味着我们通过用MLOps,能够减少人力成本,将AI技术的应用成本降到最低。”徐串对36氪表示。

MLOps应用在生产环节后,实际效果会怎么样?徐串举例,如果是在工业场景,以前一个百万级AI项目的传统做法是,至少需要一个现场的实施人员,对接客户的各种需求;以及一位算法开发人员,需要针对客户做定制化开发;甚至连数据也需要专人进行采集,从数据收集、管理、模型设计到最终,人力和物力成本都会很高。但在应用了MLOps平台后,以上环节的时间都能大大减少。

在MLOps这一细分领域,如今已经有包括Kuberflow、Databricks mlflow等开源项目,应用覆盖很广;而AWS、百度等大厂也会自研MLOps平台,并且通常与AI服务一起打包对外;另外还有Weights&Biases、Tecton、OctoML等初创公司,也已经获得数亿美元的融资。

星鲸科技的优势在于何处?徐串表示,星鲸科技看好的是在大模型时代,开源生态将占据十分重要的地位。类似目前移动端市场的苹果和安卓两大生态,大模型也将分为闭源和开源两方。重视数据隐私的企业会更加倾向于私有化部署自己的模型,而不是把数据交给像OpenAI这样的第三方公司。星鲸采取开源的产品化路线,定位第三方开源软件,能够避免企业被底层的云厂商绑定,并且也能更灵活地针对客户场景提供服务,支持私有化部署。

目前的星鲸Starwhale开源版本既支持企业端部署,也支持个人开发使用。除此之外,星鲸科技还即将推出星鲸云,包含目前开源的各类大模型和数据集,支持模型微调、评估和部署,方便中小企业和个人使用。

在市场策略上,星鲸科技会从自动驾驶等AI计算需求快速增长领域开始,如今团队已经完成产品初步开发,已与数家自动驾驶初创公司、供应商等进行合作。今年,星鲸也将会加速商业化落地。

相关文章