浩鲸科技联合江苏移动打造醍醐智能挖掘平台,通过构建自动化统计取数、自动化特征处理、自动化模型构建、自动化模型调优和自动化营销部署五大核心能力,大幅降低数据挖掘建模的门槛,为业务人员提供了平民化的挖掘建模工具。

醍醐智能挖掘平台通过数据编排工具和数据融合引擎实现了基于业务场景的数据视图构建,完成建模训练数据的快速拉取和生成;智能挖掘工具封装了多种数据处理、特征值筛选、参数调优、模型调优等核心功能模块,实现流程化、一体式的数据挖掘建模;通过开放式算法库,平台可以不断补充更优的算法,增强平台的建模精准度。

中国电信行业:数据割裂、人才稀缺、精准营销亟待智能工具降低成本

在电信运营商市场竞争加剧及“提速降费”等行业趋势的影响下,电信行业面临着非常大的成本压力,对有限营销资源的高效利用成为电信企业提升市场竞争力的主要诉求。伴随大数据和人工智能技术兴起,电信运营商可以通过数据挖掘建模技术建立客户标签,定位目标客户群,赋能精准营销业务,实现市场营销业务的降本增效。然而,数据挖掘建模对人才专业性要求较高,需要具备数学、统计学、机器学习等方面的知识和技能。其中,典型的问题包括:

(1)高阶人才稀缺:潜在客户挖掘愈发复杂,模型算法类型与建模工具愈发丰富,导致对数据挖掘人员专业性要求越来越高,使得高阶人才成为稀缺资源。

(2)人工挖掘成本过高:市场环境要求营销活动开展需灵活多变、快速响应,而构建一个完整的挖掘模型需要经过模型客户群取数、数据清洗、字段数据分析、构建模型、效果评估,整个流程时间长且工作量大,实现大规模的精细化营销需要大量的人力和时间投入。

(3)业务数据割裂:对于庞大的企业族群来说,原有潜客挖掘需要在多个业务数据库中进行数据提取,而分公司一线营销支撑大多不具备这样的平台及能力,模型数据的输入和输出大多需在线下手工操作,费时费力。

智能数据挖掘建模应用案例解析:以浩鲸科技助力江苏移动打造醍醐智能挖掘平台为例

醍醐智能挖掘平台基于Crisp-dm数据挖掘流程,将数据、算法、模型等元素组件化、可视化,实现低门槛、高效率的自动建模。其功能组件主要包含以下几个方面:

1、功能元素组件化

醍醐智能挖掘平台基于Crisp-dm数据挖掘流程,将数据、算法、模型等元素组件化、可视化,实现低门槛、高效率的自动建模。其功能组件包含:

简易的交互界面– 通过将训练特征字段、目标字段、算法、模型评估等操作进行系统统一封装,业务人员可通过勾选操作,在不需要具备建模专业知识的背景下根据自身业务理解和业务需求完成目标用户挖掘工作。

自动建模体系– 基于AutoML搭建,采用AI技术训练数据挖掘模型。该模块通过自动化的统一脚本,可跟据资源情况和训练任务需求,加载多个机器学习引擎,灵活选用Tensorflow、Keras、Pytorch、阿里等框架进行训练,实现模型自动并行训练。

分类算法组件库 - 集成各类主流算法库到智能挖掘平台,包括各类主流传统的分类推荐算法,和比第一代单类算法效果好的集成类算法,形成高度内聚的算法组件。

算法种类丰富 - 可专业调参算法包括:决策树、分类回归树、神经网络、贝叶斯网络、朴素贝叶斯等传统的分类算法;以及逻辑回归、广义线性回归、线性回归、支持和向量机、神经网络回归等回归算法、K-均值聚类等聚类算法;序列模式分析、协同过滤等关联算法。

自动化训练使用的集成算法 - 包含XGBClassifier、ExtraTreesClassifier、GaussianNB、BernoulliNB等最新集成类算法。

2、从数据预处理、建模、调参到实时营销资源分配分配全流程自动化

醍醐智能挖掘平台使用多种AI技术实现全流程自动化,智能迭代输出最优效果模型,全程无需人工介入。

自动数据预处理,专业数据处理技术选取目标特征 - 利用K-SIGMA异常检测、线箱图异常检测等技术,针对性地对原始用户数据相应的归一化处理、降维、数据衍生、字段删除等操作,并对特征属性利用卡方检验等进行重要性筛选及打分,最终输出模型最佳特征字段。

自动建模训练,改进TPOT和Dask框架搭建自动化分布式建模体系输出最优模型 - 在采用多种分类、回归等算法进行机器学习分布式训练模型的基础上,使用遗传算法自动评估各类模型的效果并比较选取最优模型算法。

自动调参优化,采用贝叶斯优化算法进行模型自动调参 - 基于贝叶斯优化算法,建立了一套用于生成目标函数的超参数自动调优算法,找到目标函数的最佳超参数;构建一套分片式计算引擎,避免贝叶斯串行计算的方法的劣势,有效提升贝叶斯自动调参算法的探索效率,以得到超参数最佳组合。

目标概率数字化,实现客户群规模在线动态调整 - 平台通过模型挖掘后计算出所有用户目标分值,通过分值即可推算既定目标概率值下的用户数量,匹配资源确定最佳目标群规模,实现根据给定的资源自动适配最合适的目标用户群规模,达到最大化利用营销资源的效果。

3、系统服务可靠化

醍醐平台采用场景化AI管理手段和自动负载衡的机制,提供高可用性高稳定性系统服务。

场景化AI管理 - 将需要实时在线响应的推理能力和在后端进行批处理服务的AI能力进行差异化部署,在线推理服务容器构建采固定分配GPU的方式, 离线推理通常采用GPU共享方式,平台及时释放没有任务的GPU资源,实现AI能力分场景化管理,使系统在有限资源内能够完成更多的任务。

自动负载衡机制 - 通过预制的GPU 执行环境和容器镜像,提供基于 Docker 的 Http 在线服务基础镜像,支持 TensorFlow、Keras、Caffe、MXNet 多种 AI 框架,提供各项AI服务;根据业务的高峰和低峰,系统自动调整计算资源配比,使系统弹性伸缩、快速扩容;使计算节点集群化,提供全系统容灾保障,提供高可用服务;通过Docker容器技术,将多用户存储、网络、计算资源隔离,具备高安全可靠的特性。

应用效果

通过搭建并部署醍醐智能挖掘平台,江苏移动旗下经营分析业务人员完全可以在不需要数据分析知识和统计人员协助下,独立完成数据模型的构建和应用,直接指导营销活动的执行。除了无技术门槛,易操作的特点,在具体主题模型的准确度方面也有较大提升。

以5G套餐挖掘应用为例,模型的查全率和查准率均在75%以上, 预测概率在0.2以上时,覆盖了90%的用户,具有实际应用价值;实际外呼测试,成功率在8.63%,明显高于通常的5%概率水平。模型构建效率方面,从原来的10天构建一个新模型提升到1天之内。

相关文章