来源:金融电子化 作者:王洪涛

数字化是不可逆转的时代潮流,伴随着“数字新基建”不断推进,证券公司数字化转型的步伐正在加速。数字化转型以数据为核心,以技术为驱动,技术与业务深度融合,将数据作为生产要素发挥生产力动能,赋能企业创新与转型发展。数字化转型离不开数据驱动,而数据中台作为可持续的让企业数据用起来的系统工程,核心是将数据变为资产并服务于业务,数据来源于业务并反哺业务,不断迭代循环,实现数据可见、可用和可经营。

数据中台建设的背景

数字化时代证券公司机遇与挑战并存。从外部环境看,我国经济增长模式转变对普惠金融的需求、新冠疫情事件、“数字新基建”均会加速证券公司数字化转型;新生代消费者从线下迁徙到线上,端到端用户旅程需要数字化重塑。监管对数据的重视及监管科技对数据应用提出了更高要求。金融科技的发展推动了数据业务化,引发了证券业基于数据的产品与服务创新。从内部来看,公司数字化转型面临着复杂多变的外部环境,保障业务快速发展对数据应用能力提出了新的要求;数据质量不高、数据标准不统一、数据血缘关系不清、数据没有融入到业务价值创造过程均需要强化数据经营;数据应用需求响应时间长、协同成本高。内外部因素叠加迫切需要建立数据中台来发挥数据价值。

数据中台建设的思路

海通证券数据中台建设紧密围绕公司战略,综合考虑特有的业务模式和组织架构,基于科学的方法论和有形系统实施盘活打通全量数据,持续完善把数据变成资产并服务于业务的机制,实现以客户为中心洞察驱动和以数据为基础的业务创新。基本思路为:一条主线、两个引擎、五位一体。

一条主线指以客户为中心,以数据为基础,以科技为驱动,将公司的数据资产进行梳理、共享、挖掘,让数据资产作为生产资料融入到业务价值创造过程中,全面赋能客户、产品、风控、合规、运营等各业务领域,实现基于数据驱动的客户旅程重塑。数据驱动包括:进行深度客户洞察和精准客户画像,基于数字画像提供千人千面的解决方案;优化客户体验和产品研发能力,提高公司运营效率和成效;实现业务链条数字化和管理精细化,前置风险、合规和管控措施,防患于未然。

两个引擎指“数据经营”与“金融科技”。数据中台核心是将数据作为企业重要的资产,让数据资产围绕业务价值创造的目标更好地流动、加工、分析、应用,最终产生效益和价值。数据中台以金融科技为依托,融入业务场景,产生技术数据融合的双源创新。数据中台在延续了“1+3+N”海通大数据战略,一是通过完善大数据基础设施提升数据应用能力;二是在人工智能平台、数据管控平台、报表与分析平台基础上新增了数据开发平台、数据探索及挖掘平台、数据门户等;三是数据服务范围更加广泛,不仅为母公司各种业务场景赋能,而且还对子公司、合作伙伴赋能。

五位一体指数据中台建设涵盖数据、技术、人员、服务、治理五个方面。首先,数据是基础。数据中台起源于业务数字化,最终目标是把原本各自孤立的数据互联互通,构建数据资产体系,挖掘数据更深层次的价值。其次,技术是驱动力。数据中台离不开云计算、人工智能、大数据等技术提供驱动力。第三,人员是关键。数据中台建设需要具备数字思维,特别是业务人员具备科技思维,统一理念,形成数字化合力把数据用起来。第四,服务是核心。将数据资产以服务形式对外提供,数据嵌入到业务场景中随需而动,实现以数据驱动业务,激发数据动能。最后,治理是保障。数据治理作为数据中台的保障机制,其目标就是数据“好用”和“用好”数据,合规、高效地产生数据价值。

数据中台总体架构

数据中台整体架构分为数据源、数据交换、数据计算存储、工具平台、数据即服务、数据应用、数据治理。

1.数据源

数据源是内外部数据融汇贯通形成统一完整的数据资产基础,分为内部数据和外部数据,核心是全面及时地收集“初数据”。数据收集从现有各业务系统数据入手,从母公司延伸到集团分支机构及子公司,从业务数据到各种衍生数据,从一般性数据到独辟蹊径的“暗数据”,从结构化数据扩展到非结构化数据,从公司内部数据外延到互联网、数据供应商等外部数据。

2.数据交换

数据交换通过打通集团、子公司、外部数据互联融合的通道,实现异构和不同数据源的数据整合和交换,保证数据及时性、一致性、准确性以及跨业务、跨组织的需求,功能包括数据抽取、数据清洗、数据标准化、数据转化、数据校验等。数据交换重点工作是标准化,包括统一接入方式、消息传递机制、数据标准等(见图1所示)。

图1 数据中台总体架构图

3.数据计算存储

数据计算引擎涵盖大数据平台、数据仓库、图数据库、搜索引擎等,兼备高速实时计算能力和强大的离线处理能力。大数据平台基于Hadoop生态体系构建,包含多个数据存储、计算框架,解决了多源异构海量数据的组织、存储、计算等问题。数据仓库全栈采用国产“ARM服务器+操作系统+分布式数据库”搭建融合数据湖,成为证券行业首家实现数据仓库全栈自主可控的券商。数据存储实现了贴源数据层、轻度汇聚层、基础模型层,并按照业务领域建立了数据集市、指标库和标签库,实现对数据资产的统一管理。计算存储不仅要处理“初数据”,更要借助金融科技“粗加工”形成“新数据”和“精数据”。例如,应用人工智能技术手段将非结构化数据转变为以特征变量为基础的结构化数据就是“新数据”。“精数据”是指融合金融知识形成市场、风险、运营、财务等领域指标的数据,便于业务人员认知并在业务运营及决策中发挥作用。

4.工具平台

工具平台是数据中台发挥价值的利器,包括数据开发平台、报表与分析平台、数据挖掘与探索平台、人工智能平台、数据门户、数据管控平台等。

数据开发平台:实现大数据处理链路全过程的功能开发,包括数据采集加工、任务调度、运维监控等,内含丰富的开发组件,支持低码开发模式。

报表与分析平台:提供了数据分析的手段及报表展现的途径,为各业务条线提供以数据为支撑的报表增值服务。

数据挖掘与探索平台:为数据科学家、数据分析师、业务人员提供稳定、高质量的跨主题数据沙箱环境,集成统计分析、知识图谱、NL2SQL等工具集,结合不同的场景积累相对成熟的数据能力解决方案。

人工智能平台:涵盖大规模机器学习和深度学习框架,为各类应用提供AI引擎。

数据门户:通过统一门户实现数据资产的集中管理与数据应用的汇集,包括数据资产目录和全景图、数据服务能力地图、数据应用集中展示、数据服务接口和权限控制等。

数据管控平台:建立了统一的企业指标库,有效地管理数据资产,分析数据加工关系,绘制数据地图:发现数据质量问题,支持数据标准的规范治理。

5.数据即服务

数据中台提供统一的、面向应用、主题式的数据服务,将数据资产以服务形式对外提供,实现了DaaS,同时提供以业务为导向的数据服务能力地图,让前台应用更清晰的使用中台的各类数据,实现以数据驱动业务,形成助力前台、连接后台的服务能力。DaaS提供多样的数据服务方式:数据服务总线、API、批量数据交换、页面输出、模型输出等;同时提供多元化的数据应用方式:模型、标签、BI、图谱等。

6.数据应用

拓展数据应用融入到业务场景是数据中台落地见到价值的关键。数据应用分为两个层面,第一层面是业务数字化,包括数字化营销、数字化风控、数字化管理、数字化投研、数字化运营等。第二层面是数字业务化,探索数据驱动业务转型,利用数据创造新的业务模式,实现新的运营模式。数据应用依赖于数据意识、全局意识和回馈意识,形成使用、反馈、评价、优化的闭环。数据应用需要深刻理解数据多样性和相关性,深挖业务场景。例如客户画像除了赋能精准营销外,还可为客户管理、经纪业务营销、投行营销、财富管理营销等全领域赋能。数据应用综合使用“新数据”、“精数据”与“初数据”,将数据应用水平提升到更高的层级,真正做到数据应用的“学习历史,描述现在,感知未来”。

7.数据治理

数据治理是从全局视角统领各个层面的数据管理工作,建立数据拥有者、使用者、数据以及支撑系统之间和谐互补关系,确保各方都能得到及时、准确的数据服务。数据治理核心要素包括组织架构、数据需求、数据文化、数据标准、数据质量、数据架构、数据安全等。数据中台建设数据治理要先行。首先,认知层面需要一致语言和数据标准体系,统一的标准和语言,便于全员在数据应用层面达成一致。其次,建立具有数据观的组织体系和建设良好的企业数据文化,数据组织需要明确全面的数据管理、文化等职能职责,同时建立相适用的激励机制;坚持数据向善文化,建立合规合法的数据应用体系。再次,建立有效的数据权限管理体系和数据保密及防攻击体系,并不断跟踪市场领先技术保障数据的安全。最后,数据治理还需要一支能耐得住寂寞的数据基础团队,需要数据战略领导者、数据管理者、数据分析师、数据科学家、数据技术专家以及业务系统专家共同推进。

思考与展望

数据中台是一个庞杂系统工程,包含了技术、方法论、人才建设、跨部门协同、数字化思维等,同时数据仓库、大数据、数据湖等新技术层出不穷,并叠加数据应用复杂性,数据中台建设不是一蹴而就,要做好持续探索、演进的决心和耐心。

首先,坚守初心,破除数据中台迷思,不被繁杂的概念所迷惑,不争论、不折腾,探索中前行。其次,数据中台关键是能力的沉淀,各家企业因地制宜,需要根据业务演进发展逐渐积累,搭建适合企业自身的数据中台,“经营”好全域数据资产,充分发挥数据生产要素作用和价值。再次,以开放的思维、开放的架构加强和业界合作,聚能合作伙伴,融入行业生态,共同推进数据中台的建设。最后,加强具备5种角色的数据中台人才培养。一是做好学习者,努力紧跟技术趋势;二是做好布道者,向全员传播数字化知识;三是做好服务员,努力当好服务业务部门的“店小二”;四是做好情报员,努力收集同行、市场信息,发掘用户痛点;五是做好联络员,努力加强上下内外联动协同。

展望未来,我们会一直秉承“集团化、国际化、信息化”的发展战略,围绕“以客户为中心,打造智慧海通,建设国内一流、国际有影响力的中国标杆式投行”目标,持续加强在数据中台方面的投入,持续加强数据应用并发挥数据价值,实现公司数字化转型战略。

(作者:海通证券股份有限公司软件开发中心总经理  王洪涛)

相关文章