本章節挑選了部分重點行業的典型數據中臺建設及應用案例，爲同行業企業提供相應的借鑑。

2.3.1 金融

基於數據中臺，數據智能驅動中型證券公司數字化轉型

某中型證券公司是國內第一批拿到從事證券投資業務牌照的證券公司。隨着業務發展，面臨着數據開發與應用方面的挑戰。原有的大數據平臺能夠解決大部分數據應用問題，但由於業務變化快，系統上線的速度也越來越快，基於原有的大數據平臺的服務支持存在諸多問題，不僅導致企業資源浪費，還對信息部門的開發工作造成不便。

第一，具有多種並存的數據庫，且業務系統大多是煙囪式的，所以數據存儲分散，交叉使用非常不便；若上線新系統可能造成重複建設，資源浪費。

第二，數據處理缺乏統一的規範，技術人員的處理方式不同，技術能力難以在團隊內複用，也難以拓展至其他項目。

第三，單點開發問題嚴重，企業文檔記錄不完善，數據知識共享不便，導致重複造輪子。

第四，任務調度難。隨着開發任務量增加，如何安排新任務執行才能保證系統不崩潰、不鎖表，是開發人員的一大挑戰。

爲了能夠建立可科學管理、可便捷開發的數據服務，該證券公司基於原有的大數據平臺升級開發數據服務中心，打造自身的數據中臺，爲前臺業務提供快速強力的能力支持，同時實現數據資源複用，業務能力沉澱。

該證券公司採用自研+外購的方式建設數據中臺，在原有的大數據中臺的基礎上進行升級。數據中臺的建設原則是可複用、標準化、安全可靠、能力開放、應用簡單及智能化。中臺整體架構分爲大數據基礎平臺、大數據治理平臺、數據服務中心三部分。其建設核心在於兩方面，一是數據資產，二是數據智能。

大數據基礎平臺是數據的存儲計算中心，數據來源於櫃檯系統、業務系統、子公司的數據庫等多渠道，基礎平臺建立了統一的數據接入、存儲和計算方案。

基礎平臺具有數據工作的統一入口，可以避免開發人員單點開發的問題，以實現工作成果積累和知識共享。

在大數據基礎平臺中，採用了星環科技的分佈式技術，主要技術包括流處理、批處理及AI集羣。離線計算模塊採用Transwarp Inceptor，是可實現完整SQL支持的分析型分佈式批處理數據倉庫，用於構建數據湖、大規模離線批處理系統、企業級數據倉庫。在線計算採用Transwarp Slipstream SQL編程規則引擎，是在事件驅動計算引擎上支持批處理等複雜編程模型的流處理引擎。算法平臺基於數據挖掘平臺Transwarp Sophon Discover打造，能夠進行靈活的數據挖掘分析探索，包含豐富的分佈式算法庫，提供R、Python、Spark的集成開發環境。Transwarp Sophon Discover還整合Notebook工具實現可視化的模型訓練和數據分析，支持團隊協作，內置多種行業模板和基礎架構輔助用戶構建智能應用，如精準營銷、流失預警、文本挖掘等。三者共同構成統一計算模塊，爲該券商數據中臺提供強大的算力。

此外，統一存儲層使用了星環科技的操作型數據庫Transwarp Hyperbase，屬於NoSQL操作型數據庫，可構建海量數據的在線存儲和查詢系統，支持高併發實時數據入庫場景、索引和高併發的數據查詢業務、非結構化數據的存儲分析。

同時，星環的標準產品進行了容器化，促進了大數據基礎平臺的環境雙核部署和安全認證。基於星環的產品，極大節省了探索平臺底層的性能的時間，星環已經將本地環境配置好，使得整個系統能夠高效穩定地運行。

數據治理平臺是該證券公司的自研平臺，數據經過數據治理即轉換爲數據資產，形成了客戶、用戶、產品、企業、資訊等數據集市。不同於其他企業自上而下的數據治理原則，其採用向下而上的原則驅動集團數據治理，在進行數據治理的同時兼顧業務特殊性，這種方式更適合以技術趨動數據治理的中小券商。

基於數據資產，數據中臺將對外的數據服務層包裝成數據服務中心，以微服務的方式構建，通過多種渠道支持前端系統，同時對前端系統開放了API服務、產品化服務以及數據庫的服務。數據服務中心提供了豐富的數據接口和數據字典，不管是業務人員還是開發人員，都能夠比較順利接入到底層的數據。

數據智能不僅體現在前端的業務應用支撐，也體現在對數據中臺的支撐。開發人員接到業務需求之後，平臺會進行靈活的數據字典配置，開發人員只需要配置資源數據字典，任務即自動運行，實現開發運營化。這不僅降低專業人員的開發門檻，還使得平臺的底層代碼池健壯，且系統非常穩定。再基於任務智能調動系統調整任務，最後形成應用，對接業務系統或賦能前端客戶。

基於強勁數據中臺底座，賦能多元化智能應用

在應用層面，基於數據中臺，爲客戶賦能、業務賦能、管理賦能提供支持。

在客戶賦能方面，利用大數據和智能算法，打造專業智能客戶投資工具，例如，在交易服務中結合客戶投資的整個過程，打造交易前、中、後的投資服務；在零售業務線中基於用戶畫像對線上零售客戶實現精準營銷、精準精細化運營服務。

在業務賦能方面，通過報表和各種分析體系等數據可視化平臺，幫業務人員更高效地拓展業務，提升業務效率。例如，提供了業務和領導人員的數據獲取能力，目前已經形成了領導駕駛艙、業務報表、績效考覈、監管報表和用於自身的IT平臺運營監控。

在管理賦能方面，基於數據中臺進將風險數據監控和信用風險各個系統進行有機融合，搭建風險模型，支持企業風控、合規和審計等。

項目進行過程中，與星環合作，直接應用其模塊化產品，降低了數據中臺底層技術平臺的成本投入，使其能夠在自己專長的領域裏有針對性投入資源，包括業務服務、數據分析和數據挖掘技術等，同時，提升了開發效率。

目前，該數據中臺基本上已經具備完整的功能。未來，將會擴充外部數據，例如輿情、資訊等數據，並基於知識圖譜豐富公司業務中臺中的風控以及商機發現部分。同時，會更加側重於非結構化數據處理，例如，投行業務中的合同管理、底稿管理以及業務流程，需要大量圖像識別。

中小證券數據中臺建設經驗借鑑

在項目過程中，該中型證券公司的經驗積累可爲其他中小券商數據中臺建設借鑑。

第一，數據中臺建設須圍繞客戶以及業務開展，一方面更好地解決業務需求，另一方面獲取業務部門的支持與配合。

第二，需要選擇正確的技術方向。首先選擇主流、開放的技術，在POC階段，要讓技術人員實際嘗試使用；其次，選擇的技術要有先進性，能夠提供很多便捷的開發方法；最後，需要具備可持續發展性和自主承接的能力。

第三，注重中臺建設的節奏，本着“有用才做”的原則，需要有一些業務場景率先落地，在這個過程當中逐步將中臺建設起來。

2.3.2 政府與公共服務

某市應急管理局構建統一大數據平臺，實現智慧應急

應急管理涉及衆多場景，傳統管理模式下管理職責較爲分散，難以制定整體的應急規劃。因此2018年3月，全國人大通過組織機構改革辦法提出了大應急體系，把安監、消防、水利等部門都融合到了應急管理部門，從國家層面作出整體規劃，不再侷限於某一領域，而是力求全方位的安全。

部門整合之後，應急管理仍然面臨多個場景數據標準不統一且業務系統碎片化的問題。某市應急管理局面臨着以下挑戰：

1）應急管理對象涉及地震災害、地質災害、森林火災、草原火災、火災事故等，數據資源繁雜，標準不一致，缺乏統一治理和管理，數據孤島嚴重。

2）雖然全市積累了大量安全生產、自然災害和綜合防範等數據資源，但由於數據多頭管理，權責不明確，數據挖掘與分析不足，數據價值和效能未能最大化釋放。

3）數據應用水平低，無法高效支撐對全市運行狀態的全面感知、態勢預測、事件預警和決策輔助等業務應用。

爲了解決上述問題，該市應急管理局提出構建一個統一的大數據平臺，並支撐上層數據應用。該市應急管理局與百分點合作，構建智慧應急統一大數據平臺。

百分點作爲一家數據智能技術企業，在應急管理領域，按照“數用分離、智能驅動”的思路，依託大數據全棧技術和產品，構建符合應急管理需求的應急大數據治理體系，實現數據接入、處理、存儲、應用等全生命週期的管理。

市應急管理局首先通過構建智慧應急統一大數據平臺，消除了數據標準不一致，實現了全市應急大數據全方位獲取、全網絡匯聚、全維度整合的整體信息資源規劃。其次，在大數據平臺之上通過數據融合和挖掘分析，提高了各種數據資源的利用率。同時，通過建模分析預測風險，實現全域感知，將數據資源轉換爲應急決策依據，提升了應急管理決策水平，有效支撐了全市及各區智慧應急應用體系建設。

1）建設智慧應急統一大數據平臺

爲了建設應急數據治理體系，市應急管理局率先構建了城市大數據中心應急專項數據資源體系，各類業務應用得到了統一的數據支撐；通過大數據平臺的建設成果獲取數據，做到了“數用分離”，避免數據重複建設，提升數據使用效率；同時，將數據治理與應急業務結合起來，真正實現了業務系統數據之間的交互、共享、互補、協同。

市應急管理局構建的智慧應急大數據平臺，統一接入局內10個業務系統數據、21家“安委辦”單位應急數據、市域物聯網感知數據和互聯網數據的信息資源，實現全市應急基礎信息匯聚、治理、主題庫構建及信息展示。針對安全生產、自然災害、城市生命線等多個領域的591類、1.6億條應急數據進行了勘探、稽覈、質量分析和提升，實現了應急數據的標準化和全生命週期化管理。

在項目落地的過程中，遇到的難點主要有核心數據來源以及數據質量問題。應急數據有不同的數據層級，獲取數據的來源主要是三方面：一是應急業務內部的數據，可能是跨層級的；二是可以匯聚外部各個委辦局的數據；三是可以向上級申請各部門上報的數據。此外，針對數據質量並不高導致無法使用的問題，百分點與各個業務單位持續溝通，提升數據質量的標準要求。

2）數據融合、數據挖掘分析及可視化展現

在完成大數據平臺建設後，市應急管理局對全市應急全要素數據進行融合和關聯分析，能夠全面實現災前風險分級、災害事故識別和預警、綜合研判、預案關聯匹配、災害趨勢自動分析、救援方案推薦、智能輔助決策、災後回溯評估等業務。針對全市安全生產、三防災害、城市生命線等特定業務場景，實施風險監測預警和主動防範。在可視化方面，市應急管理局基於GIS一張圖展示的全市應急信息資源，可實現應急數據可視化決策。

3）構建智慧應急業務模型

市應急管理局還基於大數據平臺，將人工智能算法與應急業務深度結合，面向安全生產、防災減災、應急救援等業務域構建應急業務模型，實現危化品生產、運輸、存儲、使用的全生命週期管理，自然災害及次生災害風險隱患的動態監測、預測預警等，全面提升應急管理事前、事發、事中、事後四個過程域內風險預測預警能力和聯動處置能力。

應急管理局通過對全市應急全要素數據資源的統一融合治理，極大提高了應急數據資源的綜合利用率，實現了數據資源和業務應用態勢的可視化綜合展示，爲城市“智慧應急”提供數據基礎，釋放了應急數據價值和效能。

智慧應急統一大數據平臺上線後，應急管理局達成了以下目標：

1）通過數據資源池的建立，規範和完善了28大類應急數據應用標準，實現應急數據標準化和體系化管理，提高了數據質量，促進了各系統之間應急信息資源的開放共享和有效應用。

2）在不同來源數據融合治理形成的信息資源庫基礎之上，構建了全域實時風險地圖，匯聚了全域各種應急數據，全面提升了風險管控和監測預警能力。

3）通過算法模型，疊加多源數據分析預測隱患，實現災害鏈的關聯分析和全域感知，推動實現 “事前預警、事中可控、事後聯動、可追溯可評估”的應急全流程管理，從而將被動的應急管理變成主動的應急“智”理，有力提升了科學預防、安全監控、快速反應、智能研判、有效決策的水平。

2.3.3 消費品與零售

數據中臺賦能傳統體育零售商，應對數字化轉型挑戰

滔搏體育（以下簡稱滔搏）是中國最大的體育零售商，作爲耐克、阿迪達斯最大的分銷商，滔搏共代理11家國際運動品牌。同時作爲百麗國際旗下面向體育業務的子公司，滔搏從上世紀90年代涉足體育運動產品的經營業務。滔搏將自己定義成以消費者爲核心的運動零售及服務平臺，從一家傳統的經銷代理向運動服務提供商、體育活動組織方以及運動社交分享平臺三大方向轉型。打通原來分散割裂的門店、渠道、消費者、會員等數據，也成爲了實現轉型不能越過的先決條件，這也對這家擁有近30年曆史的傳統零售代理商的數字化建設提出了新的挑戰。

作爲一家業務模式相對傳統、歷史積澱厚重的零售商，在滔搏業務擴張發展過程中，公司內部信息系統大量建設且缺乏統一管理，各類數據標準化程度低、對接難，組織間信息壁壘和數據孤島逐步形成，加之數據統計口徑不一致，長期存在業財差異無法解決。

同時，滔搏原有的數倉存在性能瓶頸，數據指標計算時間長，無法滿足新業務場景的需求，且原有的數倉架構擴展性差、維護成本高。

在拆分上市後，滔搏將數字化轉型、線上線下消費者互動的深入整合、基於客戶需求的供應鏈升級作爲了其業務戰略的重點方向。爲滿足戰略規劃的落實，建立一套高效、全面、業務導向、敏捷響應的數據中臺是滔搏迫在眉睫的現實需求。

滔搏數據中臺搭建模式

在數據中臺搭建中，滔搏選擇了滴普科技作爲合作伙伴。滴普科技是一家全場景數據智能服務商，有深厚的技術和平臺建設經驗積累，爲包括零售、快消、汽車、3C、工業等在內的衆多不同行業的頭部客戶提供了標杆性的數字化轉型服務。

滴普科技爲滔搏設計並建構了一整套以互聯網中臺技術架構爲藍本的數據中臺，打通了滔搏包括門店、財務、CRM、OA、HR、會員、運輸管理等在內的23個業務系統，通過數據資產化、資產服務化、服務業務化，實現數據賦能零售業務目標。

在中臺的落地層面，在綜合考慮業務/財務維度的數據標準和數據模型基礎上進行平臺建構，同時統一滔搏各業務線、前後端的數據採集、數據處理、數據治理、模型管理、數據服務，從源頭到應用端到端提升標準化水平。

得益於互聯網架構，滔搏數據中臺的架構系統自主可控、高可用且易擴展，提供例如高性能分析能力、面向業務的服務管理等支撐快速迭代的能力。在確保數據準確易用的同時，滿足了對業務敏捷響應的數字化平臺建設初衷。

同時，新的數據中臺擁有健全的安全保護機制，提供多租戶管理、角色權限管理、認證鑑權、數據加密脫敏、安全審計等功能，保證滔搏旗下衆多部門僅可以保僅可訪問允許的數據，避免數據泄露。

數據中臺賦能滔搏數據服務體系

通過建構數據中臺，滔搏日常運營分析需要的多個數據源系統得以整合，數據體系設計得以規範，數據差異風險有效降低，賦能業務的綜合分析能力迅速提升。滔搏的數據資產管控體系也得以同步建立，通過對現有數據資產的盤點進行數據資產運營，提升數據的有效性、可追溯性，並逐步改善數據準確性問題。

通過對數據中臺的升級，滔搏原有的數據倉庫處理與響應效率也大幅提升，響應時間從原來的2小時縮短到1小時左右，增強了對前端業務快速變化的響應能力。

通過數據中臺進行全量數據封裝透出，支撐各個數據業務，保障數據獲取的及時性和穩定高效，並可支持數據能力不斷擴展，形成可靠的數據服務體系，爲查詢服務、分析服務、檢索服務、精準營銷、個性化推薦、大數據風控等應用場景提供良好的數據支撐。

2.3.4 工業與能源

國網某省級電力公司藉助數據中臺建設能源互聯網

我國電網規模已超過美國，躍居世界首位。但是隨着人們用電量需求的日益增加以及現代化進程的不斷推進，人們對電力系統的要求越來越高——需要提高運行水平和運行效率、保障可靠性和安全性、減少系統故障率和故障時間。

當前，數字革命與能源革命相融並進，電網形態逐漸向能源互聯網轉型。國網從總部層面開始統一規劃，提出數字化轉型和能源互聯網的戰略目標，要求自上而下搭建數據中臺。

國網某省級電力公司，有龐大的業務系統和組織架構體系，無論是數據量還是業務系統數量都是一個龐大的數字，在數據治理的過程遇到以下問題：

1.從數字化現狀來看，前期的信息化建設在支撐各類專業業務開展的過程中積累了大量高價值的數據資產，但是系統的相互獨立也造成了業務壁壘的存在。

2.數據應用方面也存在瓶頸，主要表現在四個方面: 各業務系統數據交互難、企業數據資產綜合利用效率低、各系統數據冗餘和不一致以及跨系統應用難以獲得穩定的數據支撐。

爲了解決上述問題，國網某省公司與明略科技合作，開展了數據中臺系統的建設，以達到基於中臺實現數據資產管理、通過數倉實現各業務域標準業務模型、建成高效業務數據服務體系的目的。

明略科技是一家數據中臺和企業智能決策提供商，致力於通過大數據分析挖掘和認知智能技術，推動知識和管理複雜度高的大中型企業進行數字化轉型。明略科技的數據中臺以多維數據的感知和匯聚能力、基於知識圖譜的數據融合打通能力、基於智能數據引擎的數據自服務能力，賦能客戶的中臺建設，實現客戶數據的資產化、智能化和服務化。

國網某省公司前期針對數據治理層面的問題構建了數據中臺；中後期的項目建設在數據中臺基礎上進行了改善，做了一些基於數據中臺的應用，利用知識圖譜技術同時解決了數據質量、數據關聯問題和業務壁壘問題等。

1）數據中臺建設

數據中臺的建設任務是針對業務需求建立數據模型，形成標準化、高質量的企業數據資產，並對外統一開放服務。

在數據資產管理方面，國網省公司從數據匯聚、數據加工、數據管理、數據服務整體上規劃，以數字倉庫建設作爲治理重點，基於數據倉庫的業務模型建設和管理，在整體上提升數據中臺和數據資產管理的數據服務能力。

在數據倉庫建設方面，國網省公司結合SG-CIM模型與維度建模方法，按主題域和業務活動進行業務模型建設和管理，建立了以資源驅動爲特徵的近源層、以業務驅動爲特徵的明細層、以需求驅動爲特徵的加工層以及以應用驅動爲特徵的應用層。在這四個層級之上，國網省公司完成了客戶、設備、項目等9大主題域、590多個數據模型、300多個業務模型的搭建，並通過這些模型來支撐各類上層應用的高效應用。至此，數據中臺能力逐漸顯現。

2）構建知識圖譜

基於數據中臺的典型應用是知識圖譜構建，例如設備全景圖譜和設備拓撲圖譜都是基於數據倉庫構建。在知識圖譜的支撐下，再賦能數據應用，實現精確計算停電範圍等智能應用。

以計劃性停電工作爲例，國網省公司將電網相關設備的拓撲圖以知識圖譜的形式進行了存儲、表示，定義了實體類型、屬性、關係等，根據需求和現有數據，共設計了15類實體、16種關係、68個屬性，通過從不同來源、不同結構的數據中進行知識抽取，形成知識存入知識圖譜，服務於諸如停電範圍自動計算電力行業實際工作。

在該知識圖譜中，國網省公司利用圖計算在“圖”上通過深度檢索、廣度檢索、最短路徑檢測以及停電模式相關的數據挖掘，實現了對停電範圍的自動檢測。

工作人員只需輸入需要計劃性維護、排故的臺區，根據設備依賴關係即可自動分析停電範圍與受影響的臺區，精確計算出停電範圍。與傳統的人工手工對照CAD一次接線圖以及範圍影響分析的方法相比，大大節省了所花費的時間，同時也提高了分析的準確性。

在精確計算出停電範圍後，國網省公司基於語音技術進一步搭建的語音短信下發系統可提前通知臺區內的小區居民停電檢修時間。

通過整條鏈路的打通，國網省公司大幅縮短了從停電範圍計算到短信下發的時間，實際解決了供電公司配網、調度過程中的重複勞動、效率低下問題，打通了各業務部門的業務系統。

數據中臺和知識圖譜平臺上線後，截止目前，明略科技協助國網省公司一共打通了136個業務系統，接入了6300多張報表，2800多億條數據。

未來，國網省公司會將更多業務系統打通，同時接入更多實時數據 ，建設實時數據倉庫，進行更多數據創新應用探索。

03數據智能應用趨勢展望

3.1 知識圖譜推動非結構化數據價值挖掘

企業所擁有的數據中，70%爲非結構化數據，包括圖片、視頻、文檔等。未來，5G、物聯網等技術的加速落地也會催生更多的非結構化數據。對非結構化數據的價值挖掘是數據智能應用需要解決的問題。

非結構化數據的處理技術門檻更高，需要應用機器學習、知識圖譜、NLP等技術。其中，知識圖譜技術可以實現從海量非結構化數據中抽取結構化知識，有效推動非結構化數據的應用。尤其是知識密集型行業中，知識圖譜可以將複雜的知識領域及知識體系通過數據挖掘、信息處理、知識計量和圖形繪製顯示出來，是企業知識運營的重要支撐。

築森設計基於非結構化數據中臺賦能知識運營體系

築森設計是一家位於行業前列的建築設計公司，總部位於常州，是新城集團的子公司。

對於建築設計公司來說， 知識的運營和傳承至關重要。新員工入職後通常需要經過專門培訓才能上崗，企業需要知識運營系統幫助新員工自主學習，瞭解此前的優秀建築設計是如何完成的，以提高企業內部生產力。

目前築森設計的知識庫類應用是獨立的知識門戶類系統，比較封閉，且與生產系統脫節。該知識庫內的內容來源大多依賴於人工整理、手動上傳等方式，造成了知識庫運營的壓力較大，且傳播、推廣的知識沒有針對性，新員工無法有效學到有實際意義的知識。也有很多企業對圖紙進行加工，加上一些文字描述或者文案以提供指導性意見和技術要點，實現知識運營。但這類知識運營不僅工作量大，而且對於負責知識運營的人員的水平和要求非常高。同時，僅僅對圖紙進行標註無法完全還原設計全過程。

築森設計的核心業務系統爲北京理正協同設計系統，是圖元級的二維協同設計系統，能與工作流系統協同，實現圖紙的質量控制和追蹤。該系統所管理的對象是項目圖紙及相關資料，其中的設計文稿、標杆項目的設計過程，都是寶貴的數字資產。如何基於協同設計平臺中的數字資產實現知識運營，有針對性、指導性的進行專項知識輸出是築森面臨的一大難題。在此背景下，築森聯合愛數建設其知識運營體系，以期還原設計的生產過程，實現高效的知識運營。

上海愛數信息技術股份有限公司是一家大數據基礎設施提供商，致力於爲政府、公共事業及企業數字化轉型賦能。愛數基於AnyShare Family 7幫助築森搭建其知識運營平臺。

知識運營系統需要還原整個生產過程，具備思路還原的能力，核心在於兩方面。第一是要還原設計關鍵點，例如需要記錄設計師易犯錯誤的環節、常犯錯誤的版本更新與迭代等；第二是還原設計過程，需要記錄協同設計平臺每個元數據的屬性和相互的依存關係。

愛數打造知識運營系統，將其與北京理正協同設計平臺進行對接。築森的設計人員每天在協同設計平臺上產出大量的設計圖紙，這些設計圖由大量的dwg小文件組成，知識運營系統需要“抓取”這些dwg文件的屬性及依賴關係，並同步寫入AnyShare Family 7元數據引擎中，記錄它們之間的關係從而記錄整個協同設計的過程。例如，平臺可顯示設計師在項目週期中的某個點犯了什麼錯誤，在後期的工作中要注意哪些問題。愛數將築森設計在項目設計過程記錄並“轉化”爲寶貴知識，開放給知識庫應用，將這些來源於生產的“經驗”轉化爲知識，藉助知識庫應用對這些知識進行有針對性、有借鑑意義的知識運營。

AnyShare Family 7具備兩個獨特的優勢。一是由愛數非結構化數據中臺所提供的AnyShare Family 7集羣NAS功能可以面向業務系統提供存儲空間，替代理正協同設計系統將數據存放於服務器本地硬盤上，在保障數據安全的同時考慮未來數據量爆炸增長帶來的挑戰，構建屬於築森的企業內容總線。基於分佈式存儲，愛數AnyShare Family 7可較容易地實現擴容、升級、數據遷移，甚至用戶都不需要數據遷移，未來只需要搭建應用系統。

二是AnyShare Family 7具有元數據引擎，元數據引擎具有對接功能，主要通過API形式與築森設計協同設計系統對接。系統抓取海量dwg文件之間的“依存關係”並記錄於AnyShare的元數據引擎中；同時，元數據引擎能夠對元數據進行加工，增加元數據的註釋性內容。根據實際知識運營工作中遇到的“新增需求”，可以新增更多維度的元數據，實現有針對性、有指導性的知識運營體系，將“設計過程”記錄並存儲，實現非結構化數據的結構化管理。

在傳統模式中，新員工可能經過數月的培訓才能正式接手工作，基於愛數非結構化數據中臺解決方案，首先，築森構建了圍繞知識數據的內容管理平臺，打通各個子業務系統，實現內容統一管理，知識統一運營，實現從項目管理、設計協同、圖紙出版到最後項目歸檔的內容知識流轉複用；

其次，爲築森設計打造端到端知識運營體系架構，還原優秀項目設計過程、傳遞成功經驗、賦能一線設計人員，使得原線下、脫離項目實際情況的的知識運營體系轉變爲線上、連接業務、複製真實項目成功經驗並進行傳播的知識運營體系，同時，築森可以根據相應的用戶開放不同的查看權限，員工可以自主學習，相比於傳統知識運營，更具有指導性的意見，有效提高人員生產力，可以極大減少從培訓、學習到上崗的時間週期。其他的日常設計師也可以對自己不足的知識點查詢補漏。

最後，由於設計協同過程是基於項目管理進行的，築森可跟着項目進度實現知識運營，項目完結即自然形成項目設計知識資料，可供新項目參考複用，打造了靈活高效的業務流程和創新的商業模式。

未來，愛數將繼續爲築森提升知識運營體系的優化。項目一期主要爲理正協同設計平臺做底層開發及企業內部體系梳理；二期規劃中，築森所有的應用系統數據都會遷移到AnyShare Family 7中，並應用知識圖譜技術，實現以文搜圖、以圖搜文的功能；三期規劃中，愛數會根據築森的實際需求構建企業內部的數據湖，實現針對於非結構化數據的數據洞察，例如，過去築森爲客戶進行土地競拍設計時，都是基於日常經驗和預算進行加價，但基於愛數數據湖的解決方案，系統可以通過海量非結構化數據分析，爲築森提供土地競拍設計服務的時候提供指導性的意見。

3.2 數據應用實時性需求不斷提升

隨着數據應用的深入，企業對數據驅動業務決策的實時性要求在不斷提升，以實現更敏捷高效的業務運營。

企業需要從技術和業務流程兩方面進行實時性數據應用的落地。在技術層面，可以建立基於流處理和實時計算的數據倉庫，保障實時監控環境；在業務流程方面，需要明確業務層面的實時性需求，並設計相應的實時指標，以便業務人員監控業務變化，並及時做出實時反饋與處理。

某頭部券商實時數據中臺，支撐上千實時業務指標監控

某頭部券商國內擁有證券市場業務全牌照的一流券商，致力於“全面提升核心競爭力，打造具有國際競爭力的中國最佳投資銀行”。但隨着業務、技術的發展，該券商在內部流程和外部業務方面都面臨着挑戰，也提出了相應的數字化升級需求。

該券商此前已經建設了成熟的大數據平臺。隨着數據應用走向深入，衆多金融機構開始探索實時數據大數據平臺，其中，券商對此需求更爲迫切。不同於銀行的存貸業務，證券的實時數據都是客戶交易數據，且證券單客戶交易頻率遠高於銀行，因此，券商需要快速處理事件和響應客戶需求，對系統實時分析的要求高。例如，其中關鍵業務場景之一是異常交易監控，監控是否有擾亂市場秩序的大單，如瘋狂下單、拉抬股價、打壓股價，大單委託、超額委託、超額撤單等擾亂市場秩序、欺騙股民的行爲。

在此背景下，該券商的業務體系需要向實時化迭代，提高響應速度和運營精細化程度，這對數據中臺和業務系統提出了要求：支持高併發、高準確性、實時反饋等。過去該券商的數據處理與反饋都是以批數據計算爲主，未來需要以流計算模式進行，以實現場景觸發式服務，只要客戶觸發一項功能就會觸發後面的整套流程。

這些業務需求也對IT團隊的開發運維提出了新的要求。一方面，基於Flink流計算框架開發的門檻高，目前該券商開發模塊上傳至生產環境，包括流程控制、數據源適配等，大多都要靠寫代碼實現，開發週期長，且企業內部缺乏足夠的研發人員；另一方面，基於Flink的系統運維監控難。不同於傳統較爲成熟的數倉和Hadoop的監控體系，流數據處理的延時、反壓不適用於傳統的監控邏輯，需要監控整套工作流的各環節作業，該券商以往通過研發人員寫腳本實現相應的功能，但不夠平臺化。

因此，該券商需要藉助精通Flink、技術能力強、能夠提供實時計算技術支撐的外部廠商，構建實時數倉，爲該券商搭建實時數據中臺打好基礎。同時，降低開發門檻，讓更多的初級或中級開發人員甚至業務團隊都能使用大數據平臺，提升開發效率。

該券商選擇與袋鼠雲合作。袋鼠雲是行業領先的數據中臺服務商，致力於數字化基礎設施建設。公司研發了雲原生一站式數據中臺PaaS“數棧 DTinsight”，基於數據中臺的理念和產品，幫助客戶建設自主可控的企業數據中臺和數據共享能力中心，挖掘數據價值，實現企業數智化轉型。

“數棧DTinsight”具備天生雲原生、自研核心引擎、金融級安全特性，覆蓋數據源採集、離線計算、實時計算、數據挖掘、數據治理、數據資產管理、數據共享服務等整個數據中臺生命週期，滿足企業建設數據中臺的多種需求；同時，兼容主流大數據平臺，或基於自有計算引擎，可以快速完成大數據平臺從0到1的搭建。

該券商實時數據中臺項目分兩期進行，一是實時數倉建設，二是大數據開發平臺建設。

在實時數倉建設階段，袋鼠雲幫助該券商在前期制定標準、選擇最終的技術棧，統一數倉建設的標準。基於數棧 DTinsight幫助客戶構建實時數倉，實時匯聚包含證券交易、融資融券、個股期權等多個領域數據流，基於Flink技術提供實時數據源，推進企業UCM（統一客戶模型）體系構建，快速響應各業務系統數據應用需求，實現全域用戶狀態實時感知，爲上層的業務方提供基於客戶狀態的實時數據處理，幫該券商重構底層實時數倉，打牢實時數倉的根基。

在大數據開發平臺建設階段，該券商將基於袋鼠雲的標準化產品數棧DTinsight開發模塊，提高開發效率、數據資產管理效率，加強其開發管理能力。

基於實時數據中臺，該券商在實時數據計算與監控、系統穩定性和開發效率方面都有了顯著提升。

在實時數據的計算和監控效率方面，過往，該券商的數倉70%以上的指標計算都不能在三秒鐘以內完成，基於數棧 DTinsight平臺不斷優化，該券商可以解決大規模數據計算問題，在計算指標數量大幅增加的前提下，也可以實現在3秒內完成90%的指標計算。例如，該券商可通過流計算搭建實時的反洗錢和風控模型，針對櫃檯、APP的任何操作和用戶行爲系統可以馬上給出結果並進行審批。若監控到用戶交易異常，中央監控平臺會即時出現彈窗，業務人員可及時處理；同時，也會有MOT、短信、A PP彈窗提醒，提醒員工或客戶及時處理。

基於實時數倉，該券商的實時業務指標數量大幅增加。2018年該券商的業務只有幾十個實時指標，從2019年至今，已有1000多個實時指標。例如， 客戶中籤新股後是否有繳款就是新增的實時指標，投顧無需像過去一樣不停地打電話詢問客戶是否已繳款，同時提升了企業運營效率和客戶滿意度。

在穩定性方面，在應用數棧 DTinsight平臺之前，該券商自行搭建數倉和Flink集羣，但系統不穩定，不敢將關鍵應用遷移至實時數倉。在袋鼠雲的技術支持下，該券商系統更加穩定，可以將類似反洗錢等重要應用都遷至實時數倉，支持企業的核心決策，系統報錯率大幅降低。同時，數棧 DTinsight平臺的工程化更好，可以大規模使用。

在開發效率方面，數棧解決了研發標準化和研發便利化的問題。數棧 DTinsight平臺是基於開源技術框架的成熟商業化產品，該券商無需把時間花在複雜的流處理代碼開發上，只需要關注業務邏輯及數據建模，通過SQL化開發，即可快速響應業務部門實時數據需求，實現實時開發的統一規範。基於數棧DTinsight平臺，實時數據開發效率提升2倍以上，實時任務排錯及解決時間減少80%，實時業務消費數據時效從秒級提升到毫秒級。

目前該券商所有的客戶數據都已經實時化。未來，在業務層面，該券商要實現產品數據、公司經營數據實時化，以消息流的模式驅動公司業務，甚至實現實時化決策；在技術層面，該券商正在努力實現批流一體化，以一套代碼實現批處理與流處理。

3.3 數據應用走向平民化

隨着數字化轉型的推進，企業數據應用場景將不斷拓展，且數據服務需要快速響應日益增長的業務需求，要求數據應用走向平民化。

一方面，數據應用不僅限於服務決策層，還要服務大量的一線業務人員和數據分析師。另一方面，更多業務人員需要參與到數據開發工作中，實現自助式的數據服務，以提升效率。在這樣的需求之下，敏捷BI、數據科學與機器學習平臺等可以降低數據開發和使用門檻的技術應用的價值凸顯。

3.4 領先企業走向產業賦能

越來越多的行業頭部企業正在成爲數據智能應用的行業領先企業。這些企業一般處於產業鏈中的核心地位，對產業鏈的掌控能力強，不僅具備較強的技術能力，還擁有更多場景的數據沉澱。這些領先企業不僅在自身業務中應用數據智能，也逐步將能力向外輸出，有機會服務於上下游企業。

對於企業而言，賦能產業鏈上下游，構建數字化生態，一方面能持續通過數據智能的能力強化企業在行業內部的競爭壁壘；另一方面，也能逐步實現自身商業模式的升級。例如，傳統零售企業可以通過數據智能的應用與對外賦能，逐步轉變爲一家科技公司。

結語

隨着新基建的政策落地和加速推進，各行各業在都加快數字化轉型的步伐，數據智能已經成爲企業驅動業務增長、尋求轉型的主要支撐。企業數據爆發增長、海量集聚，建設數據中臺以支持數據資產管理和數據智能應用，是大部分企業當下的必經之路。

但是，目前數據中臺的建設和數據智能的應用仍在探索初期，在技術與產業方面仍然面臨着諸多挑戰。在技術方面，5G、人工智能、物聯網等技術技術融合度較低，與數據智能結合應用的成熟度還不足；在產業方面，目前僅有部分行業的部分場景實現數據驅動業務，仍有大量行業需要進一步加強業務的數字化改造，探索更加廣泛的數據智能的應用場景。

未來，數據智能的應用不再僅限於部分企業內部。隨着技術成熟和產業發展，數據智能的應用場景會逐步從企業自身應用拓展至全產業鏈的業務協同，這不僅需要產業上下游共同協作、統一標準、開放數據與場景，還需要行業中具有技術與產品領先性的優秀數據智能廠商，共同賦能，將成熟的數據智能產品與解決方案應用於多行業多場景，推動產業智能。

相關文章