Kyligence公司解決方案

公司名稱: Kyligence

公司介紹:

Kyligence （上海跬智信息技術有限公司）由首個來自中國的 Apache 軟件基金會頂級開源項目 Apache Kylin 核心團隊組建，是專注於大數據分析領域的數據科技公司。Kyligence 提供基於Hadoop 的企業級智能大數據分析平臺，在PB（petabyte）級數據集上提供亞秒級查詢響應和互聯網級的高併發訪問。

目前，Kyligence 已贏得了海內外多家保險、證券、電信、製造、零售、廣告等行業的企業級客戶。公司總部在上海，同時，在北京、深圳等地設有辦事機構, 在美國硅谷設有分公司，目前，已獲得來自紅點中國、思科、寬帶資本、順爲資本及斯道資本（富達國際自有投資機構）等投資機構的多輪投資。

解決方案介紹:

高性能的多維分析解決方案

背景

OLAP（Online Analytical Process，聯機分析處理）是數據倉庫系統最主要的應用，通過對業務部門常用的維度和指標進行建模和預計算，可以讓業務分析人員快速、靈活地從不同業務視角對數據進行下鑽、上卷、切片等複雜的分析操作，以達到深入理解數據的目的，從而更加高效地支持日常的業務運作。

需求

在面對不斷增長的海量數據和爆發的分析需求時，傳統BI工具的Scale up架構常常會陷入數據規模受限、Cube維度數目和容量受限、查詢響應慢、併發支持能力差等技術侷限，大大限制了OLAP分析的應用場景。IT運維方不得不每年投入大量經費對集羣進行擴容，來滿足日益增長的數據量和業務需求，這種方式成本高，週期長，效果也不理想。

解決方案

Hadoop技術擁有低廉的存儲成本、靈活的擴展架構，強大的並行處理能力，使得用戶能夠擺脫傳統DW/BI技術在性能、成本方面的限制，對海量結構化或非結構化數據進行存儲、加工、交互式多維分析，以Hadoop技術爲核心的生態圈業已成爲大數據平臺事實上的技術標準。

Kyligence依託Hadoop的HDFS分佈式存儲技術和MapReduce/Spark分佈式計算引擎，能夠提供萬億數據規模下的秒級查詢性能。基於Scale-out架構的Cube技術，存儲成本低，運維方便，性能穩定高效，支持高併發訪問，且無需頻繁擴容集羣。另外，Kyligence提供對ANSI SQL的良好兼容性和豐富的ODBC/JDBC/Rest API接口，使得多維分析應用從傳統數據倉庫平臺遷移到Hadoop平臺的成本低，週期短。

解決方案優勢/帶給客戶的好處:

Kyligence能夠滿足超寬表，超高基維度（千萬級~億級），超多維度組合（百級維度數），無容量上限的Cube構建需求，通過Hadoop強大的並行計算能力加速Cube構建時間，同時基於Kyligence獨有的列式存儲引擎技術，使得Cube的查詢性能在秒級實現，從而支撐更廣泛的業務應用和更佳的用戶體驗；另外，Kyligence提供線性擴展能力，輕鬆實現1000+的高併發支撐能力，使得多維分析平臺開放給更廣泛的業務羣體成爲可能，從而進一步提升企業運營和管理效率。

收益：• 秒級查詢性能：查詢性能提升了約2000倍，平均達到5秒

• 更佳的Cube構建：Cube構建時間減少了75%

• Kyligence支持權限數據和Cube數據分離存儲，遷移後Cube數量降低到幾十個，減輕了運維的壓力

• Kyligence同時支持Cube多維分析和明細數據查詢，大大簡化了原有的開發工作量

• 支持高併發查詢：單節點單實例50併發/秒，且併發量可以根據業務增長需要進行水平擴展。

解決方案使用場景和案例:

案例

以某全國級金融企業爲例，在全國有上億客戶，每天的交易明細數據超過10億，一直以來深受傳統數倉在數據容量、查詢性能方面的限制，在將數據遷往Hadoop平臺後，選擇了Kyligence產品來建設其企業級多維分析平臺。

痛點：

• 最大的Cube每天構建時間超過20小時，業務部門只能看到2天以前的數據

• 基於Cube的單次多維分析需要1小時才能返回結果，嚴重影響業務部門的工作效率和正常分析流程

• 將Cube數據固化成報表文件來提升查詢性能，帶來大量額外維護成本的同時，徹底喪失了通過Cube進行OLAP多維分析的靈活性