据深圳银兴智能数据有限公司（简称：银兴智能）介绍，随着广发银行大数据平台hadoop集群应用场景越来越多，研发中心、数据中心、卡中心和分行等部门均在大数据平台上进行数据开发和数据分析，由于数据开发和分析的场景各不相同，使用和购置的资源也不同。故需要通过多租户对不同用户资源进行管理。

广发银行拥有5个大数据平台hadoop集群，分别是CDH应用集群、CDH分析集群、CDP集群和FI分行集群和离线集群，使用的产品为华为的FusionInsight和Cloudera的CDH/CDP。两类集群在管理用户、租户以及数据授权时的操作方法差别较大。FI在管理页面配置，CDH需要登录服务器用命令行的方式配置，随着集群规模不断扩大，这种不同的配置方式给运维工作增加了很大的压力。在此背景下，银兴智能与广发银行签约合作，助力广发银行自研一套hadoop集群资源统一管理工具，提高运维工作的效率，简化资源管理工作。

项目目标

该需求投产上线后，可进一步提升大数据平台hadoop集群资源管理水平，快速实现复杂场景的业务需求的落地实现。

解决方案

源管理平台分为三大模块，一、资源管理模块，通过hadoop提供的接口和sdk，实现对多集群用户、用户组、角色和租户管理二、集群监控模块，通过hadoop提供的接口和sdk，对集群状态、租户信息和使用情况、Yarn任务和ACL目录授权监控信息进行采集，并通过可视化图表对上述采集到的信息进行展示三、平台管理模块，管理平台本身的用户、用户组、角色及平台的配置与权限，并实现审计管理等功能

项目成果

通过可视化界面进行集群管理，提高运维效率和准确率

通过集中化集群管理，提高对集群管控能力，减少生产事件

提供集群租户使用资源报表功能，拥有对集群租户使用情况的全景视野，实现租户精细化管理

Yarn任务监控和导出功能，实现集群大任务监控和定期任务优化

打通行内其它系统，与其它系统实现数据共享，增强集群上下游数据交互能力

相关文章