【中国人民银行金融信息中心主任 励跃】运用大数据技术实现数据综合分析利用
日期:2023-12-11 20:10:56   来源:新闻动态

  原标题:【中国人民银行金融信息中心主任 励跃】运用大数据技术实现数据综合分析利用

  随着大数据时代的来临,党中央、国务院提出加快实施国家大数据战略,把大数据作为基础性战略资源,全方面实施《促进大数据发展行动纲要》。按照范一飞副行长“打造数字央行”的指示精神,作为人民银行信息处理中枢,金融信息中心以国家发展改革委促进国家大数据发展重大工程建设项目为契机,推进、构建金融大数据分析及服务平台,实现金融数据的有机整合,为经济金融平稳运行和健康发展提供数据支撑,提升国家金融监督管理与金融宏观调控的预见性、针对性和有效性。

  目前,人民银行已经建成、运行了多个重要业务系统,基本实现了中央银行业务的全覆盖,完成货币金银、征信、国库、金融统计、反洗钱等业务的全国数据集中,为制定和执行货币政策、维护金融稳定、提供金融服务给予了有力的技术支撑。金融信息中心在调研中发现,人民银行各业务司局的数据以条线化管理为主,数据只能被各自的应用系统读取,各类业务系统之间未实现相互连通,实际形成一个个数据孤岛。各业务司局在数据共享方面缺少制度和机制,全行层面缺乏统一的数据规划,数据综合利用水平较低。

  2010年前后,大数据的出现将大数据分析技术从传统的数据分析技术中分离开来,传统的数据分析、数据挖掘通常是基于结构化、关系型的数据,而且往往是通过抽样分析对整个数据集进行预测和判断,这就要求提供抽样的样本必须是高质量的,否则预测的结果会出现很大偏差。而大数据分析,是对全量数据的分析,数据可以有某些特定的程度的冗余。另外,传统数据分析往往是某种因果关系的推理过程,而大数据分析更关注规律性挖掘和关联性分析,属于认知方法上的转变。

  在掌握全量数据的情况下,相对于使用单一业务条线的数据而言,决策的前瞻性和精准性能得到非常明显提升。针对人民银行数据综合治理现状,亟需组织并且开展全行范围的数据规划和治理工作,盘活存量数据资产,更加有效地挖掘数据价值。同时,近年来金融科技(FinTech)的加快速度进行发展催生出第三方支付、网络借贷、股权众筹融资等新兴金融业态,对于中央银行而言,需要及时和全面地掌握这些机构的业务数据,通过综合分析不断细化和完善监督管理要求,及时防范和应对各类风险。

  按照2017年人民银行科学技术工作会议的决策部署,金融信息中心将开展金融大数据分析及服务平台建设,对人民银行各业务条线、外部机构的数据资源进行梳理和整合,为各业务司局、分支机构提供基于全量数据的服务,协助其提升整体数据分析能力,以此来实现对经济、金融运行更为准确的监测、分析、预测和预警,提高综合决策的前瞻性和精准性。

  建设金融大数据分析及服务平台是一项复杂的系统工程。一方面,大数据技术本身涉及内容广泛,包括大数据基础架构、基于业务需求的建模和挖掘技术、数据治理方法等,需要各领域的专业相关知识和人才储备;另一方面,业务部门对条线化的数据分析模式已经固化,难以适应当前形势发展要求,技术部门要与业务部门充分沟通,引导其转变观念,共同建立高效的协作机制。借鉴国外央行及国内各行业具体案例,金融大数据分析及服务平台建设实施大体可分为三个阶段。

  基础平台为海量数据的采集、存储、分析和加工提供基础环境,超大数据和超强计算能力是基础平台的必要条件,平台的规划和建设是工程实施的第一步。

  与以业务流水数据为主的商业银行不同,人民银行的数据资源更复杂,既有针对具体业务的细节流水数据,也有监管上报与调查统计得到的综合统计汇总数据。根据人民银行的数据治理需求,基础平台要实现对各类海量结构化数据、半结构化数据、非结构数据的实时或批量的采集、存储和建模计算,因此平台的计算能力、容量、高可用性、可扩展性、安全性、灾难应对能力和自动化运维能力是规划阶段要关注的重点。在IT架构规划和设计过程中,要广泛调研和开展技术交流,借鉴国际国内大数据技术标准,采用hadoop、spark等主流的大数据处理框架,能同时支持批处理和流式处理模式,确保IT架构对应用架构和数据架构的有效支撑。在产品选型方面,基础平台将采用业界成熟、通用且符合国家安全可控要求的软硬件产品,避免在硬件与软件、软件与应用上的强依赖关系,掌握关键技术的选择权,摆脱在关键信息和网络基础设施领域对单一技术和产品的依赖。

  在基础平台搭建完成后,下一步是将分散在各业务司局、外部机构的数据资源逐步“迁移”到基础平台上,实现数据的整合与共享,构建全行统一的数据视图,为数据综合利用奠定基础。

  在这个环节中,一方面,要主动与各业务司局、外部单位沟通,全面地梳理分散在各司局、各机构不同业务系统的数据资源,在业务部门的协助下,掌握各类业务数据之间的逻辑关系和层次结构,为数据“迁移”作好准备;另一方面,在技术实施层面,制定统一的数据接口规范,通过数据清理、转换和标准化等手段,按照“梳理完毕一个、迁移一个”的思路,将各类业务系统的数据资源逐步“迁移”到基础平台上。同时,与业务司局一同研究建立数据采集和共享利用机制,根据中央银行监管要一直扩大数据采集范围,丰富数据采集方式。在采集范围上,除现存业务系统的数据资源外,还要关注金融科技(FinTech)新业态下各类机构的经营数据;在采集方式上,可考虑从指定的机构中直接抓取数据,提高数据采集效率。这项工作完成后,各类系统相互分割隔离的状况将从根本上得到一定的改善,以此来实现中央银行全量数据资源的集中展示,为业务司局、分支机构数据分析人员提供全行统一的数据视图具备了条件。

  在掌握全量数据的基础上,结合业务需求,综合利用各类数据建模和挖掘技术,为各业务司局、分支机构提供差异化的数据及分析服务,形成并逐步提升大数据平台的服务能力。

  在这个环节中,为各业务司局、分支机构提供全量数据的使用环境,根据其业务需求,设计和开发相应的大数据应用分析场景,通过机器学习等技术从海量数据中分析和洞察经济、金融运行规律,作出更科学、精准的决策。通过与服务对象的充分交流,使业务司局、分支机构改变其固有的、条线化的数据管理模式,真正从全量数据分析中受益,进而主动地推动数据资源共享。

  此外,针对不同层级的数据分析人员,设置不一样的使用权限,应用专业工具对操作人员日常操作进行记录和事后审计,确保数据使用的合理合规,防范数据泄露事件的发生。除对各业务司局、分支机构提供数据服务外,金融大数据分析及服务平台还将考虑面向政府部门、司法机关、金融机构、社会公众等提供不同层面的数据服务,推动数据资源带来更大的经济效益与社会效益。

  随着国家大数据战略的逐步实施,我国已进入创新驱动转型的时代,需要发挥信息和数据的作用来促进社会和经济发展,金融大数据分析及服务平台是加强金融服务和金融监督管理的重要基础设施,是提高决策水平、实施监管科技(RegTech)的重要手段。金融信息中心将按照人民银行信息化工作部署,推进平台建设,并持续关注以下几个问题:

  建设金融大数据分析及服务平台需要提前做好规划和布局,在平台数据经营事物的规模、数据报送频度、数据量、数据服务场景尚未完全明确的情况下,现阶段在设计大数据基础平台的技术架构时,各功能模块之间应尽可能松耦合,使平台具备一定的灵活性、开放性和可扩展性,确保能随着数据采集范围的扩展而随时扩容,快速响应和支撑不同业务司局、分支机构不同应用场景的数据服务需求。

  在人民银行科技部门的统一指导下,开展“金融大数据标准体系”课题研究,完善数据治理机制,确保数据管理规范、使用安全、利用充分,为金融大数据分析及服务平台建设保驾护航。在金融大数据标准体系中,可从业务、技术、治理三个维度进行标准建设,对中央银行和整个金融行业开展大数据治理工作予以指导。业务维度最重要的包含不同业务的数据标准和业务规则等,技术维度最重要的包含金融大数据分析及服务平台的通用架构、接口标准和安全要求,治理维度重在强调运用大数据治理方法论,对数据生命周期实施全面管理。

  金融大数据分析及服务平台的数据主要来自于业务司局,平台的建设目标也是为业务司局提供更及时、准确的数据服务。因此,在工程实施过程中,要重视建立业务部门和技术部门相互配合、相互协作的工作机制,主动与业务司局沟通,充分了解其对数据的使用需求,做到有的放矢。

  在工程实施过程中,要加强组织管理,通过项目培养一批既熟悉技术又精通业务的专家队伍。同时,完善有效的大数据人才发展机制,有明确的目的性地制定科学技术人才培养规划,吸引、留住、培养复合型的人才,组建人民银行的大数据专业团队,作为未来业务部门与技术部门之间的沟通纽带,为实现人民银行数据的综合利用、支撑科学决策做好人力资源保障。