互联网金融在大数据时代应该这么做

前言

借助数据可视化工具可以从知识中发现智慧，借助叙事可视化工具可以以独特的方式探索数据，而借助探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系—这是一种可视化的洞察力。

互联网金融生态系统2020系列报告之大数据篇：回归“价值”本源：金融机构如何驾驭大数据？

中国金融业的大数据时代正在呼啸而至。据调查，经过多年的发展与积累，目前很多国内金融机构的数据量级已经达到100TB以上。而且，非结构化数据量正在以更快的速度增长。在高数据强度的金融行业，这一发展激起了巨大的想象空间。为了协助金融机构从价值的角度更好地理解大数据，并在大数据迅速渗入金融业务各个层面的当下抓住发展机遇，BCG根据多年的研究与全球项目实操经验撰写了这份报告。

报告重新定义了大数据的本质；揭示了大数据在哪些方面改变了传统数据运作模式；对照全球金融业大数据应用的前沿案例，指出了阻碍国内金融机构发展大数据应用的三大因素；最后系统化地提出了金融机构为驾驭大数据亟需作出的三大转变。

1.国内大数据应用现状剖析：亟待破冰1.1 国内金融机构应用大数据现状与三大应用障碍

在国内，大数据的发展可谓风起云涌。这样的热潮同样波及到金融行业，众多金融机构纷纷布局。以银行业为例，在大数据发展方面最为活跃的群体当属股份制银行，而大数据应用则主要集中在客户营销、产品创新、风险控制和运营优化等领域。例如，光大银行研发了“阳光理财”资产配置平台（APP）来整合数据，对客户投资需求进行细分，并设计了与之匹配的资产配置方案以支持营销。光大银行还推出基于大数据技术的风险预警平台以提升风控水平。此外，该行还基于大数据Hadoop技术构建起核心历史数据查询平台，使以往需要3-4天的查询时间缩短到当日即可完成，从而显著提升了运营效率。民生银行通过大数据分析来定义营销举措并防止客户流失。中信银行与银联商务合作开发出基于商户信息和POS流水交易数据进行风控的“POS贷”。

国内保险行业有三个经典“痛点”：

1与客户接触频率低，因而难以进行场景营销；

2数据基础差，从而限制了精算能力，进而对产品创新产生制约；

3运营整合难，从而影响了成本和客户体验。

数据无疑为解决这些问题带来了契机。多家险企已经进行了布局，主要领域包括产品创新、风险控制和运营优化等。例如，淘宝的“运费险”保费低，购买频率高，理赔快。泰康人寿联手阿里小微金融服务集团推出国内首个针对电子商务创业人群的“乐业保”，并与可穿戴设备制造商咕咚合作推出互动式保险服务“活力计划”。平安借助金融集团的数据优势，通过分析信用卡的交易数据识别出车险的高风险人群。太平洋保险应用“大云平移”技术在其官方微信平台正式推出“大数据客户体验官（DEO）”概念，旨在提升运营与服务质量，优化客户体验。

保险业基于大数据的创新层出不穷，但其中最具突破性的发展当属2014年由中国保险保障基金有限责任公司出资20亿元人民币成立的大数据公司—中国保险信息技术管理有限责任公司，其意义在于催生出中国保险行业的数据共享平台。数据的整合与共享是发展大数据的基础，而这一点却是任何险企都难以独自实现的。这样的平台必将成为整个行业在大数据发展方面的一个有力支撑。

虽然已有诸多举措，但金融行业的大数据发展往往被形容为“雷声大、雨点小”，意指金融机构虽然投入不菲，但市场可感知的效果却十分有限。究竟是什么原因导致这一局面的产生？我们在与众多金融机构的接触过程中观察到三个阻碍数据转变为价值的现象：

数据虽多，但整合困难国内金融机构虽然同样坐拥海量数据，但其数据的存在状态反映了整个组织的现状，即“部门分制”。数据在组织内部处于割裂状态—业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者，而这些拥有者之间却常常缺乏顺畅的共享机制。然而，成就大数据的是数据的“全量”，这就要求金融机构内部能够实现高度的数据共享与整合。这样的矛盾导致金融机构中的海量数据往往处于分散和“睡眠”的状态。虽然金融机构拥有的数据量“富可敌国”，但到真正利用时却“捉襟见肘”。

想法虽多，但动手困难面对自己拥有的海量数据，金融机构真正敢“碰”的却很少。许多金融机构担心触犯监管或法律底线，或者担心擅自使用数据会侵犯客户的隐私权，又或是担心数据处理不当可能会给机构带来声誉风险和业务风险。因此，这些机构虽然积累了大量数据，并对应用模式进行了思考，但最终仍处于隔河观望的状态，难以付诸行动。

海外金融机构也曾经面临同样的问题。在与海外金融机构的合作中，我们给出的建议十分简单：与数据拥有者坦诚沟通并征询他们的许可。BCG的大量项目经验表明，许多客户对于自己的数据被使用的接受度远比金融机构想象得要高。

资源虽多，但协调困难“技术部门不作为！”“业务说不清到底要什么！”—这样的相互指责在很多金融机构的业务部门与技术部门之间都曾出现。许多大数据项目就是在这种不顺畅的沟通中“夭折”，而不成功的经验只会加深双方的矛盾，导致新的合作更加艰难。这样的恶性循环在很多机构重复上演。我们发现，复合型人才的匮乏、合作机制的缺失以及工作方法的不当往往是造成这一局面的主要原因。

1.2 大数据要求金融机构重新审视自己的基础设施与环境

1.2.1 数据技术：融合提升

金融行业的数据强度在一定程度上决定了金融机构的技术强度。以银行业为例，在海外成熟市场，银行平均将营业收入的8%左右投入IT系统建设；而这一比例在国内稍低，但也可达到3%左右。如此重金打造的技术基础设施在大数据时代却面临着全面优化升级的挑战，这是因为数据的采集、存储和处理在大数据环境下发生了质的变化：日益开放的数据采集冲击着传统的结构化数据基础，常规的数据清洗在大数据面前失去了意义，海量数据的存储需要低成本的基础设施，实时性的分析要求新的数据处理技术......然而，挑战背后必有机遇。大数据同时为传统金融机构打造差异化竞争优势带来了宝贵的契机。那么，金融机构如何才能在技术层面上驾驭大数据时代？BCG认为，金融机构需要理解大数据分析的四个层次，关注13项核心技术，并做好两个决策。

大数据分析的四个层次及十三项技术：数据经过层层晋级成为可以指导行动的智慧，而技术在这一过程中贯穿始终。（参阅图11）

数据收集与存储层：这一层是基础所在。数据从各个渠道以各种形态涌入，其中包括结构化数据（如交易信息）、半结构化数据（如日志信息）、非结构化数据（如社交信息、多媒体、地理位置等信息）等。在这个层面上，数据被实时和非实时地清理、加工，并被归档存储为有效信息以供后续的分析处理。结构化数据集成：即便是在大数据时代，结构化数据依然举足轻重。结构化数据的集成仍然是大数据技术体系中的重要组成部分，这样的技术目前已经非常成熟。

非结构化数据集成：为了满足不同业务场景的数据调用和分析需求，在大数据体系中需要融入能够应对数据的多样性与多时效性特点的集成技术。

分布式存储：与常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络调用企业中每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，为大规模的数据存储需求提供了低成本的手段。

流计算：由于业务发展不断提速，业务流程也日渐复杂，我们的注意力日益集中在“数据流”而非“数据集”上。决策者需要的架构应能处理随时发生的数据流，而当前的数据库技术并不适合数据流处理。

并行计算：并行计算能够充分利用各种计算和存储资源，把计算分布到多个计算节点上，再在指定节点上将计算结果汇总输出，轻松实现针对TB、PB级数据分析的秒级响应。

分布式计算：如果在分布式的数据环境中工作并希望在很短的时间内处理数据，这就需要分布式处理。在分布式处理领域广为人知的一个例子就是Hadoop。

内存计算：一般而言，内存访问速度要比磁盘访问速度快几百倍甚至上千倍。内存计算同时利用多个节点的计算能力和内存容量，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。

信息整合层：这一层是将数据转换为信息的关键。在这个层面上需要对数据进行去噪和增强处理，完成关系型信息和非关系型信息在一定程度上的整合。

关系型信息整合：关系型数据库发展已经相对成熟，具有良好的可扩展能力和较高的处理能力。

非关系信息整合：传统关系型数据库已无法满足需求，非结构化数据库不仅需要可以处理结构化数据，而且应当更适合处理非结构化数据（如文本、多媒体等信息）。

知识发现层：人工智能和数据挖掘技术在这一层面上大显身手，对在上一个层面整合好的信息进行分解、提炼，从中找出对目标对象有价值的信息点，完成从信息到知识的转化。o数据沙箱：按需收集各种实验数据，建立业务实验模型，是大数据架构下用于探索业务数据的一个分析平台。

实时决策：在不影响用户体验的情况下，从一组备选方案中选择一个合适的业务决策。

机器学习：这是大数据非常重要的能力，从信息反馈中获取新的知识或技能，重新组织已有的知识结构，并使之不断改善自身性能。

智慧汲取层：作为行动指导的洞察就诞生于这一层面。借助数据可视化工具，将经验、判断与知识相融合，使数据蜕变为智慧，开始为商业价值的创造提供指导。o数据洞察：借助数据可视化工具可以从知识中发现智慧，借助叙事可视化工具可以以独特的方式探索数据，而借助探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系—这是一种可视化的洞察力。为了将大数据技术融入到自己现有的技术生态中，传统金融机构特别需要在基础设施和IT架构两大问题上进行权衡。（参阅图12）

基础设施：是否“在云端”以及如何“在云端”是众多传统金融机构在大数据时代需要做出的一个核心技术决策。从理论上来说，金融机构可以选择云端、本地或混合模式。如果选择云端，金融机构还需要在公共云和私有云之间进行选择。而在实践中，这样的决策并不容易， 因为这不仅仅涉及到技术问题。对数据的掌控是金融机构安身立命的根本，而如何平衡风险控制与成本效率是这个决策的关键点。

IT架构：大数据的生命周期要求传统金融机构的IT架构对新的技术要求进行全链条的接纳：获取大数据源，建设大数据平台进行存储和处理，并开发基于大数据分析的创新应用。这一切对于历史演进而成的庞大复杂的存量架构无疑是一个巨大的挑战。

1.2.2 数据经济：尚未破题

当我们把数据看作是继土地、劳动力、资金之后的第四种生产资料时，就再也无法回避大数据所涉及的经济维度，也就是数据的所有权问题、定价问题和交易规则问题。纵览海内外，这些核心问题尚未得到一劳永逸的解决。然而，不断涌现的创新尝试无疑正在为这些核心问题寻找解决手段，使数据经济得以蹒跚运行。例如，数据中间商、数据汇聚商、价值链数据共享平台等都在努力使数据有理、有序、有价地得以共享。

在国内，传统金融机构同样是数据的拥有者之一。但要真正源源不断地汲取大数据所蕴含的价值，金融机构需要以开放的思维与整个数据生态有效对接。而构建这样的生态优势的出发点就是理解这个生态本身。在国内，这样的生态正在快速成长。传统金融机构不仅可以获益于这样的发展，更可以参与到这样的发展之中。

2.超越技术的管理视角—金融机构驾驭大数据的三个关键点金融业虽然坐拥海量数据，但目前真正得到利用的数据仅为冰山一角。BCG多年的项目经验显示，金融机构对数据的实际利用率仅为34%，从而导致大量数据荒地的出现以及大量潜在机会处于沉睡状态。问题到底出在哪里？

为此，BCG对部分典型金融机构客户进行了调研。调查结果显示，从数据到价值的转化过程包含了七大步骤，其中“许可和信任”以及“协调”是关键瓶颈。

这样的调研结果让我们深刻认识到，掣肘大数据在金融机构发展的关键因素存在于管理层面，而非技术层面。BCG根据自身在大数据和金融行业的咨询经验，总结了金融机构驾驭大数据的三个关键点（“TMT”），包括：团队（Team）、机制（Mechanism）和思维（Thinking）。在这三个关键点上进行突破应成为传统金融机构将数据转化为价值的核心抓手。

2.1 数据人为：建设团队是核心尽管“专家将会消亡”、“大数据将取代人脑”的说法此起彼伏，但BCG认为，在大数据时代创造价值的主角仍是“人”。数据源自于人并服务于人。但大数据时代无疑对身处其中的从业者提出了新的要求。善于“跨界”的复合型人才在金融机构中是稀缺资源，因此构建复合型团队就成为了关键所在。然而，是否将具备业务视角或技术能力的人员组合在一起就能实现金融机构的大数据掘金梦想呢？我们的答案是否定的。若要让团队高效运作，配套机制不可或缺。

2.2 高效行动：形成机制是保障大数据无疑在冲击传统金融机构惯常的工作方式与流程。大数据中蕴藏的大量“小机会”需要通过灵活、快速而又有纪律的工作机制才能最终形成“大价值”。对于传统金融机构而言，两项机制改革是关键。

2.2.1 引入试错机制

“错误”在传统金融机构中不是一个受欢迎的词。“不出错”甚至在很多机构中被看作是颠扑不破的生存法则。而在大数据时代，“试错”将成为必经之路。浩瀚的数据带来了无限的想象空间，同时也带来了极高的不确定性。一个关联发现究竟是真正的商机还只是噪音，只有试了才知道。成功的试错机制包括以下七个方面：?为创意的产生提供条件。在IT行业中，我们观察到有些公司开始给予员工“自由时间”，也就是说员工可以将10-15%的工作时间用于做自己感兴趣的项目。

增加探索和尝试的数据。在大数据中发现商机也是个几率问题，提高基数无疑非常重要。

降低成本，提高速度。“小步快跑”在大数据时代成为了值得推崇的工作方式。这意味着严格管理每一个试点的成本，将投入产出透明化，并大幅缩短每个试点的周期。

降低失败的代价。这里的代价既是对机构而言，也是对个人而言。组织内部需要能够合理“容错”，降低试错者的后顾之忧。而组织自身则需要清晰的“防火墙”，让试错在可控的环境中发生。

增强预判能力。在一个试点项目中往往存在一系列关键条件。密切关注这些关键条件的变化，尽早判断试点的成功几率是试错机制的关键一环。

快速推广放大。当一次试错呈现出商业潜力时，机构就需要迅速果断地将成果商业化、规模化，以便充分汲取其中的价值。

鼓励探索的文化。再完善的机制也会有“盲点”，而软性的文化则是填补空白的关键。

2.2.2 提高人才管理与组织管控的弹性

金融业一直是精英汇聚的行业。但在传统金融机构中，不仅数据呈现出“分治”的状态，人才的流动与重组往往也相当困难。而培养大数据时代所必需的复合型人才必然要求人才能够在组织内外灵活地流转和进出。此外，针对“业务”与“技术”对话不畅的问题，联合团队往往是有效的解决手段之一。而这样的跨部门工作机制要求在人才的选调、考核和职业发展等关键方面有相应的配套举措。只有在尝试中培养“创新的种子”，并不断将这些“种子”播种到有需求的土壤中去，才能使大数据真正融入机构的日常工作当中，持续发挥其作用，并为组织创造价值。

2.3 构筑优势：转变思维是根本

《大数据时代》（Big Data: A Revolution That Will Transform How We Live, Work, and Think）一书的作者指出,在大数据价值链中“数据、技术与思维三足鼎立”。对于数据和技术的掌控在很大程度上取决于机构的商业模式。金融机构在这两个层面上已经拥有相当大的优势。然而，思维才是使数据中的价值持续爆发的力量。大数据的发展不仅作用于金融机构的商业模式及运营模式的方方面面，更直接对根深蒂固的传统理念构成挑战。采用关联而非因果的视角也可以帮助我们更好地理解世界。与封闭相比，开放可能是构筑商业壁垒的更有效的手段。这样的思维转变对于传统金融机构而言意味着一场异常深刻的变革，而这样的变革势必触碰到体制层面，因此也必然异常艰难。但胜者从来都是那些勇于拥抱变革并善于拥抱变革的机构。在金融行业，大数据带来的绝不仅仅是一场数据与技术的比拼。致胜因素将是机构触发、管理并固化变革的能力。

并非每个“热点”都将转瞬即逝。大数据是技术发展所带来的不可逆的大趋势，它所代表的是人类对世界的认知视角的演化，以及对世界的掌控能力的进步。对传统金融机构而言，从数据到价值的转化过程意味着新的思维在蓬勃发展，并驱动商业模式与运营模式进行深刻变革。这必将是一个漫长的过程，而且无捷径可寻。及早出发，积极、理性地试水投入，让整个机构能够借力大数据来尽快实现自我提升，这是传统金融机构将数据持续转化为生产力乃至竞争优势的必由之路。

（来源：波士顿咨询）