云数据库 TencentDB
互联网中间件
域名与网站
开发者工具
人工智能（AI）
大数据基础服务
大数据可视化服务
大数据应用服务
行业解决方案
大数据与AI解决方案
物联网解决方案
安全与运维解决方案
微信解决方案
微信小程序
服务与培训
云关系型数据库
提供常用关系型数据库引擎的数据库托管服务
活动 & 公告
腾讯云产品文档
云关系型数据库的子产品
云数据库 MySQL
提供高性能、高可靠、可灵活伸缩的数据库托管服务，只需几分钟即可部署最流行的开源关系数据库。
云数据库 MariaDB
由社区驱动的开源数据库，高度兼容 MySQL，您的 MySQL 实例无需改造即可迁移到 MariaDB 。
云数据库 SQL Server
安全可靠、易于使用、性能优秀、具有正版 SQL Server 许可授权的云数据库。
云数据库 PostgreSQL
强大的计算性能、空间地理信息处理能力，面向企业复杂 SQL 处理的 OLTP 场景。
云关系型数据库的特性
数据轻松上云
将自主托管的数据库迁移上云时，腾讯云关系型数据库提供一键数据迁移功能等高级数据传输服务，从而简化了数据迁移过程，可确保数据的实时同步，使您同一应用可轻松切换到不同的数据库，进而尽可能缩短业务的停机时间。
数据库灾备
本地 IDC 机房关系型数据库与云关系型数据库之间可以通过数据迁移服务实时同步数据，本地 IDC 机房如遇到断电、网络故障等引起数据库服务中断，可迅速切换数据库服务至作为灾难备份的云关系型数据库实例，实现数据库容灾，同时云关系型数据库可支持同城多可用区灾备/跨城灾备，保障高可用。
读写分离架构
在应对应用的高访问量，可将只读云关系型数据库实例与云关系型数据库主实例进行集成。这些实例全具有读写分离功能，能够降低云关系型数据库主实例的总体负载，其读取负载分布的配置在应用级自行管理。
精选客户案例
开始使用云关系型数据库
关注公众号，移动管理云服务
长按识别或截图保存关注公众号，移动管理云服务质胜文则野，文胜质则史。文质彬彬，然后君子。http://blog.sina.com.cn/s/articlelist__3_1.html...
腾讯云数据库CDB介绍及数据库与应用数据库分析
现在的应用服务已经不再是单一化的组成了，我们随时可以将自己的应用部署到云上提供访问和服务，数据库也一样。云数据库（字符数据）概念跟云存储（字符、图片、文件等）是相似的，就是通过多个计算机节点提供资源池访问，利用集群和负载均衡做代理访问，达到资源快速响应的目的。这里来看看腾讯云数据库，以Mysql为例。
云数据库 CDB
CDB for MySQL
自建数据库
无需预先采购、准备硬件资源及投入数据库研发，CDB for MySQL提供多种具有成本优势的存储介质供您选择，帮助您有效降低数据库基础设施的投入。
硬件：单台存储服务器成本高（如果搭主从，需要购买2台，资源冗余）软件：需要招聘专业DBA，人力成本高
高IO型CDB实例存储介质采用企业级PCI-E SSD，提供业界领先的IO吞吐能力；深度定制开发MySQL内核，消除DB冗余I/O、缩短I/O路径，规避了大锁竞争，性能远超基于开源MySQL的自建数据库。CDB for MySQL的性能优势让您可以以更少的数据库数量支撑更高的业务并发请求量，简化了后端架构，使得整体IT架构更易于管理和运维。
性能依赖技术人员的调优水平
工信部可信云认证可用性高达99.95%，行业高标准。实时双机热备，故障秒级切换；专业团队7*24小时守候，一对一指导，QQ远程协助。让您仅需极少的工作就能够轻松实现高可用的数据库架构，为业务高速发展提供稳定的基础设施。
需自行处理故障，自建主从，自建RAID，自建灾备
工信部可信云认证可靠性高达99.9996%，拥有完善的数据自动备份和无损恢复机制（实时双机热备，3日内任意时间点无损恢复，5日冷备数据dump）。CDB for MySQL的高可靠性让您可以放心的将数据放在云端，无需担心数据丢失，也简化了传统运维工作中为保障数据高可靠带来的额外工作量和额外的IT投入成本。
自行保障，依赖硬件的故障发生率，依赖技术人员的数据库管理水平
提供近三十项重要指标专业的数据库多维度监控，更支持故障自定义预警，让您可以随时深入了解MySQL数据库实例的运行状况，对故障实现自动告警，数据库运维更加省心。
需自行开发数据库监控系统，运维人员需半夜处理故障
用户无需关心MySQL的安装、部署、版本更新及故障处理，云数据库运营团队为您全面负责，免除后顾之忧master与slave的切换、故障的处理及数据迁移，完全对用户透明，IP、Port保持不变，编程完全无需考虑IP飘移，帮助您极大降低运维成本
用户需独立负责MySQL的安装、部署、版本更新、故障处理等操作master与slave切换时，用户需要重新配置数据据库连接的IP Port
单机版上线完善MySQL管理功能v2.0
标准版上线优化MySQL内核v3.0
高性能版上线优化存储性能v4.0
全新高IO版上线性能提升10倍v4.1
只读实例 异地容灾功能介绍
极高性能数据复制和迁移可用性保障可扩展性安全性保障易用性
基于PCI-E SSD，强大IO性能保障数据库的访问能力；
存储硬件采用NvMe 协议，专门针对PCI-E接口的SSD设计，更能发挥出性能优势；
高IO型单实例最大支持245509QPS(每秒访问次数)、488G内存和6TB存储空间 。
主从同步多线程优化，解决DB间同步性能瓶颈，无需考虑主从同步不及时的问题；
MySQL事务线程和Dump线程的锁优化，进一步提高数据库性能。
数据恢复和迁移
只读实例帮助用户实现一主多从或读写分离架构，轻松应对业务海量请求压力；更支持带有负载均衡功能的RO组，大大简化从机之间业务访问的压力分配过程。您只需在页面购买即可在几分钟内为您配置一台只读实例。
借助CDB的数据传输工具CDT，可轻松实现云主机上自建MySQL数据库到CDB数据库实例，具有外网IP的IDC机房内/其他友商云MySQL数据库到CDB数据库实例等多种场景下的数据库自动迁移，可极大简化您的数据库上云工作，无需自己手动迁移数据库，实现业务无缝过渡上云。
数据传输工具CDT已实现全Web化操作，控制台点击操作即可实现自动数据迁移，无需人工值守。
异地灾备实例
CDB for MySQL现已支持跨地域的灾备实例，帮助您建立通过内网专线同步的异地灾备数据同步。在CDB数据库主实例所在地域的机房发生故障或由其他原因引起不可用的情况下，异地灾备实例为您提供快速恢复数据访问的能力，可帮助您在异地迅速搭建业务体系，将业务访问流量切换到异地恢复运营，减少业务因故障引起的损失，保证了数据库在灾难情况下的高可用性。
灾备实例从主实例同步数据过程中，数据写入功能会受到限制。但您可在Web控制台将灾备实例升级为主实例，断开与数据同步连接并恢复完整功能。
可用性保障
完善的热备和冷备
使用完全同构的物理机提供实时的双机热备，主机故障可秒级切换至备机，提高数据库的可用性，保障业务的无间断服务；基于冷备和binlog文件，提供3日内无损恢复，5日冷备数据dump，保障数据安全恢复。
支持宕机自动检测和故障自动迁移。在主备切换时，采用VIP屏蔽切换过程，主备切换和故障迁移过程对用户透明。您无需关心数据库所在物理机故障和宕机的问题，应用层无需做任何改动即可完成热备切换，业务对容灾切换无感知。
专业的监控与告警
覆盖连接访问、数据库负载、查询缓存、存储引擎等近三十项重要指标，可全方位监控数据库运行状况；自定义资源阈值告警，提供慢查询分析报告和SQL完整运行报告下载，可帮助用户快速定位DB运行中的问题。自定义告警可将问题及时反馈给运维人员，帮助您快速响应数据库问题。
灵活的计费方式
CDB for MySQL 提供包年包月和按量计费两种计费模式，满足您不同业务场景下的弹性需求，帮助您节省数据库的成本投入。
包年包月的计费模式，您可以根据业务需求一次性支付一个月或几个月的数据库服务费用，避免一次性投入大量资金建设基础设备；
按量计费的弹性计费模式，您可以随时开通/销毁数据库实例，按实例的实际使用量计费，适用于突发性业务高峰。
性能和容量扩展
CDB for MySQL 除最大规格实例外均提供无缝升级功能。当您遇到性能瓶颈时，您可在页面上通过鼠标点击操作，一键升级到更高性能和容量的实例规格，升级过程不影响您业务正常访问和使用，实现快速、平滑扩容，满足业务快速发展需要。
安全性保障
多重安全防护
云数据库默认为每个数据库都提供了多重安全防护，在提供了外网访问功能的数据库实例遭到DDoS攻击时，能帮助用户抵御各种攻击流量，保证业务的正常运行。高效防御SQL注入、暴力破解等数据库攻击行为，极大减少用户因数据库攻击带来的业务中断和损失。
存储高可靠
提供在线的主从两份数据存储，确保线上数据安全。每日自动备份数据，云数据库可根据备份文件提供3天内的任意时间点回档。同时每天的冷备数据都会存储多份，以便于在灾难情况下进行数据恢复。您可以放心的将数据存储在CDB上，无需考虑数据丢失的问题。
轻松管理海量数据库
提供命令行和Web两种方式管理云数据库，并支持批量数据库的管理、权限设置和SQL导入，将海量数据库实例的运维工作简化为在页面点击即可完成，极大地降低了运维工作量。
多种网络接入方式
支持VPC网络和基础网络，还可配置数据库外网访问。通过这些接入方式，您可从腾讯云、IDC、私有云或其他云厂商处访问云数据库，从而满足多种环境下的数据库访问需求。
提供参数配置模版，您可以将常用的数据库配置保存为模版，应用到新建实例中，免去了初始化数据库的繁杂工作，极大地简化了参数调优工作。
云数据库MySQL提供完善的API体系，您可使用API轻松地将云数据库与内部监控、运营系统相结合，实现贴近业务需求、完全自动化的业务运维体系。
腾讯其他云数据库产品
MySQL内核优化版
SQL Server 含证书版
自研商业数据库 TDSQL
基于MySQL打造专业存储服务
云数据库 CDB for TDSQL
云数据库 CDB for PostgreSQL
资料来源：应用数据库分析
关系型和非关系型数据库
数据库分为关系型数据库和非关系型数据库。关系型数据库以Oracle、SQL server、Mysql等为典型。非关系型数据库以Mongo DB、Memcache、Redis等为典型。在真实应用环境下选择关系型数据库还是非关系型数据库建立强关联或者弱关联关系，这取决于应用数据的安全性而定。
云数据库与云存储
云数据库和云存储实际上是由若干个数据库实例节点构成的，只是根据他们存储数据的类型而有所区别。数据库一般是基于字符数据的存储，而云存储的格式以多样化而存在，它可以存储大容量的文件和数据包，是基于一个一个的文件存储单元。
关于数据库应用场景的选择
一般地，重要的业务数据我们都会采用数据库的事务来执行，而事务是关系型数据库的基本特性。据此，我们可以完成很多负杂型业务的数据一致性处理。而相对于中间操作的过程数据或不太重要的业务数据我们可以考虑采用非关系数据来存储就好了。另外，如果我们的站点是CMS内容管理系统的话一般还会考虑使用云存储来实现文件管理（图片、资料、文档）。所以根据自己不同的应用环境所需选择适合的数据库就好，不必为了使用云数据库而投入不必要的资源，按需开通服务是最好的选择。
远程连接腾讯云MySQL数据库
Oracle 12c 手工创建CDB数据库
腾讯云-mysql数据库的操作
腾讯云服务器上搭建mysql 如何使云数据库能外网访问
从运维的角度分析使用阿里云数据库RDS的必要性--你不应该在阿里云上使用自建的MySQL/SQL Server/Oracle/PostgreSQL数据库
腾讯金融级数据库TDSQL的架构与应用
浅谈Oracle12c 数据库、用户、CDB与PDB之间的关系
Oracle 12c手工建库(非CDB及CDB创建)
没有更多推荐了，删除历史记录
　----
相关平台红包
保险公司实现大数据价值的三个阶段
作者：之家哥
摘要：网贷之家小编根据舆情频道的相关数据，精心整理的关于《保险公司实现大数据价值的三个阶段》的精选文章10篇，希望对您的投资理财能有帮助。
《实现价值的三个阶段》 精选一金7月28日，越来越多的公司开始对大数据技术和非结构化数据环境进行，但是这些项目依然还处于“创新”的范畴，这意味着这些项目的还无法确定。即使保险公司的高管们心中并没有一个明确的目标或者详实的应用案例，他们依然对大数据技术的前景感到非常乐观，认为时间将会证明该技术的价值。但是，所有大规模技术创新，都需要资本市场的才能进入健康的发展周期，因此，切实有效的落地实践宜早不宜迟。所有大数据技术的目标，都是消化处理结构化和非结构化的数据，生成新的数据环境类型。实际上，大多数保险公司都是在利用大数据技术消化他们核心系统中的结构化数据。“消化数据”的概念其实并不简单，关系型数据库中复杂的数据映射技术在大数据中依然必不可少。保险公司如果想让以创新为焦点的大数据计划成长为公司内部长久有价值的基础设施，必须经历以下三个阶段。第一阶段：数据存储数据消化的第一级其实就是扁平化的数据存储。这意味着所有的数据不管是非结构化的文件还是关系数据库中的冗余档案都要被迁移到一个轻微调整甚至没有调整过的非结构化数据环境中去。如果大数据系统已经就位，以上步骤可以快速完成，特别是数据集较少的时候。但是，这一阶段，除了分布式存储数据，大数据技术并没有提供太多的价值。一些拥有海量数据的组织和企业，他们的数据存档成本很高。通过利用分布式系统的基础架构Hadoop，这些组织可以大幅度降低数据存档成本。不过分布式存储并不是目前最关心的，因为保险公司同时还在尝试、车联网、无人机以及其他会产生大量数据的技术。但是，分布式存储的解决方案还是让保险公司在懂得如何充分利用数据前，有了一个可以收集和存储所有数据的方法。第二阶段：数据库重塑大数据系统的第二级，是数据库的交叉覆盖结构。它允许保险公司从不同的数据集中选取和使用特定数据。这实际上重塑了传统的企业数据库，至少对于终端用户的体验来说是这样的。使用非结构化数据环境的一个优点是存储于该环境中的数据无需全部标准化。很多企业数据库项目失败或者超预算，就是因为构建一个标准化的数据模型实在是太复杂了，保险公司需要将所有系统和所有业务的数据都纳入建模方案中去。但是，这并不是说数据标准化就没用了。在某些场景下，通过标准化数据，可以提高数据处理的效率。比如当保险公司需要处理两个来源的数据集时，如果这两个数据集中都有和“客户”标签相关的信息，某种形式的标准化数据模型可以在一个框架下对这两个数据集进行分析。不过和关系数据库不同，这种模型可以在数据获取后再进行定义，而且定义可以只用几个关键的因素。所以本质上说，在非结构化数据环境中，标准化步骤只是被推迟和精简了。第三阶段：新的观点和能力大数据系统的第三级，是将新的数据类型和可视化数据覆盖到非结构化数据环境，从而获取新的信息和观点，这些信息和观点是无法用传统数据库技术发掘的。比如说，保险公司建立一个新的数据模型，用复杂的非结构化数据(如车联网相关的数据报告或者无人机获取的图像信息等)覆盖到保险公司的理赔数据上，有可能发现潜在的新风险。此外，因为在传统数据库中，大量的因子都是被初始标准模型所预设的，由此生成的数据报告会不够全面。大数据系统再加上可视化技术，可以对大量的数据集进行扫描检查，从而能够识别出所有的异常数据和因子。价值证明，越早越好非结构化数据环境的最大优点和价值之一在于，保险公司无需在部署该技术的早期阶段就将自己所有的历史数据都迁移到新系统，他们可以循序渐进，在项目成熟后再完成数据的完整迁移。在传统的企业数据库中，初期建模时如果忽略了一些数据和因素，可能会导致后期系统运作的失效，甚至会产生严重后果。所以该类型数据库的容错率较低。而在非结构化数据环境中，则不会这样。这意味着保险公司在利用Hadoop或者其他分布式存储数据库时，可以先利用一些数据源进行试验，积累经验和专业知识，基础打好后，再不断地加入和覆盖新的数据到该环境中。事实上，不管是创业公司为了获得持续的来开发大数据技术，还是传统保险公司为了获得足额的预算来进行大数据部署，开发团队应该尽快达到上述的第三阶段。这样不仅能让商业用户尽早的验证模式的可行性和数据的可靠性，还能在实践中不断发掘大数据技术新的价值。写在最后：给大家推荐一家3年老平台立即理财拿→(年化收益10%)转载本文请注明来源于安全110：http://www.p2b110.com/news/219075.html分享到：QQ空间新浪微博腾讯微博微信百度贴吧QQ好友window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"我在【网贷安全110】看到这篇经典的文章，有趣-有料-有内涵！你们看看觉得如何？","bdMini":"2","bdMiniList":false,"bdPic":"http://www.p2b110.com/","bdStyle":"1","bdSize":"16"},"share":{"bdSize":16},"image":{"viewList":["qzone","tsina","tqq","wei**n","tieba","sqq"],"viewText":"分享到：","viewSize":"24"},"selectShare":{"bdContainerClass":null,"bdSelectMiniList":["qzone","tsina","tqq","wei**n","tieba","sqq"]}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=.js?cdnversion='+~(-new Date()/36e5)];《保险公司实现大数据价值的三个阶段》 精选二传统Hadoop领域，已经是群雄并起，竞争激烈。如果不能搭建Hadoop平台，普通大数据公司就无立锥之地了。但与只用Hadoop进行事后的数据分析处理不同，天云大数据利用OLTP引擎实现了银行的高并发事物处理。除此之外，一些新的名词，复杂网络、AI基础设施统统都被用在了Hadoop里面。那么，这家企业是如何打造与众不同的呢？指导 | 凯文调研 | 李喆
田群撰写 | 田群时至2017年，对于涉足大数据业务的企业，搭建一套方便、灵活的Hadoop平台已经不是一件难事。Cloudera、Apache等厂商，帮助企业大幅降低了大数据业务的进入门槛。不过，大数据平台应用最多的是OLAP（联机分析处理）业务，能够对TB、PB级别的多维数据进行关联分析和数据挖掘应用，但是对于OLTP（联机事务处理）业务来讲，一般的Hadoop平台就显得力不从心了。2017年7月在北京举办的Strata Data Conference会议上，天云大数据研发总监乔旺龙做了有关《Hadoop上的OLTP》的报告，其中提及天云大数据的Hubble Volmue Transaction Distributed-Engine哈勃大规模事务分布式引擎能在千亿条的数据环境下实现毫秒级别的Ad-hoc业务查询，其处理速度是采用内存计算的Impala和Spark的数百倍。依靠技术创新，天云大数据成长为一家立足于行业的大数据和AI基础设施平台提供商。天云大数据创始人涛拥有超过20年的跨国公司技术管理经验， 2005年入席SNIA存储工业协会中国区技术委员会联合**，CCF中国计算机学会大数据专委会委员。业务产品化率高 从大数据平台向AI基础平台转化2013年，天云大数据发布了BDP大数据平台，与传统的Hadoop发行版不同，BDP是一个中间件平台。中间件的方式拒绝了与特定的发行版进行绑定，Hadoop各个组件之间通过restful接口互相传递消息。这样带来的好处就是，BDP可以根据业务需要进行适应性升级，只需更改少量代码即可实现，从而轻松解决版本不兼容的问题。BDP只是一种基础平台，带天云真正实现飞跃的是Hubble Volmue Transaction Distributed-Engine哈勃大规模事务分布式引擎（OLTP查询引擎）、Hilbert Complex Network Distributed-Engine希伯复杂网络分布式引擎（图计算复杂网络引擎）和Ma**m AI（基础平台）三款产品。作为密切关注国际前沿的技术先驱企业，天云大数据在切入业界前沿和热点上，通常快人一步。如今，OLTP on Hadoop、图计算、AI基础平台等概念已经火热，而天云大数据在内部早已经形成产品，并在商业银行的业务系统上进行了运行和试用。这三款产品带给天云最大的改变是差异化的竞争路径。银行等企业生产系统的核心通常是构建在IOE平台上的OLTP业务，这部分业务恰恰是现有的大数据平台不能解决的。而哈勃大规模事务分布式引擎正满足了银行基础设施去IOE和系统减负的需求，可以将80%的OLTP业务转移到分布式平台上。与OLTP相对应的OLAP本是Hadoop的长项，但是只有Hadoop和数据是做不了分析的，对于分析领域最关键的模型和算法，老牌巨头SAS才是该领域当之无愧的霸主。不过，对于长期在关系型数据库领域浸润，2014年才进入Hadoop领域的SAS来讲，磨合还是需要时间的。这给天云研发基于Hadoop 的AI基础平台留下了时间。复杂网络引擎和AI基础平台这两个新品类的产品，明显不是来自于工程实践的创新，而是理论创新的实践。所以，天云大数据技术优势的积累离不开其博士后工作站的研发能力及其多年来公司团队对Hadoop平台的理解和工程化能力。立足金融行业，客户支付能力强，但市场扩张慢作为云基地的孵化项目，天云大数据初始切入的业务以运营商类客户为主，如中国联通的数据魔方项目、中国移动的南方基地项目等。随着公司定位的调整，天云大数据从运营商类业务转到专做金融业务为主，先后承接了中国人民银行、九鼎、信诚、、光大银行、兴业银行等银行、保险、交易所相关的业务。通过业务领域调整，天云的角色也从传统Hadoop平台集成商向基础软件应用商转变。从竞争对手上看，前一阶段还是Hadoop平台搭建类厂商，而后期竞标对手多为硅谷的Neo4j和TigerGraph等图数据库高新技术企业。由此，天云大数据业务中心也从搭建平台，转向图数据库、分布式OLTP业务及AI智能平台。得益于金融行业客户较强的支付能力，天云大数据目前的客单价一般都能超过100万元，与国内传统hadoop厂商相比，相对可观。但目前看，由于客单价较高，项目较少，其规模扩张速度较慢，这将影响其长期发展。竞争转移，新兴市场潜力大，营收可天云的产品并不属于传统的数据仓库市场，而是进入了OLTP、图数据和AI三个细分小市场。所以，它避免了与目前竞争最为激烈的传统Hadoop基础软件和数据仓库厂商的直接碰撞。只不过还需等待新兴市场的培育，以便释放积累的市场能量。从市场格局看，图数据和AI平台是目前天云最主要的目标市场。图数据库市场当前主要参与者Neo4j和TigherGraph，虽然营收规模之和才千万级美金级别，但从Linkedin、支付宝和国家电网等客群对图数据的使用需求之强烈判断，未来市场潜力巨大。在AI平台领域，目前主要是百度天智、阿里数加等公有云AI平台，在部署的AI平台里，其主要竞争对手为在高级预测和分析领域SAS和IBM Spss等企业产品。SAS凭借32亿美金的年收入和超过100亿美金的估值，成为40年金融业屹立不倒的常青树。随着大数据的广泛应用，基于人工智能的高级预测和分析，预计还会有指数级的增长。图数据库和AI平台业务的爆发指日可待，2017年天云大数据营收增速预计超过200%，这缓解了前三年市场扩展缓慢的焦虑。在客户渠道畅通的情况下，预计天云大数据2018年还将保持80%-100%增速。评价模型爱分析从应用场景、获客、客群、产品、技术五个维度对天云大数据作出评价。技术层面，天云大数据拥有成熟的Hadoop中间件平台，具有搭建大数据业务平台能力；在复杂网络和AI数据分析领域积累多，在国内具有先发优势。产品层面，其Hadoop平台、复杂网络引擎和AI平台等业务的产品化程度高，能够实现快速复制。客群层面，天云大数据的客群主要在金融领域，市场规模大，客户支付能力强。获客能力层面，从天云大数据近3年发展速度看，其获客能力一般。生态层面，天云大数据作为初创公司，还未搭建完整的生态链和客户关系，在生态环境里还处于劣势地位。近日，爱分析对天云大数据CEO雷涛进行了访谈，现摘取部分内容如下。爱分析：天云大数据与一般的Hadoop平台公司有明显差别，您对Hadoop是怎样理解的？雷涛：2012年以前，我们主要是在使用Hadoop技术阶段，在别人不会用时，我们率先使用了。当时，我们做的多是企业级大型运营商项目，必须进行很多改造和优化。我们在Hbase上做了大量的数据库回滚和数据库审计操作，并且做了有一些新特性，像master sever 切换等管理功能。但到了2012年，CDH 3.0版本发布对我们是重大的打击，那个版本覆盖了我们很多功能。面对继续在旧版本上开发，还是发行新版本的产品两个选择，我们就出现了一段时间混乱。后来，我们选择在2013年彻底重构产品。我们把平台中自己的套件拆分出来，做成了一个中间件，所以我们不是发行版。我们的中间件下层对CDH、Apache和Hortworks进行了混配，通过600多个restful接口进行消息互通，拒绝了发行版的锁定和绑定。这带来了几个便利，第一中间件与版本无关，可以持续升级。对于团队来讲，不用每一次大版本升级时做代码review，这就拆分了功能研发团队和Hadoop研发团队。第二，这还带了很多开放性，表现为对集群的多样性支持。例如在九鼎，其原有搭建了Apache集群，再装套其他集群就需要推到重来，这是难以实现的。由于我们采用开放接口，我在统一数据和资源管理下，允许多集群管理。第三，开放之后的产品可以融合更多项目，我们可以在差异性的环境中做功能套件的融合。爱分析：天云大数据业务范围涉及图数据、AI、和Hadoop on OLTP几块领域，那么现阶段的主要竞争对手是谁？雷涛：我们PK掉的是Neo4j、graphsql这些硅谷的新锐公司。爱分析：天云大数据从运营商转到金融领域的契机是什么？雷涛：天云大数据注册在2013年，实际上是2015年才正式成立的，但是我们创始团队在2010年云基地的时候，就在一起了。我们早期做了很多运营商业务，如联通的数据魔方、移动总部、南方基地等。但独立以后，我们做了差异化的区分，为了避免同业竞争，我们聚焦在金融领域。由于我们对业务做的比较深入，第一个单就进入一家商业银行的核心系统，一个OLTP线交易系统。这个业务客户市场比较少，但是门槛很高，客户质量都很好。这些客户包括中国人民银行、兴业银行、泰康人寿、信诚人寿、九鼎、京东等。爱分析：天云大数据是怎样进入AI领域的？雷涛：我们在2011年南方基地的项目就开始使用技术了。那时我们招募了大量的数据科学人才，并建立了自己的博士后工作站。当时我们沉淀了大量的工具包，像NLP、神经网络、时间序列等等。我们在银行的项目发现一个问题，银行要求Hadoop与SaS对接，但是对接了SAS后，后者性能又不能满足要求，我们只好在Hadoop上重新写分布式程序。2016年，我们在之前工作的基础上直接打包了AI平台，也拿到第一个AI基础设施800万的订单。我们正好踩到了AI的PaaS化这个时点，基本跟TensorFlow同步推出。我们融合了Torch、Caffee、TensorFlow和我们自己的大量算法，可以让客户在Online集群之上直接跑各种算法，在算法和数据之间我们做了非常好的融合，让算法能够充分使用。我们现在有两种方式，一种是Free coding，直接调用模型，调节参数；另一种在Notebook环境，使用Python 编写新算法。这大规模提高了模型的生成速度和效率，并且**降低了人才依赖。我们发现，我们平台交付给客户后，数据对模型的选择发挥了巨大价值，一个分类器将随机森林、逻辑回归和全跑一遍，然后选择AUC曲线最好的模型。这意味着以前半年才能完成的事情，现在只需要5分钟就能完成。使用者的试错成本**降低了，凭借强大的计算能力，银行就可以实现模型的规模化生产。爱分析：对于OLTP业务来讲，一般的银行交易量有限，中小型Oracle就可以实现，少量大型银行MPP也可以实现，大规模的高并发需求除了BAT等少量的互联网企业并看不到很大的需求，为什么还需要在Hadoop上做OLTP呢？雷涛：我们现在看到的现象是，出现了很多银行接入互联网的项目，现在银行的服务界面已经不仅仅是柜员了，银行手机端内容越来越丰富，在全业务领域承载的越来越多，渗透率越来越高。手机端的银行交易带来城商行大量大规模高并发需求，这个需求既有大量对Oracle和MPP的需求，同时也带来对Hadoop on OLTP的需求。爱分析：天云大数据目前采用什么样的方式开拓市场？雷涛：现在一直在替代一些原有银行里的业务形态，最近几个项目都是在翻竞争对手的客户。我们看到一个趋势，竞争对手在依靠市场增量拿新单，不断迈入新市场，而我们从1到3到20这种倍率的增长，全是在一两个核心客户完成的。我们的新客户都是竞争对手的客户切入我们的领域的，所以我们在垂直增长。我们相信在早期市场环境下，产品的市场价值必须做得足够厚才行，而不是只做开源部署的调度管理。否则，你在开拓新市场的时候，你的市场也会被其他企业吃掉。在目前分布式的市场环境里，企业必须沉的足够深，有自己的积淀，找到适合自己的位置，才能体现市场价值。爱分析：产品的交付形式是什么的，是卖平台呢，还是按照工具包进行销售？雷涛：我们在项目边界上是这样的，首先我们之前没有平台，只能提供工程服务。例如我们跟城商行进行交易时，他们一般会按照工程服务进行选择，不会考虑到平台的问题。对于大型银行来讲，他们会招两种平台，一个是先招个平台标，建立基础设施。招完平台标以后，在平台之上会按照数据产品进行招标，每个数据产品就是我们做好的内容，这些数据产品可以交给业务部门直接使用。以前，人工智能和机器学习在银行里面就是SaaS+服务，生产出来后放到决策引擎中使用，是静态的；现在是平台加数据产品，生产出来的东西直接在平台运行，它不再是静态的，而是动态的一个过程。爱分析热文新龙榜新龙榜TOP125新金融TOP100|互联网金融TOP50TOP35|TOP25TOP42|TOP30互联网支付TOP20|虎鲸榜TOP50互联网保险TOP25|互金TOP30创富人物榜TOP50|影响力50人企业服务企业服务TOP100|企业服务TOP50大数据TOP72|B2B电商TOP50云服务TOP50|网络安全TOP30大数据影响力50人|B2B电商影响力50人其它出行服务TOP50人工智能TOP50教育科技TOP50语言教育TOP20移动医疗TOP30汽配维修TOP20家居家装TOP36汽车创新TOP64新零售TOP100TOP25Adobe|VMware|Salesforce阿里云|AWS|AtlassianTableau|Cloudera|PalantirZendesk|Hubspot|WeWorkInovalon|MircoStrategy金山云王育林访谈|Hortonworks360企业安全调研吴云坤访谈UCloud调研季昕华访谈|乐视云TalkingData调研崔晓波访谈纷享销客 罗旭访谈|北森国双科技调研祁国晟访谈容联云通讯|秒针|销售易图森互联|数据堂|星环科技MuleSoft|明略数据吴明辉访谈OneAPM|听云|有云|环信昆仑数据 陆薇访谈|瀚思科技信达泰和|猎上网|云智慧DataHunter 程凯征访谈Sensoro 赵东炜访谈《保险公司实现大数据价值的三个阶段》 精选三大数据银行大数据有利于驱动银行业的数字化转型，解决部分黑色产业漏洞及安全威胁。但中国银行业在大数据使用方面依然面临挑战。本文认为，中国银行业应利用大数据技术建立客户全生命周期管理、利用大数据实现智能化转型、同时应跨界合作打造金融数据生态圈，并强化安全管控，建立健全客户信息安全机制。中国银行业须构建政产学研用为一体的开放、共享、互利、共赢的大数据产业生态体系。本文共4609字，预计阅读时间1分50秒文/中国银行总行部总经理、与研究工作组副组长郭为民大数据、人工智能、、、物联网、等新兴技术蓬勃发展并不断加速向社会生活的各领域渗透融合，对经济发展和社会进步产生了深刻影响，金融业的产品服务、运营管理和客户体验也在技术的驱动下加速了创新变革的步伐。大数据是重要的生产资料，是人工智能大脑流动的血液，作为国家“互联网+”行动的重要战略资源，对金融机构智能转型化发展的驱动作用愈发凸显，成为构建银行未来核心竞争力的关键。目前，良好的政策环境也推动中国大数据产业快速发展。为了鼓励包括大数据在内的新兴技术发展，中国监管机构与时俱进地制定和出台了系列政策，有力地保障和促进了行业的整体稳健发展。《国务院关于积极推进“互联网+”行动的指导意见》明确要求鼓励金融机构使用互联网拓宽服务覆盖面，使用云计算、移动互联网、大数据等技术手段来加快金融产品和服务创新，在更广泛地区提供便利的存贷款、支付结算、平台等金融服务。《中国银行业信息科技“十三五”发展规划监管指导意见（征求意见稿）》也明确要求要构建数据共享机制，逐步实现内外部数据的融合；统筹规划大数据基础设施，推进大数据平台建设；建立大数据服务体系，扩大数据服务的用户覆盖面；积极扩大信息来源以奠定大数据应用基础；开展大数据营销，提高获客能力和客户黏性；加强大数据风控，全面了解运营情况并及时优化业务流程，以推动业务创新；拓宽的服务范围为实体经济发展提供支撑。大数据有利于驱动银行业的数字化转型大数据、人工智能等技术的发展正处于由量变到质变，从概念到应用的阶段，在新一轮技术革命、产业升级和经济转型的历史交会点上，抓住了就是机遇，错过了就是挑战。一个银行能否百年长青，核心在于理解和拥抱新技术，以创新推动转型发展。大数据作为银行业的，“用数据驱动转型发展”已经成为大家的共识。商业银行拥有大量的金融交易数据，具备成为数字化转型的先天优势。过去海量的结构化数据相互割裂、静止，沉睡在数据库中。随着新技术的快速进步，金融行业的数据应用开始流动融合，变得活跃而有生命力。大数据已经成为银行业创新的一把利器，具备大数据驾驭能力的金融机构可以实现基于数据驱动的管理决策、服务运营、风险管理及产品创新等的智能化转型与变革。同时，对于占国家金融命脉主体地位的商业银行，以至于整个金融体系而言，大数据可以解决部分黑色产业漏洞及安全威胁。互联网金融蓬勃发展的同时也面临着更加严峻的安全考验。首先，传统黑客变种升级，钓鱼网站、木马僵尸、撞库攻击、安全漏洞等愈发肆虐，黑产技术的先进性、复杂性、隐蔽性和持续性都远远超出了传统网络安全技术的应对与防护能力范围，不断侵蚀金融生态安全,犹如溃堤的蚁穴,若无数个不受控制的单个风险点最终全面开花将会带来巨大的损失。其次，新技术、新架构的应用引入新的安全风险与威胁。再次，互联网环境下的信息泄漏和信息滥用等问题愈发严峻，银行业如何在开放合作中有效保护客户隐私与信息安全任重道远。所谓道魔互博，借助大数据技术可以解决创新阶段的黑产漏洞及安全威胁带来的制约。比如基于海量的计算和存储能力打破信息孤岛，持续丰富信息数据维度，完善治理数据质量的同时可实现威胁情报与信息共享。再比如，借助大数据技术并结合机器学习及人工智能，可以有效加强网络安全威胁的态势感知、预警与分析，提升金融网络安全防御的广度与深度，前瞻性地了解对手，提前感知并精准定位风险，并采取有效的风险应对措施为业务的稳健发展和银行的智能转型保驾护航。传统商业银行在大数据应用方面的挑战传统商业银行是最先使用信息技术也是信息技术使用最广泛的行业之一。银行对客户、账户信息的存储和使用都有健全的管理机制。但是与新兴的互联网企业相比，由于起点不同，银行的数据管理能力存在明显差距，银行业整体在大数据使用方面也面临挑战。首先，银行在内部数据收集方面遇到的挑战。银行在数据应用方面的挑战是全方位的，传统的IOE架构因为存储成本相对较高，大量的历史数据存储在磁带中，甚至档案馆中还有大量没有数字化的物理凭证或没有结构化的影像数据。即使将这些数据结构化，银行还要面临历史数据标准不统一，缺乏有效数据治理手段，数据质量参差不齐，数据应用无章可循等历史遗留问题。与此同时，传统的以账户为中心，以会计为导向的银行IT系统缺乏收集客户账户查询、咨询、投诉等行为信息的能力，无法体现高维度的数据价值。数字时代银行的IT系统必须是以客户为中心，以市场为导向，具备采集全渠道客户基本信息、交易信息、交易对手信息、客户与银行的接触轨迹信息等更信息的能力。这就要求银行从客户信息治理、丰富客户模型开始，不断完善客户、账户信息的同时开始客户行为信息的收集。数据的价值将会随着维度的增加而显著提高。其次，银行在外部数据收集方面遇到的挑战。互联网平台公司拥有大量与客户频繁互动的场景，在收集客户行为信息，客户之间关联信息等方面具有天然优势。银行必须通过与互联网企业合作才能采集更多维度的信息，但是银行必须在保护客户隐私的前提下，及时有效地获取相关信息。其合规成本与合作的代价也是传统银行在开发相关数据应用时必须考虑的。再次，银行在大数据应用IT支撑方面遇到的挑战。大数据应用的软硬件支撑平台对传统银行的IT系统提出了新的要求。特别是在分布式存储和处理实时数据能力方面银行迫切需要专业的人才支持。非结构化数据的结构化，具备自学习能力的数据模型机制还要求银行具备将前沿的人工智能技术与大数据应用相结合的能力。此外，商业银行还需要在实践中培养可以支持开放式平台架构，分布式应用系统，Hadoop架构等的开发和运营维护人员。商业银行大数据金融的探索实践与思考在外部技术变革驱动和内部转型发展的共同推动下，中国银行业都在积极地践行国家“互联网+”战略，前瞻性地探索并积极推进新兴技术的应用，将科技创新与业务创新深度融合。国内多家银行目前已经在精准营销、、跨界合作、普惠金融、数据治理等方面取得了显著的应用成效，有效的提升了自身网络金融包括风险管理、大数据应用、人工智能应用、云计算、产品效率等核心能力。结合中国银行的实践经验而谈，对于银行业而言大数据金融的探索与实践，需要提升以下四个的方面的能力与效率。一是大数据洞察，建立客户全生命周期管理。过去银行对客户的了解主要依赖于开户基本信息和账户交易情况，对客户行为、偏好、动态知之甚少，无法满足不同客户千变万化的需求。并且，在中国的信用体系还不完备的情况下，很大一部分客户是“信用”，当前市场的乱象和正规金融机构的缺位也有直接的关联。针对这些问题，多家银行尝试利用大数据对客户进行全面画像，在洞察客户多元化需求的基础上提供个性化服务和差异化定价，同时精准识别潜在客户，激活睡眠客户的同时，提升客户满意度。以中国银行为例，一方面以“+互联网”的模式推动传统银行业务触网，另一方面以“互联网+”创新服务，基于大数据技术识别客户的贷款意愿、评估还款能力，推出了全流程在线的秒贷产品。同时，把目光放至客户的全生命周期信用管理，用大数据技术“提前锁定”潜力客户，动态更新信用评分，了解客户动向，测算包括校园贷、助学贷在内的金融产品的未来盈利能力。也正是基于整合分析了海量金融数据，精准描绘客户画像，预测客户的成长属性，秒速实现从申请、审批到放款的业务流程全在线，中国银行可以在大数据技术的帮助下，积极践行国家。而是金融支持实体经济的必然要求，也是银行业转型的重大机遇。普惠金融的核心理念是“金融普惠”，解决特别是信贷业务的痛点，需要解决效率、成本、体验、风控等四个方面的核心问题。大数据提供了解决之道。利用大数据能够在一定程度上提升风控能力，提高业务处理速度，降低。二是大数据风控，助力银行智能化转型。商业银行的经营管理和风险管理面临诸多前所未有的挑战，传统信贷投放中，客户经理一般用财务报表、人行、抵质押品等基本信息，依靠经验进行信用评估。传统的视图反映了客户当前静止的、切片式的状态，受限于能力和信息的不对称，就算“握着客户的手放款”也未必能真实了解客户的实际风险承受能力并做出预判，从而导致银行遭受风险损失。而基于大数据技术的风控平台打通了行内行外数据孤岛，若更加充分利用**平台公开信息以及互联网信息，结合人工智能建模技术在海量信息中进行价值挖掘，商业银行大数据应用将全面嵌入业务流程，提高风险精细化管理水平的同时也能有效地提升风险决策的实时性。比如利用知识图谱挖掘技术挖掘集团间、企业间、主要控制人间隐藏关联关系，并生成可视化关联关系图谱，及时发现异常避免不必要的风险损失。大数据应用使得金融机构以动态的、联系的、全面的、发展的视角描绘客户成为可能，传统风控的理念是根据历史预测未来，而现在的技术手段让我们在风控上不仅可以“以史为鉴”，更可以“继往开来”。三是大数据合作，跨界打造金融数据生态圈。互联网企业加入到以往只有传统金融机构的市场竞争中，对产品服务、盈利模式和客户体验进行了颠覆，传统行业都不同程度受到冲击，在经济新常态下传统企业更要抱团取暖，形成合力。而大数据的价值在于准确、及时地整合和应用行业内外的有效数据，把跨业、跨界多维度的数据集聚起来，发挥传统行业各自领域所长，打造数据生态圈。因此商业银行需要建立合作思维，以合作的心态与能为自身提升金融效率、降低风险的大数据机构进行跨界合作，实现共赢。四是强化安全管控，建立健全客户信息安全机制。大数据的发展是把双刃剑，大数据在不断发展的过程之中，买卖数据和信息泄露等威胁个人信息安全并侵犯个人合法权益的不法事件频出。日《中华人民共和国网络安全法》正式实施，加强了对个人信息的保护。中国银行业应严格遵循相关法律法规要求，持续强化基础设施的安全保障与防护体系，持续强化数据安全治理，持续强化数据流动与利用管理机制。中国银行业大数据应用展望为充分发挥大数据潜力以驱动网络金融业务发展，中国银行业需构建政产学研用为一体的开放、共享、互利、共赢的大数据产业生态体系。在数据共享方面，应加强顶层设计和统筹协调，推动资源整合和公共数据互联开放共享，借力“一带一路”战略契机推动全球范围内的全息数据共享。在数据安全方面，应不断完善法规制度和标准体系，切实保障数据安全。在数据质量方面，高质量的数据是大数据发挥效能的“生命线”，应采取系统性方法进行全生命流程的数据质量管理，从数据源头出发改善数据质量并提供持续迭代的资源投入。在人才队伍方面，应着力培育具备业务视角与技术敏锐度的跨界复合型人才，为建立大数据分析导向的智能化应用和全生命周期链路持续提供输入。在创新研究方面，应聚焦大数据创新前沿，加强前瞻性研究的同时利用柔性团队迭代开发快速孵化新应用。可以预期，未来将有越来越多的商业银行用数据驱动银行智能转型发展，打造有温度的，培育健康向上的金融生态，为实体经济服务，为普罗大众服务，做客户心上的银行。本文刊发于《清华金融评论》2017年8月刊本文系未央网作者清华金融评论发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！《保险公司实现大数据价值的三个阶段》 精选四文/中国银行总行网络金融部总经理、协会发展与研究工作组副组长郭为民大数据、人工智能、区块链、云计算、物联网、移动支付等新兴技术蓬勃发展并不断加速向社会生活的各领域渗透融合，对经济发展和社会进步产生了深刻影响，金融业的产品服务、运营管理和客户体验也在技术的驱动下加速了创新变革的步伐。大数据是重要的生产资料，是人工智能大脑流动的血液，作为国家“互联网+”行动的重要战略资源，对金融机构智能转型化发展的驱动作用愈发凸显，成为构建银行未来核心竞争力的关键。目前，良好的政策环境也推动中国大数据产业快速发展。为了鼓励包括大数据在内的新兴技术发展，中国监管机构与时俱进地制定和出台了系列政策，有力地保障和促进了行业的整体稳健发展。《国务院关于积极推进“互联网+”行动的指导意见》明确要求鼓励金融机构使用互联网拓宽服务覆盖面，使用云计算、移动互联网、大数据等技术手段来加快金融产品和服务创新，在更广泛地区提供便利的存贷款、支付结算、信用中介平台等金融服务。《中国银行业信息科技“十三五”发展规划监管指导意见(征求意见稿)》也明确要求要构建数据共享机制，逐步实现内外部数据的融合;统筹规划大数据基础设施，推进大数据平台建设;建立大数据服务体系，扩大数据服务的用户覆盖面;积极扩大信息来源以奠定大数据应用基础;开展大数据营销，提高获客能力和客户黏性;加强大数据风控，全面了解运营情况并及时优化业务流程，以推动业务创新;拓宽普惠金融的服务范围为实体经济发展提供支撑。大数据有利于驱动银行业的数字化转型大数据、人工智能等技术的发展正处于由量变到质变，从概念到应用的阶段，在新一轮技术革命、产业升级和经济转型的历史交会点上，抓住了就是机遇，错过了就是挑战。一个银行能否百年长青，核心在于理解和拥抱新技术，以创新推动转型发展。大数据作为银行业的核心资产，“用数据驱动转型发展”已经成为大家的共识。商业银行拥有大量的金融交易数据，具备成为数字化转型的先天优势。过去海量的结构化数据相互割裂、静止，沉睡在数据库中。随着新技术的快速进步，金融行业的数据应用开始流动融合，变得活跃而有生命力。大数据已经成为银行业创新的一把利器，具备大数据驾驭能力的金融机构可以实现基于数据驱动的管理决策、服务运营、风险管理及产品创新等的智能化转型与变革。同时，对于占国家金融命脉主体地位的商业银行，以至于整个金融体系而言，大数据可以解决部分黑色产业漏洞及安全威胁。互联网金融蓬勃发展的同时也面临着更加严峻的安全考验。首先，传统黑客变种升级，钓鱼网站、木马僵尸、撞库攻击、安全漏洞等愈发肆虐，黑产技术的先进性、复杂性、隐蔽性和持续性都远远超出了传统网络安全技术的应对与防护能力范围，不断侵蚀金融生态安全,犹如溃堤的蚁穴,若无数个不受控制的单个风险点最终全面开花将会带来巨大的损失。其次，新技术、新架构的应用引入新的安全风险与威胁。再次，互联网环境下的信息泄漏和信息滥用等问题愈发严峻，银行业如何在开放合作中有效保护客户隐私与信息安全任重道远。所谓道魔互博，借助大数据技术可以解决创新阶段的黑产漏洞及安全威胁带来的制约。比如基于海量的计算和存储能力打破信息孤岛，持续丰富信息数据维度，完善治理数据质量的同时可实现威胁情报与信息共享。再比如，借助大数据技术并结合机器学习及人工智能，可以有效加强网络安全威胁的态势感知、预警与分析，提升金融网络安全防御的广度与深度，前瞻性地了解对手，提前感知并精准定位风险，并采取有效的风险应对措施为业务的稳健发展和银行的智能转型保驾护航。传统商业银行在大数据应用方面的挑战传统商业银行是最先使用信息技术也是信息技术使用最广泛的行业之一。银行对客户、账户信息的存储和使用都有健全的管理机制。但是与新兴的互联网企业相比，由于起点不同，银行的数据管理能力存在明显差距，银行业整体在大数据使用方面也面临挑战。首先，银行在内部数据收集方面遇到的挑战。银行在数据应用方面的挑战是全方位的，传统的IOE架构因为存储成本相对较高，大量的历史数据存储在磁带中，甚至档案馆中还有大量没有数字化的物理凭证或没有结构化的影像数据。即使将这些数据结构化，银行还要面临历史数据标准不统一，缺乏有效数据治理手段，数据质量参差不齐，数据应用无章可循等历史遗留问题。与此同时，传统的以账户为中心，以会计为导向的银行IT系统缺乏收集客户账户查询、咨询、投诉等行为信息的能力，无法体现高维度的数据价值。数字时代银行的IT系统必须是以客户为中心，以市场为导向，具备采集全渠道客户基本信息、交易信息、交易对手信息、客户与银行的接触轨迹信息等更多维度信息的能力。这就要求银行从客户信息治理、丰富客户模型开始，不断完善客户、账户信息的同时开始客户行为信息的收集。数据的价值将会随着维度的增加而显著提高。其次，银行在外部数据收集方面遇到的挑战。互联网平台公司拥有大量与客户频繁互动的场景，在收集客户行为信息，客户之间关联信息等方面具有天然优势。银行必须通过与互联网企业合作才能采集更多维度的信息，但是银行必须在保护客户隐私的合规前提下，及时有效地获取相关信息。其合规成本与合作的代价也是传统银行在开发相关数据应用时必须考虑的。再次，银行在大数据应用IT支撑方面遇到的挑战。大数据应用的软硬件支撑平台对传统银行的IT系统提出了新的要求。特别是在分布式存储和处理实时数据能力方面银行迫切需要专业的人才支持。非结构化数据的结构化，具备自学习能力的数据模型机制还要求银行具备将前沿的人工智能技术与大数据应用相结合的能力。此外，商业银行还需要在实践中培养可以支持开放式平台架构，分布式应用系统，Hadoop架构等的开发和运营维护人员。商业银行大数据金融的探索实践与思考在外部技术变革驱动和内部转型发展的共同推动下，中国银行业都在积极地践行国家“互联网+”战略，前瞻性地探索并积极推进新兴技术的应用，将科技创新与业务创新深度融合。国内多家银行目前已经在精准营销、智能风控、跨界合作、普惠金融、数据治理等方面取得了显著的应用成效，有效的提升了自身网络金融包括风险管理、大数据应用、人工智能应用、云计算、产品效率等核心能力。结合中国银行的实践经验而谈，对于银行业而言大数据金融的探索与实践，需要提升以下四个的方面的能力与效率。一是大数据洞察，建立客户全生命周期管理。过去银行对客户的了解主要依赖于开户基本信息和账户交易情况，对客户行为、偏好、动态知之甚少，无法满足不同客户千变万化的需求。并且，在中国的信用体系还不完备的情况下，很大一部分长尾客户是“信用白户”，当前校园贷市场的乱象和正规金融机构的缺位也有直接的关联。针对这些问题，多家银行尝试利用大数据对客户进行全面画像，在洞察客户多元化需求的基础上提供个性化服务和差异化定价，同时精准识别潜在客户，激活睡眠客户的同时，提升客户满意度。以中国银行为例，一方面以“+互联网”的模式推动传统银行业务触网，另一方面以“互联网+”创新服务，基于大数据技术识别客户的贷款意愿、评估还款能力，推出了全流程在线信用贷款的秒贷产品。同时，把目光放至客户的全生命周期信用管理，用大数据技术“提前锁定”潜力客户，动态更新信用评分，了解客户动向，测算包括校园贷、助学贷在内的金融产品的未来盈利能力。也正是基于整合分析了海量金融数据，精准描绘客户画像，预测客户的成长属性，秒速实现从申请、审批到放款的业务流程全在线，中国银行可以在大数据技术的帮助下，积极践行国家普惠金融战略。而发展普惠金融是金融支持实体经济的必然要求，也是银行业转型的重大机遇。普惠金融的核心理念是“金融普惠”，解决普惠金融发展特别是信贷业务的痛点，需要解决效率、成本、体验、风控等四个方面的核心问题。大数据提供了解决之道。利用大数据能够在一定程度上提升风控能力，提高业务处理速度，降低边际成本。二是大数据风控，助力银行智能化转型。商业银行的经营管理和风险管理面临诸多前所未有的挑战，传统信贷投放中，客户经理一般用财务报表、人行征信、抵质押品等基本信息，依靠经验进行信用评估。传统的视图反映了客户当前静止的、切片式的状态，受限于能力和信息的不对称，就算“握着客户的手放款”也未必能真实了解客户的实际风险承受能力并做出预判，从而导致银行遭受风险损失。而基于大数据技术的风控平台打通了行内行外数据孤岛，若更加充分利用**平台公开信息以及互联网信息，结合人工智能建模技术在海量信息中进行价值挖掘，商业银行大数据应用将全面嵌入业务流程，提高风险精细化管理水平的同时也能有效地提升风险决策的实时性。比如利用知识图谱挖掘技术挖掘集团间、企业间、主要控制人间隐藏关联关系，并生成可视化关联关系图谱，及时发现异常避免不必要的风险损失。大数据应用使得金融机构以动态的、联系的、全面的、发展的视角描绘客户成为可能，传统风控的理念是根据历史预测未来，而现在的技术手段让我们在风控上不仅可以“以史为鉴”，更可以“继往开来”。三是大数据合作，跨界打造金融数据生态圈。互联网企业加入到以往只有传统金融机构的市场竞争中，对产品服务、盈利模式和客户体验进行了颠覆，传统行业都不同程度受到冲击，在经济新常态下传统企业更要抱团取暖，形成合力。而大数据的价值在于准确、及时地整合和应用行业内外的有效数据，把跨业、跨界多维度的数据集聚起来，发挥传统行业各自领域所长，打造数据生态圈。因此商业银行需要建立合作思维，以合作的心态与能为自身提升金融效率、降低风险的大数据机构进行跨界合作，实现共赢。四是强化安全管控，建立健全客户信息安全机制。大数据的发展是把双刃剑，大数据在不断发展的过程之中，买卖数据和信息泄露等威胁个人信息安全并侵犯个人合法权益的不法事件频出。日《中华人民共和国网络安全法》正式实施，加强了对个人信息的保护。中国银行业应严格遵循相关法律法规要求，持续强化基础设施的安全保障与防护体系，持续强化数据安全治理，持续强化数据流动与利用管理机制。中国银行业大数据应用展望为充分发挥大数据潜力以驱动网络金融业务发展，中国银行业需构建政产学研用为一体的开放、共享、互利、共赢的大数据产业生态体系。在数据共享方面，应加强顶层设计和统筹协调，推动资源整合和公共数据互联开放共享，借力“一带一路”战略契机推动全球范围内的全息数据共享。在数据安全方面，应不断完善法规制度和标准体系，切实保障数据安全。在数据质量方面，高质量的数据是大数据发挥效能的“生命线”，应采取系统性方法进行全生命流程的数据质量管理，从数据源头出发改善数据质量并提供持续迭代的资源投入。在人才队伍方面，应着力培育具备业务视角与技术敏锐度的跨界复合型人才，为建立大数据分析导向的智能化应用和全生命周期链路持续提供输入。在创新研究方面，应聚焦大数据创新前沿，加强前瞻性研究的同时利用柔性团队迭代开发快速孵化新应用。可以预期，未来将有越来越多的商业银行用数据驱动银行智能转型发展，打造有温度的普惠金融产品，培育健康向上的金融生态，为实体经济服务，为普罗大众服务，做客户心上的银行。免责声明：[金融之家-JRZJ.COM刊发此文目的在于传递更多信息，文章内容仅供参考，不构成投资建议。据此操作，风险自担]责任编辑：汪伟《保险公司实现大数据价值的三个阶段》 精选五调研 | 李喆撰写 | 李喆传统SAN（Storage Area Network）存储市场一直是一个封闭的高技术壁垒市场，因为涉及到用户的数据，所以产品的高性能和高可用性一直是传统存储厂商拿来锁定用户的关键性指标。随着数据量的大幅增长，企业除了对高性能和高可用性之外，对数据存储的可扩展性提出更高要求。传统SAN存储技术出现了技术短板，无法实现性能和容量同时线性增长，必须依赖高性能硬件，价格昂贵，同时扩展性比较差。这时出现了以Ceph、Gluster等开源分布式存储技术，底层使用X86等通用硬件，依靠软件将底层硬件资源池化，通过软件提升存储能力，保证稳定性，满足客户对存储的需求，这就是所谓的SDS（软件定义存储）。XSKY就是这样一家基于Ceph技术开发商业存储产品的公司，其产品将大型互联网架构运维经验、主流的开源技术、企业关键业务的最佳实践相结合，为客户提供高性能、高可靠性的软件定义存储产品。并今年5月完成1.2亿的B轮融资，为启明创投、北极光创投和红点中国。XSKY创始人胥昕曾在国内第一家OpenStack厂商担任CTO，在做云计算期间发觉存储行业的痛点和未来趋势，决定以此为方向创业，于2015年创建XSKY。XSKY成立之初就瞄准了线下传统企业客群。对象存储在互联网企业中应用很广，而传统企业对块存储需求旺盛，块存储对性能、稳定性要求很高，这恰恰是之前SDS一直无法完美解决的问题。经过两年研发和迭代升级，XSKY的分布式块存储产品X-EBS已经支持多路径的光纤协议、iSCSI等接口，并与VMware官方接口整合。同时增加了监控体系、自动恢复机制等企业级存储功能，可以在上面运行Oracle数据库等关键负载，基本满足企业级客户的需求。仅仅满足企业现有需求是不够的，未来所有IT产品都将为应用服务，存储同样如此，数据将成为连接存储和应用的桥梁。除了数据存放之外，数据的冷热分离、整个生命周期的运营都将成为客户需求。国外已经明显呈现出以上趋势，并出现了数据平台（Data Platform）这个新领域，涌现出Cohesity、Hedvig等初创公司，其中Cohesity最新一轮融资达到9000万美金，Hedvig最近同样也拿到惠普2150万美。基于对未来趋势和国外发展现状的判断，XSKY发布新产品企业级统一数据存储平台X-EDP，在提供对象存储、块存储和文件存储服务的基础上，增加了很多以数据价值管理为中心的功能。近期，爱分析对XSKY创始人胥昕进行访谈，他分享了XSKY的业务模式、运营财务状况以及未来战略，以及他对存储市场未来发展趋势的判断，现将部分内容分享如下。业务与战略爱分析：X-EDP是不是理解为X-EOS加X-EBS？胥昕：并不是，X-EBS加X-EOS仅仅是一个基础，上面还做了很多事情。比如提供了内置的备份，加了很多数据保护的功能，块存储可以备份到对象存储，对象存储可以恢复到块存储。还可以做到数据混合云，块存储的同城双活、对象存储的两地三中心，实现了很多数据流动和数据保护的高级特性。用户在企业中关注的是一个“数据平台”，而不是一个简单的“存储平台”。以前的存储机制是对象存储、块存储、文件存储等多种接口，数据能不能可靠、高效的存放访问，那个叫存储平台；X-EDP全面的考虑数据的存放、流动、生命周期，以及跨越数据中心和多云的部署，以数据为中心去管理。爱分析：这和大数据公司帮助企业做基于Hadoop的平台有哪些不同？胥昕：Hadoop是一个很垂直的产品，重点在于让分析型数据靠近计算。而我们帮助用户解决数据存放的所有问题——交易型数据和分析型数据，业务数据和备份数据，在线数据和离线数据等。Hadoop是独立的分析集群，不是用来做数据长期存放的，要分析什么就把相关数据从X-EDP上拷贝过来，进行分析。爱分析：X-EDP与传统数据库的区别是什么？胥昕：数据库是解决结构化数据存放和访问问题，不能存储图片，数据库下面需要存储，通常是块存储。X-EDP存放的数据可以同时是非结构化和结构化数据，包含数据库、虚拟机、图片、视频、音频、保单、备份等等。我们其实是一个数据存储平台，数据库在我上面，Hadoop在我旁边，可以从我们这里拿数据做分析。爱分析：现在重点会布局哪些行业？胥昕：从公司目前的业务来看，第一大行业是金融，第二大行业是媒体，第三是运营商，第四是**，后面就比较散。目标定位于数据量较大，本身客户群较大，对数据进行高附加值利用的行业客户。爱分析：针对块存储的策略是什么？胥昕：很多人问我一个很尖锐的问题，软件定义存储，特别是做块存储，不是一个新行业，是一个老行业。很多人问为什么这些SDS做块存储的公司在美国创业十年没有成功？做存储不是同类产品的对比，替代什么很重要，要能替代SAN。SAN的特点就是高性能、稳定性，这是企业级存储和个人存储的差异。同时，性能容量的线性扩展也是现在客户越来越关心的问题。爱分析：什么是企业存储？胥昕：满足三点，一是有一个机制把下面的多个硬盘管理起来，做到性能损耗最低；二是能够把接过来的硬盘能力对接出去，支持很多企业级的接口，比如光纤协议、iSCSI协议，云原生的虚拟化协议、VMware私有化协议；三是要支持企业级的功能，包括加密、压缩、去重，高度的可靠性、完善的监控体系、强大的资源调用体系、自动恢复机制等功能，这些都是企业级功能。很多企业买存储认为可靠性和高性能是基本能力，真正打动用户购买的一定是功能，能解决用户什么问题。我们看到SDS第一步发展是从专用硬件将软件抽出来，这很伟大，但是不够，第二步是把它做到拥有高可靠性和高性能，真正想在积累了20年的传统存储功能的标准上产品化很难。ScaleIO被收购时连界面都没有，更谈不上功能。这一点上现有的软件定义存储，甚至是很多国际知名的产品，做到替代传统存储是有距离的。所以我们的策略是将先进的分布式技术和20年积累的传统存储产品化程度和功能相结合，才能做出一个将互联网技术充分产品化的分布式产品，用户买技术没有用，要买产品才有用。爱分析：针对这个策略，团队是如何组建的？胥昕：我们目前的团队是碰撞结合的。Team-A是全球Ceph开源社区贡献前列的团队，来自于一线的互联网公司以及开源领袖，比如360、新浪、Intel等等，都是做先进的分布式算法，包括Ceph本身的存储引擎。还有来自IBM、华为、中兴研发团队的Team-B，他们有丰富的做传统存储的经验，两个团队相结合在内部碰撞，做出自己的企业哲学，将新的分布式存储技术和传统产品化结合，最后做出用户需要的产品。我们的产品很强调企业级能力，之前SDS在单点的性能上是不如SAN，所以跑不了Oracle，我们现在的性能可以跑Oracle。如果没进入高性能场景，相当于没有进入存储主战场。光是云存储或者冷数据存储，其实市场渗透率很低。爱分析：从技术到实现产品化过程中需要克服哪些难点？胥昕：一、创业开始阶段，从CEO到整个核心团队一定要把80%的精力放在产品上而不是技术，好技术和好产品是两码事，我们更关注用户在不同场景下使用产品的感受。二、国内的底层技术团队陷入一个怪圈，没有技术远见就会陷入外包和项目型。美国创业公司比我们好的地方，VC容忍烧三年的钱，公司会专注于打磨技术和产品。中国不一样，第一年就要做营收，产品不稳定就要先做项目，界面都没有就要卖产品，产品不够靠人堆，研发团队跑到一线机房去给别人做24小时运维，那么研发产品就更无从谈起。今天很多创业公司的产品版本号都没有内部标准，就更难去做产品化。一旦有产品版本号就有完整的生命周期管理，从预研阶段到研发阶段到QA阶段到GA阶段到交付阶段是一个很严肃的过程，有这么一个过程可以把产品做得很完整。前两点决定了内部流程，流程决定产品。三是产品的方法论，例如买一台思科、DELL的交换机，他的产品是包括说明书、安装包、法律法规、每个版本迭代更新内容、潜在Bug的QA的完整产品，这才是产品完整性。国内很多仅是提供产品安装包的形式，不是能力不够，而是没有把精力放在产品完整性，一般都是放到技术研发或者做项目上，在前期的产品线不够完善或者产品本身不够可靠的情况下，如何平衡营收和产品质量的问题是创业公司特别是基础设施创业公司最大的挑战。爱分析：XSKY采取的做法是什么？胥昕：一、我们有志同道合的股东，我们知道自己的策略和资源整合方式，创业公司在市场中取胜的法宝就是快，但我们也要平衡产品质量和发展速度的关系，公司的董事会成员观点一致，比较和谐。今年上半年营收增长特别快，董事会的首要态度是要求质量是否有保障。二、本身所处的行业比较好，因为越往上做行业属性越强越好，预算就会越高，比如给医院做一套挂号系统，相对来说，本身的技术研发成本不高，但是预算很高，因为不同的医院挂号系统也有很大不同，所以编辑成本会很高、定制需求会很强，项目无法标准化，存储行业很难出现定制化需求，比如不用光纤协议换个别的定制的协议，技术创业者擅长做技术但不一定擅长定制，也不好管理。三、明确商业价值观，明确哪些东西能做哪些东西不能做，把精力专注于做产品，对自己擅长的，要做到完美。开源本身不是商业模式，无论开源还是闭源，商业模式无非是三种：一是做产品，二是做服务，三是做外包。开源技术越成熟越很难做产品，用户自己下载一个开源版本就行，他有很强的自己的想法，肯定全定制了，不会买产品。开源技术不是不好用，而是一个部分。如果存储是一辆车，Ceph是一个发动机，用户不能只买发动机，而是需要买一辆汽车。还有方向盘、座椅、空调和底盘，它都是没办法缺失的，Ceph只是XSKY的最重要的一个模块，这样就很好产品化，用户最后在意的是整个产品的能力。爱分析：未来的战略是什么？胥昕：解决用户在混合数据的管理、存放、读取、保护、流动等一揽子数据基础设施问题的产品化公司，高度产品化，保障工程质量和速度持续提升优化，不是解决单个问题而是一揽子问题。运营与财务爱分析：团队多少人？胥昕：XSKY员工人数不到200人，研发及服务团队约不到100人。之前介绍过，我们研发团队来自一线互联网公司和传统存储公司的碰撞结合，其他部分是营销和职能部门，我们营销部门人员也大多来自DELL、Intel等一线公司，有着丰富的营销经验。爱分析：现在成本大部分是人力成本和机器成本？胥昕：从会计准则来讲，占大头的主要是人力成本，按3到5年折旧。工程师成本非常高，核心竞争力也是人力，而且要让核心团队留在公司，让技术人员在一定的职业规划下，稳步提高和成长。爱分析：现在销售层面渠道多一些还是直销多一些？胥昕：从目前的情况来看，自己做的项目比较多，有些行业标杆项目都是我们自己做下来的，渠道也会有一些。爱分析：收费模式是什么？胥昕：收费模式很简单，license。授权模式按节点或TB两种都可以。爱分析：预计今年营收多少？胥昕：今年全年的预计营收增速是四倍多。明年压力可能会大一点，对纯软件公司来讲，营收过亿门槛很高。所以更多焦点放在明年的布局，而不是今年下半年。行业与市场爱分析：有没有哪些对标公司？如何考虑未来竞争格局？胥昕：对标Data Platform公司，主要是美国的Hedvig、Cohesity。我们不怕美国公司进入国内，最大的挑战在于进入后会有一堆公司在模仿他们，这会对我们产生冲击。在国内我们的主要市场有两块：一个是SDS增量市场，另一个是传统存储转移至SDS的市场。SDS的增量市场XSKY有着天生的优势，所以未来我们会重点关注传统存储转移至SDS的这块市场。爱分析：Ceph社区中Red Hat贡献最大，他现在有在做存储吗？胥昕：企业哲学不太一样，我们其实是一家商业软件公司，基于开源技术，完全遵守LGPL协议。Red Hat的大多数产品都是开源的，红帽商业模式很简单，相当于把地球上绝大部分的海水转化为可以食用的纯净水，纯净水很多时候还是原料，可乐、雪碧需要纯净水制造，我们则是相当于专注于可乐产品。为什么在Ceph社区里红帽一家独大，这是必须的。在一些开源项目里看到的可能是完全平等化，大家都很平等地在玩，容易造成分裂，大家很难有一致的目标规划，比如安卓至今也没有分裂，因为Google一家独大，完全可以决定安卓未来的走向。每个成功的开源项目后面一定有一个一家独大的主导者，决定技术的明确发展方向。爱分析：公有云考虑自己做存储吗？胥昕：当然，但我认为未来是混合云时代，有些数据在私有云，有些数据在公有云。混合云会产生新的问题，具体哪些数据放在公有云，哪些数据放在私有云，很难搞清楚。X-EDP有一个功能，可以对接所有的七牛云、腾讯云、阿里云、AWS，数据统一写在我们这个私有数据平台上一是之后我们会做数据的生命周期管理，比如一个月都不读的数据会自动放到阿里云和AWS，数据到我这儿会留存一份，实时拷贝到腾讯云和阿云，实现分发，当用户不需要的时候，可以帮他删掉。二是帮助用户解决绑架问题，大家以前最怕被IBM捆绑，用了之后就不太容易再迁移，但是现在云厂商捆绑用户才是最可怕的，而我们可以把用户所有的数据按策略分发到各个云平台，这样客户不会被某个云所捆绑。所以X-EDP真正在混合云时代帮助用户解决上云的问题，上云不是直接用就可以，还产生一大堆的新问题，所以这是X-EDP的关键所在。爱分析：全球的存储行业300亿美金市场规模，为什么中国只有两三百亿人民币的市场规模？胥昕：全球存储的发展其实可以看作全球经济发展的一个缩影，美国，中国，日本分别是世界GDP的前三名，其存储的市场规模也分别是前三名，但是美国一家的数据量太大，占全球43%的市场份额，中国虽然是第二但是只有9%的市场份额，这说明我们还有很多路要走。一、国内对数据的重视程度不够，中国的数字化转型起点落后，比如以前国内大部分医院X光片直接存储在仓库，广电的媒体库资料也都是光碟磁带放在仓库，数据在线率几乎为零。大数据时代的冲击，迫使国内数据在线化转型。现在卫计委要求医院X光片电子病历也要存30年，全国地区的身份证数据也正在打通，大数据需求现在才刚刚开始增长。二、数据的使用价值没有被挖掘。三、存储行业的单位售价低。美国一个存储卖30万美金，到了中国卖三十，一家公司能改变整个行业，搞得大家都没法玩。华为现在只做40亿，32%的市场占有率，侧面影响了整个盘子不到200亿。全球整体的传统存储在下降，而中国每年保持增长17%，原因来自以上三点在发生改变，中国SDS每年高达150%左右的年增长率（YoY Growth）。爱分析：您判断未来存储会占到整个基础设施的比例是多少？胥昕：全球一直是35%~40%左右的比例，因为存储贵，然后网络、服务器差不多百分之二三十，我觉得这个比例不会变化。存储很深，研发周期很长，决定软件卖的贵与否，一是技术含量高；二是工作量大。平均社会劳动时间长决定了高价值，比如备份软件需要适配很多不同种类的数据，从不同型号的存储备份到不同的磁带库，代码量工作量巨大，也会因此卖的很贵。开源的Ceph项目只是造了发动机，造车的路还很长。爱分析热文新龙榜新龙榜TOP125新金融互联网金融TOP100|互联网金融TOP50互联网保险TOP35|消费金融TOP25财富管理TOP42|投资机构TOP30互联网支付TOP20|虎鲸榜TOP50互联网保险TOP25|互金概念股TOP30创富人物榜TOP50|影响力50人企业服务企业服务TOP100|企业服务TOP50大数据TOP72|B2B电商TOP50云服务TOP50|网络安全TOP30大数据影响力50人|B2B电商影响力50人其它出行服务TOP50人工智能TOP50教育科技TOP50语言教育TOP20移动医疗TOP30汽配维修TOP20家居家装TOP36新零售TOP100幼教TOP35Adobe|Salesforce|阿里云AWS|Atlassian|TableauCloudera|Palantir|ZendeskHubspot|WeWork|MircoStrategy金山云王育林访谈|Hortonworks360企业安全调研吴云坤访谈UCloud调研季昕华访谈|乐视云TalkingData调研崔晓波访谈纷享销客 罗旭访谈|北森国双科技调研祁国晟访谈容联云通讯|秒针|销售易图森互联|数据堂|星环科技MuleSoft|明略数据吴明辉访谈OneAPM|听云|有云|环信昆仑数据 陆薇访谈|瀚思科技猎上网|云智慧|白山云科技DataHunter 程凯征访谈Sensoro 赵东炜访谈《保险公司实现大数据价值的三个阶段》 精选六风控本文共4447字，预计阅读时间1分46秒引言：是金融领域必不可少的一环。近些年，为了实现更精准、更高效的风控，金融机构纷纷引进了大数据技术。然而，大数据风控并非十全十美，其尚存数据孤岛、数据低质和数据泄露等有效性不足问题，由此引发的风险事件层出不穷。的横空出世，为大数据风控带来了些许曙光。那么，大数据+区块链，是否真的能在风险控制领域擦出不一样的火花？金融业的核心在于风险控制（以下简称风控）。随着金融业的快速发展，其风险问题也愈发严峻。用个人经验预判风险的传统风控模式，已经不能完全满足新时代的风险管理需求。伴随着大数据技术的日益普及和风险管理中对数据资产的重视，大数据风控应运而生。然而，大数据风控真的有效吗？大数据风控美中不足众所周知，大数据风控是指利用大数据技术对交易过程中的海量数据进行量化分析，进而更好地进行风险识别和风险管理。大数据风控的核心原则是小额和分散，即预防资金相关者过度集中。小额的设计原则主要是针对海量数据构成的统计样本，尽量避免出现统计学中的“小样本偏差”。分散的设计原则主要是通过分析借款主体的人口属性、商业属性、行为属性和社交属性等数据来建立大数据。基于大数据的风险控制，突破了传统风险控制模式的局限，在利用更充分的数据的同时降低了人为偏差，是金融机构创新传统金融风控模式的变革利器。应用大数据技术不仅可以提高风险控制的效率，还能节约风控过程中的管理成本。然而，大数据风控并不完美，首先，大数据风控技术无法解决数据孤岛问题，即数据的开放和共享问题。目前，**、银行、券商、互联网企业和公司掌握的信息难以在短时间内互联互通，从而形成一个个信息孤岛。当交易在不同金融机构之间进行时，数据孤岛导致了信息的不对称、不透明，带来了大量的多头债务风险和欺诈风险。金行业若想利用大数据风控技术提升风控水平，就必须打破数据孤岛，解决和信息获取不及时的问题。其次，数据低质的问题也从一定程度上影响了大数据风控的质量，特别是来源于互联网的半结构化和非结构化数据，其真实性和利用价值很低。举例来说，在美国，Lending club和Facebook曾经合作获取并利用社交数据；在中国，也曾大费周章地采集的社交数据，以期实现对借款人信用的全面评定。但是两者得出的结论如出一辙，由于社交网络中的数据主观随意性很强，这些在网上提取的社交数据根本不具有利用价值或者利用价值十分低，错误率高达50%。电商平台上的交易数据也由于一些现象而失真。这些信息的收集与利用就如同垃圾的运进运出，几乎没有任何意义。基于这些低质数据的风控效果也　会大打折扣。最后，大数据风控过程中存在数据泄漏问题。近年来，数据泄漏风险事件屡见报端。日，汇丰银行大量秘密银行账户文件被曝光，显示其瑞士分支帮助富有客户逃税，隐瞒数百万，提取难以追踪的现金，并向客户提供如何在本国避税的建议等。这些文件覆盖的时间为2005年至2007年，涉及约3万个账户，这些账户总计持有约1200亿美元资产，堪称史上最大规模银行泄密。Verizon发布的全球调研报告《Data Breach Investigations Report 2015》显示，2015年网络安全事件共有79790起，确认的数据泄露事件超过2千个(2122个)。这些都降低了大数据风控的有效性和应用价值。区块链能否解救大数据风控？2008年11月，一位名叫（Satoshi Nakamoto）的加密爱好者首次提出了。是一个的分布式数据库，这种去中心化、开放自治、匿名不可篡改的数据结构特性使其一出现就迅速取得大量关注。区块链的出现，也在一定程度上解决了大数据风控有效性不足的问题。于中，，而记录这种货币发行与交易的“账本”。为了不涉及被信任的第三方，这个“账本”需要保证交易双方能够相互信任，且保证全部交易信息公开透明，自动传达给交易双方。因此，这个“账本”必须是共享、自治和不可随意更改的。用专业的说法就是，要有去中心化、开放自治和匿名不可篡改的特性。区块链的四大核心技术实现了这些特性：（1）分布式记账、分布式传播、分布式存储，保证了系统内的数据存储、交易验证、信息传输全部都是去中心化的；（2）通过时间戳（区块（完整历史）+链（完全验证）=时间戳）来记账，形成了一个不可篡改、不可伪造的数据库；（3）所有权的信任是“算法式信任”，非对称加密算法保障交易数据的可信；（4）实现了可编程的，使系统可能去处理一些无法预见到的交易模式。、开放自治、匿名不可篡改的特性使其应用场景迅速扩张，从最初的数字货币，到证券交易结算、会计审计等涉及合约审核的金融领域，再到**、医疗等公共领域，术解决了现实世界中存在的诸多技术壁垒。具体来说，近两年构建了称之为“四大发明”的大数据模型体系：司南-风险管理模型系统、火药-量化运营模型体系、活字-模型体系、造纸-大数据征信模型体系。毋庸置疑，与传统风控体系比较，依于大数据技术的“四大发明”的风控体系能够更加精准识别及遏制套现行为，目前为止已经为1亿用户完成了信用评估。然而，大数据风控体系仍然无法解决其数据源上存在的问题。无独有偶，将于大数据风控体系，可以有效解决大数据风控数据孤岛、数据低质和数据泄露等数据源问题。影响大数据风控有效性的关键因素，是数据库的维护成本和信息传递效率。而单从数据的角度来看，区块链是一个由所有参与者共同记录（而不是中心化机构单独记录）信息、由所有参与记录的节点共同存储（而不是存储在中心化机构中）并且不可随意篡改的数据库。在这个中，每个用户节点都拥有整个数据库的完整拷贝，并且当某个用户节点要对数据库写入数据时，它需要向广播这些数据，以便其余用户节点对这些数据进行验证审核操作。只有全网共同验证和认可后，数据才能写入区块链，并且一旦数据写入区块链后，就不能随意修改或删除。这样一个技术构建的数据库，对于大数据风控有效性的提高有重要意义。首先，区块链去中心化、开放自治的特征可有效解决大数据风控的数据孤岛问题，使得信息公开透明地传递给所有金融市场参与者。设想以下情况：一位客户同时向A银行和B银行各申请一百万的，但其房屋价值只有一百万。如果两家银行加入了同一区块链，就能即时辨别出客户的交易行为和风险，避免放贷总额超过抵押值。除了交易主体外，监管部门也可以作为一个用户节点，实时监控其他用户节点的交易信息，防范风险事件的发生，无需再等到事后申报。利用区块链中全部数据链条进行预测和分析，监管部门可以及时发现和预防可能存在的，从而更好地维护金融市场秩序和提高金融市场效率。可见，区块链去中心化的特征，可以消除大数据风控中的信息孤岛，通过信息共享完善风险控制。其次，区块链的分布式数据库可改善大数据风控数据质量不佳的问题。使得数据格式多样化、数据形式碎片化、有效数据缺失和数据内容不完整等问题得到解决。在区块链中，数据由每个交易节点共同记录和存储，每个节点都可以参与数据检查并共同为数据作证，这提高了数据的真实性。而由于没有中心机构，单个节点不能随意进行数据增减或更改，从而降低了单一节点制造错误数据的可能性。举例来说，在银行或交易平台内部建立，一位客户构成一个节点，一方面可以避免大量数据由单一信息中心集中录入和存储，降低操作风险；另一方面，卖方单方面的刷单行为可以通过买方的验证得到遏制，从而保证数据的真实有效。伪造的数据若想通过络的验证，必须掌握该私有链中超过50%的计算能力，当节点足够多的时候，该私有链的控制成本急剧上升。另外，区块链中每个节点都有完整的数据副本，只有当整个发生宕机时数据才会丢失，并且数据记录一旦写入就不能修改。因此，区块链具备公开、透明和安全的特点，可以从源头上提高数据质量，增强数据的检验能力。最后，区块链可以防范数据泄漏问题。由于库是一个去中心化的数据库，任何节点对数据的操作都会被其他节点发现，，从而加强了对数据泄漏的监控。另外，区块链中节点的关键身份信息以私钥形式存在，用于交易过程中的签名确认。私钥只有信息拥有者才知道，就算其他信息被泄漏出去，只要私钥没有泄漏，这些被泄漏的信息就无法与节点身份进行匹配，从而失去利用价值。对于来自数据库外部的攻击，黑客必须要掌握50%以上的算力才能确保攻破区块链，节点数量越多，所需的算力也就越大，当节点数达到一定规模时，进行一次这样的攻击所花费的成本是巨大的。因此，通过区块链对信息存储进行加密，保证数据安全，防范大数据风控中可能出现的数据泄露问题，是区块链的重要应用之一。大数据风控+区块链，未来在哪里？BI Intelligence在最近刚发布的一份Fintech行业报告中预测，和普及将成为2016年金融业的最大趋势。那么，成为大数据风控的助推器吗？笔者认为，“区块链+大数据风控”的发展前景是广阔的，但不是一蹴而就的。随着以及资金和人力的持入，区块链会与大数据技术跨界融合，对风控领域现存问题提出更合理更高效的解决方案。区块链的身份验证和加密技术也将在大数据风控中发挥作用。区块链采用非对称加密，在信息传递过程中，用公钥（公开全网可见）对交易信息加密，被加密过的信息只有拥有相应私钥（只有交易发起者才知道）的人才能够解密；在身份验证时，用私钥对信息签名，用公钥验证签名者的身份（公钥不能解出私钥，但能验证私钥）。与此同时，利用大数据技术从数据端对引流的客户进行身份验证、特征筛选等，以此提高反套现、反欺诈和反作弊的准确度。过去几年，在金融活动的合约审查及执行过程中，人为的操作风险和一直是大数据风控难以解决的问题之一。大数据风控主要针对客户端，对于金融机构的员工操作风险和道德风险层面，大数据风控技术显得捉襟见肘。2009年初，区块链技术的出现，使智能合约系统成为可能。基于的特点，可将合约指令嵌入到区块链中，有效弱化中心系统在数据监控和验证中的作用，并消除人为操作因素可能引发的风险。金融机构逐渐开始布局构建区块链技术的智能合约系统，使合约的合规检查自动化。区块链技术作为一种特定的数据库技术，将与大数据风控技术实现优势互补，进而构建全新的数据组织方式。笔者相信，在不久的将来，两项技术的跨界融合将会上升到公司级和国家层的治理层面，从而带领我们进入强信任背书的大数据时代。（文/杨望 毛可若 曲强
原刊于《长江大数据》 2017年2月）《保险公司实现大数据价值的三个阶段》 精选七区块链大数据风险本文共4435字，预计阅读时间1分46秒引言：风险控制是金融领域必不可少的一环。近些年，为了实现更精准、更高效的风控，金融机构纷纷引进了大数据技术。然而，大数据风控并非十全十美，其尚存数据孤岛、数据低质和数据泄露等有效性不足问题，由此引发的风险事件层出不穷。区块链技术的横空出世，为大数据风控带来了些许曙光。那么，大数据+区块链，是否真的能在风险控制领域擦出不一样的火花？金融业的核心在于风险控制（以下简称风控）。随着金融业的快速发展，其风险问题也愈发严峻。用个人经验预判风险的传统风控模式，已经不能完全满足新时代的风险管理需求。伴随着大数据技术的日益普及和风险管理中对数据资产的重视，大数据风控应运而生。然而，大数据风控真的有效吗？大数据风控美中不足众所周知，大数据风控是指利用大数据技术对交易过程中的海量数据进行量化分析，进而更好地进行风险识别和风险管理。大数据风控的核心原则是小额和分散，即预防资金相关者过度集中。小额的设计原则主要是针对海量数据构成的统计样本，尽量避免出现统计学中的“小样本偏差”。分散的设计原则主要是通过分析借款主体的人口属性、商业属性、行为属性和社交属性等数据来建立大数据风控模型。基于大数据的风险控制，突破了传统风险控制模式的局限，在利用更充分的数据的同时降低了人为偏差，是金融机构创新传统金融风控模式的变革利器。应用大数据技术不仅可以提高风险控制的效率，还能节约风控过程中的管理成本。然而，大数据风控并不完美，首先，大数据风控技术无法解决数据孤岛问题，即数据的开放和共享问题。目前，**、银行、券商、互联网企业和第三方征信公司掌握的信息难以在短时间内互联互通，从而形成一个个信息孤岛。当交易在不同金融机构之间进行时，数据孤岛导致了信息的不对称、不透明，带来了大量的多头债务风险和欺诈风险。金融信贷行业若想利用大数据风控技术提升风控水平，就必须打破数据孤岛，解决信息不对称和信息获取不及时的问题。其次，数据低质的问题也从一定程度上影响了大数据风控的质量，特别是来源于互联网的半结构化和非结构化数据，其真实性和利用价值很低。举例来说，在美国，Lending club和Facebook曾经合作获取并利用社交数据；在中国，宜信也曾大费周章地采集借款人的社交数据，以期实现对借款人信用的全面评定。但是两者得出的结论如出一辙，由于社交网络中的数据主观随意性很强，这些在网上提取的社交数据根本不具有利用价值或者利用价值十分低，错误率高达50%}