金融风控网正在搬家&改版……
金融风控网（www.jrfklt.com）正在换衣服
风控兔（）已经上线运营
希望您多多支持
我们一起走过
我们一起成长
2& 家产业基金注资
8万家金融机构入驻
17万风控精英汇聚
5000万访问量积淀
我们一直蜕变
化作蝴蝶伴君舞
& 谢谢您对金融风控网的关心与支持　　说起考研择专业，大家首先会考虑到的就是行业的就业前景。近年来中国飞速发展，世事变化过快，掌握未来的发展趋势，从而选择一个适合未来发展的热门专业，对考生的职业生涯将非常的有利。经过了市场调查和专家分析，未来下面的职业会更受欢迎，2018考研党可参考。
　　未来五年最火的职业之风控官
　　土豪扎堆!近两年来，互联网金融像个大火球滚火遍全国，但在赚钱同时，这个行业的风险也越来越大，这让风控官越来越抢手。就算是一个鲜嫩嫩的风控新人，月薪也是5000起步，就算是在校学生的赛事，奖金都数以万计(比如经过全国300多学校海选，60个战队正在争夺决赛入场券的好贷杯首届高校风控大赛)，总监级大佬的年薪更是止不住地往上涨。据说，温州某P2P公司开出年薪30万，没招到人!至于北上广深的薪酬，大家更可以尽情发挥想象，据说一个40多岁的首席风险控制官，年薪几百万根本不是梦啊!!!想赚钱买房、娶媳妇儿、孝敬爹妈，首选风控官!
　　推荐硕士专业
金融学（学硕）
　　当然要从事风险控制官的职业，大家除了要选择合适的专业或者具有相关行业的工作经验之外，一般情况下不可缺少的就是相关从业资格证。所以大家要提前做好职业规划，并为之努力。
　　更多敬请关注：
&&&& 2017考研初试已经结束，一年一度的分水岭又来了，有希望进入院校线的同学现在开始就应该准备复试了！而今年初试不理想，但又不想放弃追逐梦想的同学，需要知道今年的自己究竟弱在了哪些知识点！
寒假考研复习注意事项
2018考研复习
你需要关注
2017考研复试
& & & &暑期已经临近，夯实基础，巩固真题，详情解读，破译考研密码...这么重要的阶段，选择一个正确的复习方式尤为重要！暑期集训营，14年历史，只为精品，只为提高，让你无愧暑期复习！
& & & &小编整理了历年考研真题及答案解析，关注微信公众号：跨考考研，回复&真题&即可获得，说不定还能找到一起上自习的研友哦！
2019暑期强效提升方案
2019考研公共课暑期提升
抓住最后选择院校专业的机会
400-883-2220后使用快捷导航没有帐号？
京东基于Spark的风控系统架构实践和技术细节
查看: 30308|
评论: 0|原作者: 孟勐、张帅、陈诚|来自: 大数据杂谈
摘要: 互联网的迅速发展，为电子商务兴起提供了肥沃的土壤。2014年，中国电子商务市场交易规模达到13.4万亿元，同比增长31.4%。其中，B2B电子商务市场交易额达到10万亿元，同比增长21.9%。这一连串高速增长的数字背后，不 ...
1.背景互联网的迅速发展，为电子商务兴起提供了肥沃的土壤。2014年，中国电子商务市场交易规模达到13.4万亿元，同比增长31.4%。其中，B2B电子商务市场交易额达到10万亿元，同比增长21.9%。这一连串高速增长的数字背后，不法分子对互联网资产的觊觎，针对电商行业的恶意行为也愈演愈烈，这其中，最典型的就是黄牛抢单囤货和商家恶意刷单。黄牛囤货让广大正常用户失去了商家给予的优惠让利；而商家的刷单刷好评，不仅干扰了用户的合理购物选择，更是搅乱了整个市场秩序。京东作为国内电商的龙头企业，在今天遭受着严酷的风险威胁。机器注册账号、恶意下单、黄牛抢购、商家刷单等等问题如果不被有效阻止，会给京东和消费者带来难以估量的损失互联网行业中，通常使用风控系统抵御这些恶意访问。在技术层面上来讲，风控领域已逐渐由传统的“rule-base”（基于规则判断）发展到今天的大数据为基础的实时+离线双层识别。，Spark等大数据大集群分布式处理框架的不断发展为风控技术提供了有效的支撑。2.什么是“天网”在此背景下，京东风控部门打造“天网”系统，在经历了多年沉淀后，“天网”目前已全面覆盖京东商城数十个业务节点并有效支撑了京东集团旗下的京东到家及海外购风控相关业务，有效保证了用户利益和京东的业务流程。“天网“作为京东风控的核心利器，目前搭建了风控专用的基于spark的图计算平台，主要分析维度主要包括：用户画像，用户社交关系网络，交易风险行为特性模型。其系统内部既包含了面向业务的交易订单风控系统、爆品抢购风控系统、商家反刷单系统，在其身后还有存储用户风险信用信息及规则识别引擎的风险信用中心（RCS）系统，专注于打造用户风险画像的用户风险评分等级系统。下面，我们将从用户可以直接感知的前端业务风控系统和后台支撑系统两部分对天网进行剖析：&3.前端业务风控系统1、交易订单风控系统交易订单风控系统主要致力于控制下单环节的各种恶意行为。该系统根据用户注册手机，收货地址等基本信息结合当前下单行为、历史购买记录等多种维度，对机器刷单、人工批量下单以及异常大额订单等多种非正常订单进行实时判别并实施拦截。目前该系统针对图书、日用百货、3C产品、服饰家居等不同类型的商品制定了不同的识别规则，经过多轮的迭代优化，识别准确率已超过99%。对于系统无法精准判别的嫌疑订单，系统会自动将他们推送到后台风控运营团队进行人工审核，运营团队将根据账户的历史订单信息并结合当前订单，判定是否为恶意订单。从系统自动识别到背后人工识别辅助，能够较大限度地保障订单交易的真实有效性。2、爆品抢购风控系统在京东电商平台，每天都会有定期推出的秒杀商品，这些商品多数来自一线品牌商家在京东平台上进行产品首发或是爆品抢购，因此秒杀商品的价格会相对市场价格有很大的优惠力度。但这同时也给黄牛带来了巨大的利益诱惑，他们会采用批量机器注册账号，机器抢购软件等多种形式来抢购秒杀商品，数量有限的秒杀商品往往在一瞬间被一抢而空，一般消费者却很难享受到秒杀商品的实惠。针对这样的业务场景，秒杀风控系统这把利剑也就顺势而出。在实际的秒杀场景中，其特点是瞬间流量巨大。即便如此，“爆品抢购风控系统”这把利剑对这种高并发、高流量的机器抢购行为显示出无穷的威力。目前，京东的集群运算能力能够到达每分钟上亿次并发请求处理和毫秒级实时计算的识别引擎能力，在秒杀行为中，可以阻拦98%以上的黄牛生成订单，较大限度地为正常用户提供公平的抢购机会。3、商家反刷单系统随着电商行业的不断发展，很多不轨商家尝试采用刷单、刷评价的方式来提升自己的搜索排名进而提高自家的商品销量。随着第三方卖家平台在京东的引入，一些商家也试图钻这个空子，我们对此类行为提出了 “零容忍”原则，为了达到这个目标，商家反刷单系统也就应运而生。商家反刷单系统利用京东自建的大数据平台，从订单、商品、用户、物流等多个维度进行分析，分别计算每个维度下面的不同特征值。通过发现商品的历史价格和订单实际价格的差异、商品SKU销量异常、物流配送异常、评价异常、用户购买品类异常等上百个特性， 结合贝叶斯学习、数据挖掘、等多种智能进行精准定位。而被系统识别到的疑似刷单行为，系统会通过后台离线算法，结合订单和用户的信息调用存储在大数据集市中的数据进行离线的深度挖掘和计算，继续进行识别，让其无所遁形。而对于这些被识别到的刷单行为，商家反刷单系统将直接把关联商家信息告知运营方做出严厉惩罚，以保证消费者良好的用户体验。前端业务系统发展到今天，已经基本覆盖了交易环节的全流程，从各个维度打击各种侵害消费者利益的恶意行为。4.后台支撑系统天网作为京东的风控系统，每天都在应对不同特性的风险场景。它可能是每分钟数千万的恶意秒杀请求，也可能是遍布全球的黄牛新的刷单手段。天网是如何通过底层系统建设来解决这一个又一个的难题的呢？让我们来看一看天网的两大核心系统：风险信用服务(RCS)和风控数据支撑系统（RDSS）。1、风险信用服务风险信用服务（RCS）是埋藏在各个业务系统下的风控核心引擎，它既支持动态规则引擎的高效在线识别，又是打通沉淀数据和业务系统的桥梁。它是风控数据层对外提供服务的途径，重要程度和性能压力不言而喻。1.1 RCS的服务框架RCS作为天网对外提供风控服务的出口，其调用方式依赖于京东自主研发的服务架构框架JSF，它帮助RCS在分布式架构下提供了高效RPC调用、高可用的注册中心和完备的容灾特性，同时支持黑白名单、负载均衡、Provider动态分组、动态切换调用分组等服务治理功能。面对每分钟千万级别的调用量，RCS结合JSF的负载均衡、动态分组等功能，依据业务特性部署多个分布式集群，按分组提供服务。每个分组都做了跨机房部署，较大程度保障系统的高可用性。1.2 RCS动态规则引擎的识别原理RCS内部实现了一套自主研发的规则动态配置和解析的引擎，用户可以实时提交或者修改在线识别模型。当实时请求过来时，系统会将实时请求的数据依据模型里的核心特性按时间分片在一个高性能中间件中进行高性能统计，一旦模型中特性统计超过阀值时，前端风控系统将立刻进行拦截。而前面我们所说的高性能中间件系统就是JIMDB，它同样是自主研发的，主要功能是基于的分布式缓存与高速Key/Value存储服务，采用“Pre-Sharding”技术，将缓存数据分摊到多个分片（每个分片上具有相同的构成，比如：都是一主一从两个节点）上，从而可以创建出大容量的缓存。支持读写分离、双写等I/O策略，支持动态扩容，还支持异步复制。在RCS的在线识别过程中起到了至关重要的作用1.3 RCS的数据流转步骤风险库是RCS的核心组件，其中保存有各种维度的基础数据，下图是整个服务体系中的基本数据流转示意图：1) 各个前端业务风控系统针对各个业务场景进行风险识别，其结果数据将回流至风险库用户后续离线分析及风险值判定。2) 风险库针对业务风控识别进过数据进行清洗，人工验证，定义并抽取风控指标数据，经过此道工序风险库的元数据可以做到基本可用。3) 后台数据挖掘工具对各来源数据，依据算法对各类数据进行权重计算，计算结果将用于后续的风险值计算。4) 风险信用服务一旦接收到风险值查询调用，将通过在JIMDB缓存云中实时读取用户的风控指标数据，结合权重配置，使用欧式距离计算得出风险等级值，为各业务风控系统提供实时服务。1.4 RCS的技术革新与规划进入2015年以后，RCS系统面临了巨大的挑战。首先，随着数据量的不断增大，之前的处理框架已无法继续满足需求，与此同时不断更新的恶意行为手段对风控的要求也越来越高，这也就要求风控系统不断增加针对性规则，这同样带来不不小的业务压力。面对这样的挑战，RCS更加密切地加强了和京东大数据平台的合作。在实时识别数据的存储方面，面对每天十几亿的识别流水信息，引入了Kafka+Presto的组合。通过Presto对缓存在Kafka一周之内的识别数据进行实时查询。超过1周的数据通过ETL写入Presto的HDFS，支持历史查询。在RCS识别维度提升方面，目前已经与京东用户风险评分等级系统打通流程，目前已拿到超过1亿的基于社交网络维度计算的风险等级，用于风险信用识别。在风险等级的实时计算方面，已经逐步切换到大数据部基于Strom打造的流式计算计算平台JRC。5.风控数据支撑系统风控数据支撑系统是围绕着京东用户风险评分等级系统搭建起来的一整套风控数据挖掘体系。1、RDSS的核心架构1) 数据层如图所示，数据层负责数据的抽取、清洗、预处理。目前ETL程序通过JMQ、Kafka、数据集市、基础信息接口、日志接入了超过500个生产系统的业务数据，其中包括大量的非结构化数据。通过对数据的多样性、依赖性、不稳定性进行处理，最终输出完整的、一致性的风控指标数据，并通过数据接口提供给算法引擎层调用。这一层最关键的部分是在对风控指标数据的整理。指标数据质量的好坏直接关联到系统的最终输出结果。目前指标的整理主要从以下三个维度开展：a) 基于用户生命周期的指标数据整理对于电商业务而言，一个普通用户基本上都会存在以下几种粘性状态，从尝试注册，到尝试购买；从被深度吸引，到逐渐理性消费。每一种状态总是伴随着一定的消费特征，而这些特征也将成为我们捕获用户异常行为的有利数据。b) 基于用户购买流程的风控指标数据整理对于一般用户而说，其购买习惯具有相当的共性，例如，通常都会对自己需求的商品进行搜索，对搜索结果中自己感兴趣的品牌进行浏览比较，几经反复才最终做出购买决定。在真正购买之前还要找一下相关的优惠券，在支付过程中也会或多或少有些停顿。而对于黄牛来说，他们目标明确，登录之后直奔主题，爽快支付，这些在浏览行为上的差异也是我们寻找恶意用户的有利数据。c) 基于用户社交网络的风控指标数据整理基于用户社交网络的指标数据是建立在当前风控领域的黑色产业链已经逐渐成体系的背景下的。往往那些不怀好意的用户总会在某些特征上有所聚集，这背后也就是一家家黄牛，刷单公司，通过这种方式可以实现一个抓出一串，个别找到同伙的效果。2) 算法引擎层算法引擎层集合了各种数据挖掘算法，在系统内被分门别类的封装成各种常用的分类、聚类、关联、推荐等算法集，提供给分析引擎层进行调用。3) 分析引擎层分析引擎层是风控数据分析师工作的主要平台，数据分析师可以在分析引擎层依据业务设立项目，并且在平台上开展数据挖掘全流程的工作，最终产出风控模型和识别规则。4) 决策引擎层决策引擎层负责模型和规则的管理，所有系统产出的模型及规则都集合在这里进行统一管理更新。5) 应用层应用层主要涵盖了决策引擎层产出模型和规则的应用场景，这里最重要的就是风险信用服务(RCS)，其主要职能是对接底层数据，对外层业务风控系统提供风险识别服务。而在模型和规则投入使用之前必须要经过我们另外一个重要的系统也就是风控数据分析平台（FBI），因为所有的模型和规则都先将在这个平台中进行评估，其输入就是所有规则和模型的产出数据，输出就是评估结果，评估结果也将反馈到决策引擎层来进行下一步的规则，模型优化。2、RDSS之用户风险评分等级系统京东用户风险评分等级系统是天网数据挖掘体系孵化出的第一个数据项目。其主要目的在于将所有的京东用户进行分级，明确哪些是忠实用户，哪些又是需要重点关注的恶意用户。其实现原理是依赖前面所描述的社交关系网络去识别京东用户的风险程度。而这种方式在整个数据领域来说都是属于领先的。京东用户风险评分等级系统一期已经产出1亿数据，目前已经通过RCS系统对外提供服务。根据识别结果评估，识别忠实用户较RCS风险库增加37%，识别的恶意用户较RCS风险库增加10%。目前，京东用户风险评分等级系统已经实现：1) 数据层基于社交网络的维度产出50余个风险指标。2) 通过PageRank、三角形计数、连通图、社区发现等算法进行点、边定义，并识别出数十万个社区网络。3) 通过经典的加权网络上的能量传播思想，计算上亿用户的风险指数。5.结语凡是过去，皆为序曲，京东风控正在打造一套数据定义一切的超级风控计算框架。这套风控框架将统一风控模型管理(数据模型，识别模型，规则引擎)、统一风控服务管理(JRC，PRESTO，Streaming)、统一风控数据管理(HDFS，，Kafka)，并将横跨云计算、大数据、，针对瞬息万变的电商交易风险智能调整风控策略实时处理。关于作者张帅京东成都研究院高级研发工程师，毕业于西华大学，2012年加入京东风控研发部，参与多个风控业务和数据核心系统的研发。陈诚京东成都研究院数据产品经理，四川大学硕士，参与多个风控天网系统和数据相关业务系统的研发孟勐京东成都研究院高级经理，电子科技大学硕士，主要负责京东风控天网系统后台和数据处理、数据挖掘、决策支持等相关业务系统研发。欢迎加入本站公开兴趣群软件开发技术群兴趣范围包括：，C/C++，Python，PHP，Ruby，shell等各种语言开发经验交流，各种框架使用，外包项目机会，学习、培训、跳槽等交流QQ群：Hadoop源代码研究群兴趣范围包括：Hadoop源代码解读，改进，优化，场景定制，与Hadoop有关的各种开源项目，总之就是玩转HadoopQQ群：
上一篇：下一篇：
dataguru.cn All Right Reserved.大风号出品
捷越联合CRO金可冶：做行业最好的风控
来源: 金评媒P2P行业暗潮涌动，一部升级的让子弹飞正在上演。而在科技加持下，捷越致力提高全员风控识别能力，做好合规。在业务上，捷越从单纯的做P2P，逐渐纵向发展凸出股权投资、保险经济、房贷中介平台、资产清收、电销、技术输出保险经纪业务。五年来获得高新技术企业、金融科技领军企业、互金协会的首批会员、“中国互联网金融领军企业百强榜”前十强等一系列荣誉。7月3日，捷越在北京举办“无与伦比——捷越五周年媒体沟通会”的活动，与65家媒体零距离分享捷越“心声”，一起畅聊捷越成长的那些事儿。五年捷越的变与不变在谈到五年创业的心得时，捷越联合创始人王晓婷表示，互联网在这5年来有非常大的变化，捷越联合始终坚守不变的就是初心。“因为我们是做P2P的，所以在五年里我们一直没有变的就是小额分散。而在变的是随着客户需求的改变，我们的业务模式在发生着多样的变化，从单纯的P2P我们纵向的凸出了保险经纪，以及向上金服、向前金服等等，这是我们最大的变化。”王晓婷谈到。“其实，我认为一切都是捷越成长过程中的一个小小的里程碑。”王晓婷说到，“未来，公司还有更进一步的规划。比如，集团化的战略布局是今年上半年我们综合考量的业务板块，也会参考目前国家金融监管大的态势，包括去杠杆去风险和P2P这个红海，我们希望找到其他业务板块的蓝海，以保持公司的稳健发展。”4大能力2大体系，做行业最好的风控今年以来互金行业接连“爆雷”，对此王晓婷认为，“爆雷”应该有两种可能性，第一种可能就是做这个业不是为了经营而是为了赚快钱；另外一个可能是经营者的各项能力或达不到，导致企业经营不善而出现各种外逃等其他情况。做金融业务，风险把控是第一个能力。但风控不单是风控团队的事情，也是公司每个人都应该有意识的，即提高全员风险识别能力。捷越联合首席风控官金可冶表示，“对于风控，我们主要将资源用于提升4大能力和完善2大体系，即提升风险识别、风险定价、资产管理与资产清收、获客能力，完善标准化管理、标准化风险预测与监控体系。”对于目前网贷备案延期，金可冶表示：“在这样的环境下，捷越的风控朝着最好去做，我们的目标是做到行业最好，从战略计划上备案延期对捷越没有什么影响。”“听风者”助力捷越提高风控能力如今，除了已经存在的捷越大数据平台-银河，大数据风控智能平台“听风者”也正式上线。金可冶表示，“其实各种数据的来源非常多，最关键的一点就是谁能提炼最有价值的数据，来帮助我们做决策。有了“听风者”这套决策系统，它就能白天黑夜不分，给我们最准确地把握风险结果。”“听风者”是一个基于大数据体系的智能风控管理平台，收录各种内部和外部数据，包括客户端采集的内容和客户在我们的账户调研的数据，可用于识别风险。基于数据源与数据逻辑，实现对各个业务线的动态配置，并自动能生成相关的分析系统。捷越私有云“猎户”建立安全可靠的云环境捷越联合首席技术官王玉良表示，云计算平台对捷越传统的IT来说，是一个空中换引擎的变革，能够有效保障业务系统稳定、安全合规，确保捷越金融科技的技术领先性。而搭建捷越私有云是捷越推进“云化”建设的关键一环，旨在更好地响应客户，满足客户移动化、碎片化的需求。7月2日捷越私有云“猎户”一期已正式上线，将进一步助力捷越联合创新发展。“猎户”以安全监管要求作为技术设计的指引，变被动应对安全监管为主动拥抱安全合规。作为支撑和助力捷越业务快速发展的重要基石，“猎户”极大地提升了计算资源供给效率，在成本节约方面也卓有成效，“猎户”单服务器资源利用率提升约30%，单机柜租赁成本和电力成本较以往可降低25%。王玉良表示，“猎户”一期上线后，捷越将继续推进二期项目的建设开发，建立安全可靠的云环境，保障应用系统数据的可靠性和业务的连续性。未来，捷越还将建立异地灾备数据中心，搭建比肩银行的“两地三中心”云数据中心架构，保障平台的运营安全。金融科技“四化”建设，温暖触动客户心灵在行业普遍追求科技金融以及科技创新的背景下，捷越有其独特的认知理解与坚持。捷越的金融更注重客户需求，而如何能更贴近客户、让金融服务更好地触达和触动客户？为此，捷越全面推进金融科技“四化”建设，即移动化、云化、数据化、AI化。捷越联合首席技术官王玉良认为：“科技是冰冷的，金融是严肃的，但是其实我们客户是温馨的。如果让这种冰冷的、标准的科技和客户产生温馨的触动，然后产生关联和联系，我认为这是科技它真正要赋予整个行业的能力。”
本文来自大风号，仅代表大风号自媒体观点。
用微信扫描二维码
分享至好友
用微信扫描二维码
分享至朋友圈
凤凰争鸣微信号
来点暖心的！扫这里}