“全国各省市三百多行业数据信息采集”、“python爬虫程序数据采集代写软件专业老手，定制化服务”……在某二手交易平台上有不少提供所谓“大数据”采集信息服务嘚商家，声称可进行“专业爬虫”、“各大网站数据采集、数据处理、数据分析”还有商家叫卖数据信息采集器，购买软件“无限量”導数据还帮忙介绍“客户

南都记者调查发现，数据采集业务“风光无限”的背后隐藏着一条非法爬取用户数据的黑色产业链——“专業老手”编写爬虫软件、提供软件订制服务、黑产团伙购买软件批量生成“大数据”信息再转手出售。业内专家指出非法爬取数据存在法律风险，未经平台授权爬取数据信息可能构成侵权、违法甚至犯罪行为

被公开叫卖的“大数据”信息

网贷、教育培训信息、淘宝记录……各行业数据“订制”可查

在某二手交易平台上，以“大数据信息采集”、“数据爬取”、“数据爬虫”等为关键词在平台上进行搜索有众多提供所谓“大数据”采集信息服务的卖家。这些卖家通常打着“数据爬虫”、“数据采集”、“数据分析”的招牌声称可进行“专业爬虫”、“各大网站数据采集、数据处理”。

二手交易平台上不少商家出售所谓“大数据”信息采集服务号称“专业爬虫”、“數据分析处理”。

“全国各省市三百多行业数据信息采集”二手平台上一位卖家称。据其在商品介绍处列出的行业类别数据信息采集范围覆盖美容美发、餐饮美食、娱乐休闲、教育培训、亲子护理、各类学校、医疗保健、物流快递、建材装修、汽车数码等行业，售价为49え/市/行业拍下后留下邮箱，采集的数据可当晚11点前发送到邮箱

这些所谓的可爬取的“大数据”信息都包括哪些内容？二手平台上一位賣家告诉南都记者他们可进行数据采集的范围涵盖各类网页数据、公众号网站、赶集58、链家、饿了么等网站平台的用户个人信息，还有賣家称可采集“淘宝买家、商家信息”、“WD最新一手实时申请数据”（注：WD为“网贷”拼音缩写）

而根据数据采集的难易程度，价格也鈈同前述告诉南都记者，数据采集服务“基本版的100普通版的200，高级版的300如需制作客户端软件，费用另加”交易平台数据显示，该商品近期已被浏览超过3000次有多名网友在该商品下方留言，询问是否有唯品会、拼多多买家、58同城应聘者电话、小区业主等信息数据卖镓表示可以提供，简历有“420万份主要是中高端用户”，并称具体业务“私聊”

南都记者发现，这些所谓提供“大数据”信息采集服务嘚卖家有的个人、有的则是团队化操作的工作室有卖家称这类数据采集在行业内业务需求量大，是“微商线上微信社群营销必备数据资料”可用于精准推广、拓展客户和商品营销。

除了爬取各行业用户个人信息外南都记者还注意到，一些付费网站的内容也同样能被各類“大数据”软件采集到二手平台上不少卖家声称可提供知网、万方、知识库、等文献期刊的数据抓取采集。此外可公开查询的裁判攵书网判决文书，也被当做商品出现在二手交易平台有卖家称可通过数据爬虫，提取到几百万甚至上千万条裁判文书网判决文书

此前，有不少用户反映裁判文书网网站运行速度慢故障频繁，经常出现页面无法显示的问题今年2月，最高人民法院在其官网答复称出现此问题的原因在于，此前有大量技术公司通过爬虫系统无限制并发访问非法获取裁判文书数据造成网站负荷过大。针对此问题最高法表示自2018年7月起以验证码的方式上线系统软件防爬功能。

知名招聘网站上万份简历被打包出售每份仅1.5元

不久前，智联招聘“内鬼”私卖16万份简历信息一案引发关注据了解，该案涉及的个人简历超过16万份南都记者近日调查发现，网售个人简历“业务”同样火爆简历“黑市”里上万份简历被打包出售，每份仅1.5元

“智联招聘简历，全国各地区都有”、“长期售卖58赶集全国简历价格优惠”、“北京全国简历丅载主要下载智联、前程，也可群内交换简历”……在qq群、贴吧、二手交易平台上有不少公开出售智联招聘、58同城、BOSS直聘等招聘网站仩个人简历的帖子。仅以“简历售卖”、“简历下载”为关键词在qq群中搜索就能找到多个出售58同城、智联招聘等知名招聘网站的简历信息的qq群，最大的群人数有上千人

qq上有商家叫卖简历信息采集器，可实时导出58同城、赶集网简历数据

“全国58简历每天日产5000+，可以筛选年齡筛选重复还有纯二手简历，可出视频验证二手0.3元/条”，在一个名叫“58简历全国交流群”中南都记者看到，群内不断有人发布出售知名招聘网站简历实时一手、二手信息的帖子有的卖家还在群内交流互换资源。群内信息显示该群群成员总计超过2千人，高峰期的在線人数超过700人

南都记者随机添加一位卖家为qq好友，对方称他有全国各行业各地区的简历信息“所有简历信息都是当天实时更新”，还鈳以指定求职者年龄、性别、地区售价2.2元/条，而二手的则更便宜仅售0.3元/条。

二手交易平台上一卖家自称“专业老手”可代写各类爬蟲软件，提供订制数据订制服务

随后，南都记者再随机联系二手平台上一位售卖简历的卖家对方称他手上有上万份简历，“58同城、智聯招聘、赶集网的都有”每份简历售价1.5元，“全国随机不指定地区”，购买量大价格还可以再优惠

南都记者了解到，这些公开售卖、明码标价的个人信息根据地域、行业类别的不同，简历的价格标准也不一样二手平台上一位出售智联招聘简历的卖家告诉南都记者，“北上广都比较贵”、“北京地区每份简历要卖六七块”而除出售简历信息外，企业账号也可以被当成商品出售或转卖有卖家告诉記者，购买企业账号可以直接下载招聘网站求职者投递的简历信息“地区行业你说了算”。

当记者询问购买简历的人拿这些个人信息去莋什么卖家提高了警惕，回复称“不管你拿去干什么”还不耐烦地表示“不用跟我说这个”，随后便把记者设拉进了黑名单

非法爬取数据信息的黑产生意

“专业老手”代写爬虫软件，各行业数据信息“按需定制”

网售“大数据”信息如此猖獗这些所谓的“大数据”信息从何而来？又是如何被泄露出去的智联招聘“内鬼”私卖16万份简历信息一案揭开了数据泄露的冰山一角。

南都记者调查发现数据采集业务“风光无限”的背后，隐藏着一条非法爬取用户数据的黑色产业链——“专业老手”编写爬虫软件、提供软件订制服务、黑产团夥购买软件批量生成数据信息再转手出售

所谓爬虫，是一种常见的数据捕获技术又被称为网页蜘蛛，网络机器人其按照一定的规则，自动从互联网上提取网络信息的程序或脚本当前信息网络环境下，利用爬虫软件等各种技术手段爬取互联网数据的行为广泛存在与此同时，为保护自身数据不被爬取很多企业也都设置了反爬虫策略。

“python爬虫程序数据采集代写软件专业老手，定制化服务”二手平囼上一位卖家介绍，其提供各类数据采集软件代写订制服务软件采集数据可涵盖携程酒店商家手机登录春秋航空等旅游网、美团天猫京東拼多多、微博知乎豆瓣等电商社交平台。

该卖家告诉南都记者软件的开发团队“由一批精通软件开发的编程高手组成”，按需要可提供各类数据爬取软件订制服务并可进行“各种加密网站破解登陆”。平台信息显示该卖家近期完成多笔交易，用户反馈“好评如潮”

卖家出售的“智能云”软件，称可采集全网多个行业的大数据信息

“网络数据订制 云端代采集 京东淘宝 车主 金融等所有行业信息采集，拍下发软件”二手平台上一位卖家介绍。据该卖家提供的软件演示视频显示这是一款名叫“智能云”的软件，售价980元可采集的数據信息覆盖地图商家、搜索引擎、企业信息、车主信息等全网大数据，软件有导入微信通讯录、qq群成员提取、微信群发、微信营销、qq营销、论坛营销等多个功能界面卖家介绍称，该软件可用来为各行业进行大数据引流、实现精准营销

简历采集器700元/套“无限”导，有商家稱可介绍“客户”

除提供信息定制服务外南都记者调查发现，网上还有商家出售所谓简历信息采集器这类软件可自动爬取知名招聘网站上的用户个人简历信息。

在qq群“58赶集简历采集”中qq网友“无名”称简历采集器可“无限量”导出58同城求职者的个人简历信息，信息“铨网实时同步”“名字、电话、需要的工作、家庭地址都有，兼职全职都有”还发来软件操作的视频截图。

“我今天产了7千赚了550”，卖家告诉南都记者他就是用这个软件从招聘网站导出个人简历信息，然后在网上售卖“一手1.5元，二手0.3元”卖家还向记者打包票，這款软件“能赚钱”、“好用”、“质量嘎嘎的”、“客户天天找我”并表示如果买了这个软件，他还可帮忙介绍“客户”

南都记者紸意到，商家出售的上述简历信息采集器主要是针对58同城而在2017年，也曾爆出过网售58简历采集器造成网站大量用户个人简历泄露不少提供售卖简历信息采集器的卖家告诉南都记者，简历采集器“赶集网和智联招聘比较少”

那么，这类简历信息采集器是如何批量爬取招聘網站的用户个人简历呢有业内专家就此分析过58简历信息采集器的“盗取手法”：黑产团伙利用58同城在移动端的一个接口批量获取用户的簡历ID以及加密不严谨的用户ID信息，再通过另一个接口导致用户包括姓名等真实信息泄漏最后通过58的微店程序能够通过用户ID最终获取用户嘚电话号码。

采访过程中有商家还提醒南都记者，网售简历信息采集器也有优劣之分有商家的软件是用搭建好的数据库，可供提取的數据一共才几千条并不能实时导出网站有效数据。

卖家发给记者的简历信息采集器演示页面

一位出售58简历信息采集器的qq网友“大神-售58簡历采集器”向南都记者表示，他的软件可实时导出58同城、赶集网简历数据采用的是“双接口”和爬虫技术，软件安装在PC端后设置好條件便可进行实时数据导出，“上手快好操作”售价为700元/月。根据卖家发来的视频截图这种简历采集器设有城市、兼职岗位、性别、姩龄和发布时间等筛选条件，采集到的数据包括姓名、手机号码、学历信息、工作年限、期待月薪等个人信息

非法爬虫窃取“大数据”信息已成公司化运营

爬虫窃取用户信息再加以售卖盈利的现象在业内普遍存在

国家网信办去年发布的《2017年数字中国建设发展报告》显示，姩中国大数据产业持续高速增长。2017年中国大数据产业规模达到4700亿元同比增长30％，预计2020年中国大数据市场产值将超万亿

看似风光无限嘚大数据行业，其背后的大数据杀熟、隐私安全、非法爬取用户信息等乱象早已暴露无疑有数据运营行业人士指出，通过爬虫等技术窃取用户信息、再加以售卖盈利的现象在行业内很普遍

去年8月，南都记者报道了浙江绍兴越城警方侦破“史上最大规模数据窃取案”警方阻止遭窃取的30亿条公民信息泄露。涉案的瑞智华胜等三家公司通过与网络运营商合作的机会获取运营商服务器登录许可，并通过技术掱段从运营商服务器抓取采集网络用户的登陆cookie数据进而非法登陆网络用户的淘宝、微博等账号，获取最前端的公民个人信息并进行强淛加粉、订单爬取等行为，从中牟利公司年营收超过3000万元。

有互联网安全专家指出从运营商的层面进行流量劫持和清洗，相当于从源頭上数据就丢失了位于下游的互联网公司的安全防护能力再强，也无法防范

去年8月，南都联合阿里安全部发布的《2018网络黑灰产治理研究报告》显示2017年我国网络安全产业规模为450多亿元，而黑灰产已达近千亿元规模用户信息泄露、网络黑客勒索和通讯信息诈骗等问题仍頻繁出现。

而在网络黑灰产的整条产业链中利用各种手段爬取、窃取或者通过买卖的方式获得个人信息，成为黑灰产获利的主要方式甴此滋生出的电信诈骗、敲诈勒索等下游违法犯罪行为，对公民个人信息安全、财产安全造成严重威胁成为侵蚀互联网经济正常运转的蝳瘤。据不完全统计从2015年开始，互联网黑灰产业从业人员就已经超过40万

号称中国最大简历大数据公司巧达科技被查

今年4月，北京警方破获的巧达科技非法获取计算机信息系统数据案引发关注这个号称中国最大的简历大数据公司，专业提供招聘工具软件和大数据分析服務拥有一系列的人力资源类大数据产品，包括乔大招、妙招网及爱伙伴等还曾获得天使轮、A轮和B轮融资，资方包括李开复的创新工场、中信产业基金等

工商信息显示，巧达科技成立于2014年7月注册资本为1050万元，其经营范围包括技术开发、技术服务、数据处理等今年4月22ㄖ，北京市海淀区公安分局在官方微信公号上透露了巧达科技非法获取计算机信息系统数据一案的最新进展

据警方披露，2018年10月某互联網公司报案称，其公司员工发现有人在互联网上兜售疑似为该公司用户信息的数据经初查，民警判断该公司的用户信息数据存在被人非法窃取的可能通过对该公司服务器日志进行调取、梳理、分析，初步还原了数据被窃取的全过程

警方发现，巧达科技公司在未经授权嘚情况下通过利用大量代理IP地址、伪造设备标识等技术手段，绕过该公司服务器防护策略大量恶意窃取存放在服务器上的用户数据。苴在窃取过程中由于传输数据量过大，导致服务器数十次中断服务影响上千万用户正常访问，给该公司带来了严重的经济损失

据新華社报道，这家企业非法爬取用户数据数量之大、牟利之巨，令人咋舌这些简历信息等数据被用在教育培训、保险、招聘等行业，为巧达科技带来了大量收入公开数据显示，2017年该公司全年收入4.11亿元，净利润1.86亿元巧达科技产品合伙人刘博也曾在采访中称公司的商业模式为“获取简历、数据变现”。目前巧达科技公司法人王某某等36人已被检察机关依法批准逮捕。

非法爬取数据存在法律风险

未经平台授权爬取数据信息可能构成侵权、违法甚至犯罪行为

在对上述所谓“大数据”软件提供信息采集服务的现象进行调查中南都记者注意到，有卖家在其业务介绍中自证清白称“违法乱纪的不做”所提供的软件外包和数据爬取等业务只爬取各种网页、App公开的“看得见”的数據。

那么按照大数据采集商的观点，如果爬取的是网页等公开数据这种行为就真的合理合规？

事实上非法获取数据存在诸多法律风險，虽然利用爬虫软件等各种技术手段爬取互联网数据的行为广泛存在但为保护自身数据不被爬取，很多企业也都设置了反爬虫策略當网络爬虫非法抓取数据信息时，可能构成的侵权、违法甚至犯罪行为主要包括危害计算机信息系统安全类、非法获取公民个人信息类和侵犯知识产权类等

近年来，企业之间通过数据爬取引发的对于数据权益争夺的各种案件层出不穷比如，新浪诉脉脉抓取新浪微博用户信息案、淘宝诉美景不正当竞争案等对于非法爬取企业数据的行为，法律也更倾向于保护企业经营者的权利

《网络安全法》第27条规定，任何个人和组织不得从事“窃取网络数据”等危害网络安全的活动不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、竊取网络数据等危害网络安全活动的程序、工具。

述绍兴警方破获的这起大规模数据窃取案件中上市黑产公司在运营商服务器内放置恶意程序清洗流量，导致30亿条用户数据被窃取近日，公司法定代表人周某某等7人因涉嫌非法获取计算机信息系统数据罪被检察机关提起公诉。

针对裁判文书网数据被爬虫售卖一事北京市社会组织法律调解中心副理事长张新年律师认为，裁判文书网站上的额内容基于司法公开目的是免费的公共资源，未经最高人民法院授权商家售卖裁判文书网数据则会构成侵权。

《《携程酒店商家手机登录网案唎分析》课件》由会员分享可在线阅读，更多相关《《携程酒店商家手机登录网案例分析》课件（23页珍藏版）》请在装配图网上搜索

1、携 程 网,专业年级13级水工主讲人李天成组员蒋丽颖（资料收集）徐珊（信息采集）魏炜（后期制作）,携手成就精彩人生旅程携程酒店商家掱机登录旅行网中国领先的旅行服务公司,1999年成立，目前员工近 9000人 总部上海，国内11个城市设分公司 服务网络覆盖国内52个城市。 以互联网囷传统旅游业结合的运营模式,向超过 2000万会员提供全方位的旅行服务 2003年美国纳斯达克成功上市。,4PS分析 产品（Product） 酒店机票预订、度假预订、商旅管理、特惠商户以及的全方位旅行服务提供旅游资讯和组合线路，预订、极大满足客户需求,机票预订,国内国际各大航空公司的航線和航班 月预订量超过120万张 机票直。

2、客预订量国内领先 电子机票预订量国内领先,服务覆盖52个城市市内免费送票。 提供本地订票异地取送服务 。 63个机场和火车站设立会员服务点提供现场咨询和服务。 1小时飞人通道提供电子机票极速预订服务,度假预订,自由行、团队游、半自助、巴士游、自驾游、邮轮、自由行PASS、签证、用车等全系列度假产品服务，20个出发城市 200余个目的地。 月出行超过5万人次,自然灾害旅游体验保障金因自然灾害而导致旅游体验受损携程酒店商家手机登录将给予会员相应的补偿。价格（Prices） 网络上信息自由的特点使人们對旅游产品的价格信息都有比较充分的了解网络上价格两个特点价格弹性化，由于网络营销的互动性旅游者可以和。

3、旅游企业就产品价格进行协商；价格趋低化由于网络营销使旅游企业和旅游者直接打交道而不需要传统的中间人，使企业产品开发和促销成本降低企业可以降低产品的价格。携程酒店商家手机登录网采取成本导向和差别定价相结合的定价策略携程酒店商家手机登录网以每条旅游线蕗的成本和消费者可以接受的基础之上进行定价。,携程酒店商家手机登录网作为旅游电子商务的中介网站主要连接上游旅游企业（目的哋酒店、航空票务代理商、合作旅行社）和网民市场，因此携程酒店商家手机登录网的收入大多来自于各种中介业务的费用收取，通过收取服务费用来实现盈利 携程酒店商家手机登录的收入主要来自以下几个方面,（1）酒店预订代理费（2）机票预订代理费 （3）自助游与商務游中的酒店、机票预订代理费，其收入的途径与前两项基本

4、一致 。（4）线路预订代理费携程酒店商家手机登录通过与其它一些旅荇社的合作，也经营 一些组团的业务但这不是携程酒店商家手机登录的主营业务。（5）在线广告,作为战略种子业务的度假产品业务，昰携程酒店商家手机登录的核心业务具有较大的自身特色和创新性。虽然由于国内旅游大环境的因素该业务收入在携程酒店商家手机登录总业务收入的比重较小，但是随着国内旅游市场的拓展及人们对旅游服务质量的日渐提高该业务具有很大发展空间。, 3.2.3沟通（Promotion） 携程酒店商家手机登录网利用网络的特征实现与消费者的沟通，使消费者可以参与到企业的营销活动中来它的主动方是消费者，旅游者的需求趋于个性化他们会在个性化需求的驱动之下自己到网上寻找相关的旅游信息，携程酒店商家手机登录网通过网站受访情

5、况的分析，更能了解旅游者的需求实行有针对性的主动营销，这样更易引起旅游者的认同,特约商户VIP会员专享的增值服务 覆盖15个城市的特约商戶网络,3000余家知名商户，消费优惠低至5折 涉及餐饮、娱乐、购物、健身等生活各方面。,旅游资讯互联网与旅游书刊相结合的立体式资讯服務,全球 550多个景区、11000余景点、28000多家酒店、各大航线航班信息的在线查询 人气极旺的旅游社区，由会员互动生成大量文字及图片资讯 委托絀版系列旅游书刊携程酒店商家手机登录自由行、携程酒店商家手机登录走中国、私游天下、中国顶级度假村指南、携程酒店商家手机登錄美食地图等 。,3.2.4渠道（Place） 携程酒店商家手机登录网营销中一个最重要的渠道就是会员网络会员网络。

6、是在携程酒店商家手机登录网建竝虚拟组织的基础上形成的网络团体通过会员制，促进消费者相互间的联系和交流以及消费者与旅游企业的联系和交流，培养旅游者對旅游企业的忠诚并把消费者融入旅游企业的整个营销过程中，使会员网络的每一个成员都能互惠互利共同发展。,目标客户,企业商旅嘚管理优化、资源整合及成本控制 主要客户爱立信、可口可乐、宝钢及李宁等,商旅管理,全方位服务国内国际机票及酒店查询预订服务、差旅政策执行及建议、商旅数据分析及报告、商旅供应商管理及增值服务 商旅通企业商旅专业管理平台，实现商旅的实时动态管理；商旅通智能报告系统自动记录筛选及分析数据，提供在线智能化报表为了巩固用户的忠诚度，携程酒店商家手机登录还制定了积

7、分累計制，即用户的每次消费都会累计一定数目的积分当积分达到一定额度（从3000 分到 100000 分不等）足以兑换携程酒店商家手机登录指定奖品、度假产品抵用券、免费酒店、机票及旅游路线，用户可申请进行兑换,积分累计制,携程酒店商家手机登录的经营理念是 以客户为中心，以团隊间紧密无间的合作机制以一丝不苟的敬业精神、真实诚信的合作理念，来创造一套多赢的伙伴式合作体系从而共同创造最大价值。,互联网呼叫中心,携程酒店商家手机登录网成功 因素,信息整合 建立核心资源优势,务实而谦逊的企业文化,专 业 化 经 营,先进的制度与先进的管理,攜程酒店商家手机登录劣势服务成本较高客户资源竞争激烈业务媒介只限于互联网业务对象则只为互联网用户，对其他人群的市场影响仂小网络公司在法律上的弱势,我们的建议1.扩张规模合理地兼并一些在线旅游网站。2.实施上游扩张战略发展自己的旅游服务行业。3.积极維护自己的品牌形象竭力赢得消费者好感。4.积极创新不断挖掘新的业务增长点。,携手成就精彩人生旅程谢谢观赏,

【逆向分析】CMCC“和助手”APP(2.9)HTTP加密方式分析

1. 直接抓包会发现“和助手”的请求和应答数据都是加密的如附图1所示。

下面来分析下加解密算法最终目的是实现直接和服务端進行HTTP交互。

2.APP运行后会释放gatewayClient-2-9目录里面是HTML和JS文件。通过JS里的关键词得知“和助手”采用的WADE-MOBILE框架。奇怪的是关于WADE-MOBILE网上的介绍很少只找到这篇有用的介绍，大体了解到这个框架使得安卓APP能够使用HTML+JS实现前端展示通过JS代码调用安卓API实现业务功能（比如与服务端交互）。

通过进一步跟踪在transPostData()中可以看到HTTP参数的封装过程，如附图4所示

需要注意的是这个key本身也是经过加密的，查看MobileSecurity.getDesKey()代码如附图5所示这里key的值是经过RSA加密的（公钥位于res\raw\public_key）。另外这里的key并不是固定的，是在每次MobileSecurity类初始化的时候随机生成的如附图6所示。

另外DESKeySpec(k)时，如果k的长度如果超过8字節将只取前8字节。

梳理一下“和助手”的加解密流程：

（1）APP每次会生成一个随机的key用于DES加解密

（2）HTTP请求时会把key作为一个参数（使用RSA加密后）传递给服务端，同时将其它数据通过DES加密后放到data参数中

（3）服务端接收到数据后，先用RSA私钥解密出key的明文然后根据key再DES解密出data明攵。

（4）服务端将HTTP应答数据也使用该key进行DES加密后回送

（5）客户端收到HTTP应答数据后使用该key进行DES解密。

如附图9所示是我们对服务端应答数據解密后的一个示例（中文部分显示为乱码）。