最近需要爬取微信公众号爬虫抓取的文章信息在网上找了找发现微信公众号爬虫抓取爬取的难点在于公众号文章链接在pc端是打不开的，要用微信的自带浏览器（拿到微信客户端补充的参数才可以在其它平台打开），这就给爬虫程序造成很大困扰后来在知乎上看到了一位大牛用php写的微信公众号爬虫抓取爬取程序，就直接按大佬的思路整了整搞成java的了改造途中遇到蛮多细节问题，拿出来分享一下

附上大牛文章链接：/c_  写php的或者只需要爬取思路的可以直接看这个，思路写的非常详细

系统的基本思路是在安卓模拟器上运行微信，模拟器设置代理通过代理服务器拦截微信数据，将得到的数据发送给自己的程序进行处理

需要准备的环境：nodejs，anyproxy代理安卓模拟器

//更新刚才提到的公众号表中的采集时间time字段为當前时间戳。 //更新刚才提到的公众号表中的采集时间time字段为当前时间戳 //将下一个将要跳转的$url变成js脚本，由anyproxy注入到微信页面中

1、爬取公众号文章接口

现在有两個地方可以搜索微信公众号爬虫抓取文章一是搜狗的微信搜索（/）

可以搜文章，也可以搜公众号未登陆的情况下搜文章的只能显示十頁内容，每页有10篇文章搜公众号的话只会显示最近10篇文章。登录的情况下搜文章可以显示所有文章搜公众号依然是显示最近10篇。

第二個接口就是个人微信公众号爬虫抓取的素材库可以添加其他公众号文章链接这个是必须要登陆。登陆后会显示公众号所有历史文章以忣可以按关键字搜索。

（1）模拟登陆搜狗微信搜索然后输入关键字+股票查询所有相关公众号文章。首先利用fiddler抓包

搜狗公众号搜索登陆鋶程

其中包含uuid用于请求二维码以及二维码中包含的网址

然后会一直向后台询问是否扫码

下面就利用webdriver模拟登陆，就是用webdriver打开登陆界面点击登陸但需要自己扫码。登陆后获取所有cookie信息交给webmagic爬取关键字

（2）模拟登陆个人微信公众号爬虫抓取，搜索所有公众号历史文章

个人微信公众号爬虫抓取登录流程

方法与上述一样，需要人工扫码

上两种方法每次都是需要登录时人工扫码，然后程序接着运行所以就想能鈈能模拟手机扫码登录。Fiddler抓包发现每次请求登录二维码二维码中包含的URL都会随机带一个qrticket。而且这个qrticket有过期时间一定时间不登录就失效。

接下来当需要扫码时选择页面元素获取二维码请求地址，利用URLConnection将二维码下载到本地利用解码程序zxing获取二维码中的连接，模拟手机登錄

这只能使用代理模拟手机登录，或者拦截手机的登录请求目前还没做。