点击下面分享按钮分享收藏姐妹网名用WebCollector可以轻松爬取新浪的数据.
首先需要一个能查看的插件,推荐使用 浏览器+firebug(插件).
1.用浏览器打开 /pub/&& 这是面对用户的一个入口.建议不要使用自己的账号来做爬虫.之所以选择来爬去,是因为这个手机版的限制较少,但是的账号密码都是以明文传输,所以为了防止盗号,建议新申请账号进行爬取.
2.登陆进去后,进入个人微博界面(不是/pub/),使用firebug查看的cookie,找到cookie中的gsid_CTandWM的属性
记录gsid_CTandWM的值,以后爬虫登陆新浪,全靠这个值.
代码是基于WebCollector的:WebCollector官网
假设我们要爬取周鸿祎的微博信息.周鸿祎的微博主页:/u/(不登陆只能看第一页)
我们爬取前10页.
public static void main(String[] args) throws IOException{
CollectionGenerator generator=new CollectionGenerator();
for(int i=1;i&=10;i++){
generator.addUrl(&/u/?page=&+i);
Fetcher fetcher=new Fetcher();
fetcher.setConconfig(new ConnectionConfig() {
public void config(HttpURLConnection hurlc) {
hurlc.addRequestProperty(&User-Agent&, &Mozilla/5.0 (X11; ;
i686; rv:26.0) Gecko/ Firefox/26.0&);
hurlc.addRequestProperty(&Cookie&, &gsid_CTandWM=上一步中获取的gsid_CTandWM的值;&);
fetcher.setThreads(2);
fetcher.setHandler(new Handler(){
public void handle(Message msg) {
Page page=(Page)msg.
page=ParseUtils.parseDocument(page);
Elements divs=page.doc.select(&div.c&);
for(Element div:divs){
.out.println(div.text());
fetcher.fetchAll(generator);
结果(部分):
17:57:04 INFO default
– fetch null /u/?page=1
转发了 央视 的微博:#时代#【周鸿祎创业秘笈：做互联网买卖 必须尊崇“用户至上”精神】360公司CEO周鸿祎：互联网讲究的不是把东西卖给谁，而是我如何提供有价值的服务，和我的用户永远保持连接，我的用户不是一锤子买卖，是长期的关系。在互联网上网聚人的力量会产生巨大的化学反应。直播地址http://t.cn/RPkRL1I [组图共4张]  原图 赞[122] 原文转发[732] 原文评论[341] 转发理由:很高兴又见到小丫同学风采依旧，她的边看边聊节目很有意思，试图把和电视节目结合，就是边看电视边在网上弹幕。算是探索传统媒体融合新媒体。我送她一本我的新书，学习互联网思维。央视是不是应该给每个员工发一本呢  赞[249] 转发[176] 评论[305] 收藏 08月29日 00:13 来自一加手机 不将就
转发了 ChinaVenture投中集团 的微博:【@周鸿祎 ：很多厂商只学到小米皮毛】当时我给这些手机厂商讲了很多道理，现在来看其实就是互联网思维。但很可惜没人理解，觉得危言耸听。所有人都看不起小米，都觉得老周在开玩笑。但今天几乎所有手机商都建立了互联网手机品牌，模仿小米玩饥饿营销、粉丝文化。但都是皮毛…http://t.cn/Rhwpl5c  原图 赞[23] 原文转发[170] 原文评论[46] 转发理由:这本书还要卖啊 版税都捐给抗战老兵，所以别把书中内容剪刀浆糊弄出来，强调一下这本书不是360或我的传记，是用互联网很多公司案例讲述互联网思维//现在微博小编都这么没节操吗？我夸奖腾讯小米的这些成功案例都出自我的新书《我的互联网方法论》，但你小编把出处写出来就这么难吗？  赞[174] 转发[75] 评论[164] 收藏 08月31日 21:39 来自一加手机 不将就
突然一位私信我，满嘴喷粪，我问他出什么事了 也不回答，谁帮我查查他怎么回事 [组图共2张]  原图 赞[1294] 转发[671] 评论[2475] 收藏 08月28日 23:30 来自一加手机 不将就
转发了 ChinaVenture投中集团 的微博:【@周鸿祎 ：很多厂商只学到小米皮毛】当时我给这些手机厂商讲了很多道理，现在来看其实就是互联网思维。但很可惜没人理解，觉得危言耸听。所有人都看不起小米，都觉得老周在开玩笑。但今天几乎所有手机商都建立了互联网手机品牌，模仿小米玩饥饿营销、粉丝文化。但都是皮毛…http://t.cn/Rhwpl5c  原图 赞[23] 原文转发[170] 原文评论[46] 转发理由:现在微博小编都这么没节操吗？我夸奖腾讯百度小米的这些成功案例都出自我的新书《我的互联网方法论》，但你小编把出处写出来就这么难吗？  赞[113] 转发[132] 评论[142] 收藏 08月31日 21:21 来自nubia Z5S mini
注意:爬虫频率不宜过高,建议不要使用过数.
如果有疑问,可加WebCollector官方讨论群:}