这几个案例以前是给一些想进入python爬虫行业的朋友写的看到大家都比较满意，所以就再次拿了出来如果你已经开始学python爬虫，对爬虫没有头绪不妨看看这几个案例！

三、python爬虫爬虫小案例

1、获取本机的公网IP地址

2、利用百度的查找接口，python爬虫编写url采集工具

需要用到requests库、BeautifulSoup库观察百度搜索结构的URL链接规律，绕過百度搜索引擎的反爬虫机制的方法为在程序中设置User-Agent请求头

3、利用python爬虫打造搜狗壁纸自动下载爬虫

搜狗壁纸的地址是json格式，所以用json库解析这组数据爬虫程序存放图片的磁盘路径改成欲存图片的路径就可以了。

4、python爬虫自动填写问卷调查

与一般网页一样多次提交数据会要輸入验证码，这就是反爬机制

那么如何绕过验证码的反爬措施？利用X-Forwarded-For伪造IP地址访问即可python爬虫代码如下：

5、获取西刺代理上的IP，验证这些代理被封禁掉的可能性与延迟时间

在爬虫过程中有些页面在登录の前是被禁止抓取的，这个时候就需要模拟登陆了下面这篇文章主要给大家介绍了利用

爬虫模拟知乎登录的方法教程，文中介绍的非常詳细需要的朋友可以参考借鉴，下面来一起看看吧

对于经常写爬虫的大家都知道，有些页面在登录之前是被禁止抓取的比如知乎的話题页面就要求用户登录才能访问，而 “登录” 离不开 HTTP 中的 技术

Cookie 的原理非常简单，因为 HTTP 是一种无状态的协议因此为了在无状态的 HTTP 协议の上维护状态，让服务器知道当前是和哪个客户在打交道Cookie 技术出现了 ，Cookie 相当于是服务端分配给客户端的一个标识

• 浏览器第一次发起 HTTP 请求时，没有携带任何 Cookie 信息

• 服务器把 HTTP 响应同时还有一个 Cookie 信息，一起返回给浏览器

• 浏览器第二次请求就把服务器返回的 Cookie 信息一起发送给服务器

• 服务器收到HTTP请求发现请求头中有Cookie字段， 便知道之前就和这个用户打过交道了
  

用过知乎的都知道，只要提供用户名和密码以及验证码の后即可登录当然，这只是我们眼中看到的现象而背后隐藏的技术细节就需要借助浏览器来挖掘了。现在我们就用 ome 来查看当我们填完表单后究竟发生了什么？

（如果已经登录的先退出）首先进入知乎的登录页面 /#signin ，打开 Chrome 的开发者工具条（按 F12）先尝试输入一个错误的验證码观察浏览器是如何发送请求的

从浏览器的请求可以发现几个关键的信息

• 登录需要提供的表单数据有4个：用户名（email）、密码（password）、验證码（captcha）、_xsrf。

• 以上就是分享一个利用python爬虫爬虫模拟知乎登录的实例的详细内容更多请关注php中文网其它相关文章！