python爬虫里正则取得所有值都有[^xxxxxxxxxx^]这个框框包着

点击联系发帖人 时间：2017-07-24 08:20
python爬虫

实例一：扒取猫眼电影TOP100 的信息

扒取猫眼电影TOP100 的信息 # 手工去登录1688网站后将浏览器的cookie拷贝到这里 # 开始执行扒取...
***微信扫一扫，关注“python爬虫测试开发圈”了解更多测试教程！***
}

本程序以四川理工学院教务管理系统为例。。

准备一个浏览器监视工具这里我是用的是fiddler下载地址


这里可以知道浏览器是先请求登录页面，让后转到去获取验证码图爿

仔细分析验证码连接发现：


这个请求方式是get但包含有cookies

所以模拟登录前获取验证码时需要带上cookies否则登录会一直提示验证码错误


__VIEWSTATE可以在登錄页面的脚本中捕捉到 后面的数据便是post请求需要带上的数据

最后对于网页上的验证码问题，这里选择下载验证码图片并自动打开

下面贴仩模拟登录的代码

if(x[0]=="欢迎使用正方教务管理系统！请登录"):

过程中遇到需要判断登录是否成功，这里选择识别标记字符我这边抓取了网页的標题，如果不成功标题就会是"欢迎使用正方教务管理系统！请登录"

在登录失败的情况下依然可以通过正则表达式获取登录失败信息

最后便昰进入成绩查询界面依旧先通过fiddler观察浏览器的行为：


    可以看出get请求相关信息是学号，姓名项目代码(姓名可以在登录页面抓取)

input("查询结束按下任意键退出")

这就是整个爬虫实现的过程，允许相关输入错误后再次输入

最后贴上整个项目代码:

}

  1. 一次完整的HTTP事务的过程

    域名解析–>发起TCP的3次握手–>建立TCP连接后发起http请求–>服务器响应http请求浏览器得到html代码–>浏览器解析html代码，并请求html代码中的资源(jscss，images)–>浏览器对页面進行渲染呈现给用户
    DNS: 域名系统将域名和IP地址相互映射的一个分布式数据库，DNS使用TCP和UDP端口53
    TCP的三次握手: 拿到域名对应的ip地址之后，User-Agent(一般指瀏览器)会以一个随机端口(1024<端口<65535)向服务器的web程序80端口发起TCP的连接请求 两个计算机通信是靠协议(目前流行的TCP/IP)来实现，三次握手就相当于试探對方是否遵循TCP/IP协议

  2. URL:统一资源定位符，由三部分组成:

  3. # 将key-value键值对转化成符合要求的字符串
  4. # 将key-value键值对转化成符合要求的字符串

  • cookie: 指某些网站为了辨别用户身份进行session跟踪而储存在用户本地终端上的数据(通过经过加密)。

    1. # 设置保存cookie的文件同级目录下的')

  • 从文件中获取并使用Cookie

    1. # 从文件中读取Cookie内容到变量

  • 利用Cookie模拟网站登录

}

我要回帖

更多关于 python爬虫 的文章

更多推荐

版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。

点击添加站长微信