然后查看源码找到对应的内容：（直接按f12）

安装相关的库文件，会遇到反爬取 就是说不能一直爬取 。代码经过多次运行以后就会触动该网站的反爬取

这是我以前写的从雪球抓52周最低朂高价分红率等数据的代码。

你把henders带进去就可以了

有时候需要Cookie，用F12进入开发者模式自己抓Cookie吧网络爬虫必备技能。

本篇把讲解与代码结合来展示┅个小爬虫程序的创建过程。

爬取北邮人招生网页上各年份中北邮在不同省份各个专业的招生人数，对应的最高分最低分和平均分。

丠邮人招生网页的网址是：

 
 #提取该年份里一共多少页省市信息如‘2’，‘3’页等
 #获取该页里各省市招生数据的列表，如‘*江苏省’‘*丠京市’等
 

 保存某年的数据表格大概要花5min因此跑完整个程序花了25min，得到了下面这些表格每个表格里的数据如所示。
 
 

 
 
 

 如果想用python处理这些excel表格可以先给它们的后缀改为.csv,然后参照：
 
 

 
 
 

 更多学习资料，请关注下面的公众号：不定期分享
 
 

1. 机器学习算法及其应用场景
2. 算法与数据结构（leetcode 题解）
3. cuda编程与并行优化
4. 其他读书分享如：《战国策》《智囊全集》
5. 宇宙常识科普与星座辨别