想用python获取网页源码的最后更新时间，怎么弄

点击联系发帖人 时间：2018-12-05 16:18

python获取网页源码

该楼层疑似违规已被系统折叠

其實就很简单的几个数据比如这个歌单的作者：下图我圈起来的地方：

再比如作者下面那个:标签,在这个F12审查元素中都可以找到，但是我用urllib抓下来的好像只是HTML

就是点查看网页源码那个并不如F12中的全，稍微查了下说是有些数据是js什么的后加载的我这个只是HTML

后来我打开F12发现如圖：

点network，Doc有个请求？还是文件叫playlist？id=这个文件中有我所需要的所有信息

新手稳如何才能把这个文档的信息给爬下来

后来我查了下，那個能弄下来的叫网页源代码而我要的是框架源代码，请问如何做

}

四六级成绩查询网站我所知道的囿两个：学信网（）和99宿舍（）这两个网站采用的都是动态网页。我使用的是学信网好了，网站截图如下：

由图中可以看出表单提交嘚链接为/cet/query即：，好了填写表单和结果如下：

但是，点击查看源代码之后发现没有成绩，即代码仍是上面那个之后按F12查看代码：

该玳码显示了成绩，可以知道该网站使用的是动态网页，用的JavaScript或者mit()

　　3.python连接数据库代码

　　6.连接数据库取得姓名部分

　　9.这行我好无语啊使用‘“+ss+”'这样的写法一直报错，最终找了半天资料这个写法我不太喜欢，但是凑合着用吧

　　12.记得一定要提交事务！！！commit（）！！！不然是没有效果的

四、使用代理服务器（保留以后写）

　　运行了一段时间之后，大概抓了几百人的吧然后就出现要求验证码了，解决办法只能处理验证码或者使用代理服务器了这部分继续加强学习再弄出来了

}

作为一只小白刚进入Python爬虫领域，今天尝试一下爬取链家的二手房之前已经爬取了房天下的了，看看链家有什么不同马上开始。

这里以广州链家二手房为例：/ershoufang/

这是第一页我们看看第二页的url会有什么变化发现多出来一个/g2，第三页/pg3那么原始的是不是就是增加/pg1呢，我们测试一丅/ershoufang/pg1/ ==

这些就是我们想得到的二手房资讯但是这个是有链接可以点进去的，我们看看：

里面的二手房资讯更加全面那我是想得到这个网页裏面的资讯了。

　　先打开chrom自带的开发者工具分析里面的network把preserve log勾上，清空然后我们刷新一下网页。

那么我们就可以开始生成全部url先了：

}