关于爬虫程序的合法性？ - 知乎57被浏览<strong class="NumberBoard-itemValue" title="4分享邀请回答3添加评论分享收藏感谢收起在运行爬虫程序时总会出现以下异常
我写的程序可以运行，但是总会出现以下异常中断运行，然后再运行程序时，就没问题了，很多次了
1.java.net.SocketTimeoutException: Read timed out
2.java.net.SocketTimeoutException: connect timed out
3.java.net.ConnectException: Connection timed out: connect
以上三个异常，经过跟踪确定都是在执行这句代码时出现的：
doc = Jsoup.connect(url) &.data(&query&, &Java&) &.userAgent(&Mozilla&)& &.cookie(&auth&, &token&) &.timeout(300000) &.post(); 请问各位大神我这是什么个情况，该怎么解决啊？ &因为这程序是用来爬取网页数据的，一直要循环加载上万条子网页的url,是不是因为这个造成的啊？我该怎么解决呢？求各位大虾指点，泣不成声，泣不成声....
网络不给力
我觉得挺正常的。超时而已了。垂直爬虫可以看看webmagic。放在多线程里，try catch 一下，有异常就跳过去吧爬虫程序返回429是什么原因？_百度知道
爬虫程序返回429是什么原因？
开了亿牛云的5动态转发5请求，但是程序返回429？是什么原因呢？
我有更好的答案
429 Too Many Requests (太多请求)当你需要限制客户端请求某个服务的数量，也就是限制请求速度时，该状态码就会非常有用。在此之前，有一些类似的状态码。例如“509 Bandwidth Limit Exceeded”。如果你希望限制客户端对服务的请求数，可使用 429 状态码，同时包含一个 Retry-After 响应头用于告诉客户端多长时间后可以再次请求服务。
为您推荐：
其他类似问题
您可能关注的内容
&#xe675;换一换
回答问题，赢新手礼包&#xe6b9;
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}