【Python3爬虫错误】:ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接?解决办法

news/2024/7/7 19:21:22

出现问题描述及分析:

最近做爬虫是,经常出现ConnectionResetError: [WinError 10054] 等错误,主要是因为使用urlopen方法太过频繁,引起远程主机的怀疑,被网站认定为是攻击行为,导致urlopen()后,request.read()一直卡死在那里,导致最后抛出10054异常。
在这里插入图片描述

具体解决办法:

1、设置sleep()等待一段时间后继续下面的操作【简单常用】
import time

time.sleep(t)
2、在request后面写入一个关闭的操作
response.close()
3、设置socket默认的等待时间,在read超时后能自动往下继续跑
socket.setdefaulttimeout(t_default)
4、防止循环时某一个请求失败导致循环退出,从而程序退出【常用】

抛出异常,保存日志或者重新请求,或者加请求超时。=

                try:
                    html = requests.get(pic, headers=Hostreferer, timeout=15)
                    print('成功')
                except requests.exceptions.RequestException as e:
                    print(e)
                    print('失败')
                    continue

具体例子:

1、使用Python爬取妹子网的图片,批量下载,附带源码,超详细

2、爬虫实例源码下载,修改目录直接能运行

更多内容参考:
Python爬虫学习汇总(持续更新)


http://www.niftyadmin.cn/n/4799778.html

相关文章

【Python3学习】常见字符串去除字符串空格的方法

1、replace()方法,可以去除全部空格 语法 str.replace(old, new[, max])old – 将被替换的子字符串。new – 新字符串,用于替换old子字符串。max – 可选字符串, 替换不超过 max 次 实例 str "this is string example....wow!!! this is reall…

安装memcache 时提示error while loading shared libraries: libevent-2.0解决办法

安装memcache 启动服务时出现 error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directory >whereis libevent-2.0.so.5 libevent-2.0.so.5: /usr/local/lib/libevent-2.0.so.5 > ldd /usr/local/bin/memcach…

解决msvcr120.dll文件丢失问题(搞了半天,简直奔溃,最后完美解决)

我是在安装MySQL时提示缺少这个文件,搞了1太多,各种方法都试了。。。。。。 解决办法: 试了好多方法,都解决不了。 网上下载msvcr120.dll放到对应目录下失败 下载安装VC2013,微软官网的链接 https://www.microsoft.co…

android事件处理总结--dispatchTouchEvent

http://zhhx.blog.sohu.com/219275937.html 转载于:https://www.cnblogs.com/Tristan2012/archive/2012/11/28/2792980.html

eclipse、jdk、tomcat版本对应关系

不同版本的eclipse对jdk版本要求不一样,最高支持tomcat版本也不一样,下面是三者之间的对应关系。 Eclipse版本最低Java版本最高Tomcat版本Eclipse 4.8 (Photon)Java8Tomcat9.0Eclipse 4.7 (Oxygen)Java8Tomcat9.0Eclipse 4.6 (Neon)Java8Tomcat9.0Eclip…

JavaWeb错误汇总(持续更新)

建议 1、JSP工程名,路径,jsp文件名最好不要用中文命名。 2、编码格式统一设置为UTF-8格式。 错误汇总 1、404错误 错误描述: 解决办法: 1.把你要运行的文件名修改为index.jsp(不一定修改) 2.把有中文…

TCP粘包拆包基本解决方案

TCP粘包拆包基本解决方案参考文章: (1)TCP粘包拆包基本解决方案 (2)https://www.cnblogs.com/duan2/p/8858138.html (3)https://www.codeprj.com/blog/872a1a1.html 备忘一下。

HTML Img标签 src为网络地址无法显示图片问题解决(https)

HTML Img标签 src为网络地址无法显示图片问题解决(https)参考文章: (1)HTML Img标签 src为网络地址无法显示图片问题解决(https) (2)https://www.cnblogs.com/guozhaox…