Python之使用代理服务器访问网页
2021/11/5 17:11:32
本文主要是介绍Python之使用代理服务器访问网页,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
使用同一个ip频繁爬取一个网站,久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站
from urllib import request # 也可以from urllib.request as request def use_porxy(porxy_addr,url): porxy = request.ProxyHandler({'http':porxy_addr}) opener = request.build_opener(porxy, request.ProxyHandler) request.install_opener(opener) try: response = request.urlopen(url, timeout=5) except Exception as e: print('交接错误,退出程序') exit() data = response.read().decode('utf-8') return data data = use_porxy("114.115.182.59:128","http://www.baidu.com") print(len(data)
这篇关于Python之使用代理服务器访问网页的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-04Python外包有哪些常见的主要库-icode9专业技术文章分享
- 2024-10-02基于深度学习的钢铁缺陷检测系统(yolov8、注意力机制、PyQt5界面、Python)
- 2024-10-01怎么用python搭建一个系统-icode9专业技术文章分享
- 2024-09-30Python基础入门教程
- 2024-09-30获取参数学习:Python中的基础教程
- 2024-09-30Python编程基础详解
- 2024-09-29点击加载学习:Python编程基础教程
- 2024-09-29数据科学五大Python前端库:第二部分
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础