爬虫 1 -IP代理池
2022/1/30 6:04:40
本文主要是介绍爬虫 1 -IP代理池,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
爬虫 1 -IP代理池
IP代理池
[time=Tue, Jan 25, 2022 9:34 PM]
原文链接
dokcer-compose文件下载
# docker-compose 一键部署 docker-compose up
测试
随机一个代理IP http://ippool.gwozai.com/random
IP数量统计 http://ippool.gwozai.com/count
用python代码获取代理IP
import requests proxypool_url = 'http://ippool.gwozai.com/random' target_url = 'http://www.baidu.com' def get_random_proxy(): """ get random proxy from proxypool :return: proxy """ return requests.get(proxypool_url).text.strip() def crawl(url, proxy): """ use proxy to crawl page :param url: page url :param proxy: proxy, such as 8.8.8.8:8888 :return: html """ proxies = {'http': 'http://' + proxy} return requests.get(url, proxies=proxies).text def main(): """ main method, entry point :return: none """ proxy = get_random_proxy() print('get random proxy', proxy) html = crawl(target_url, proxy) print(html) if __name__ == '__main__': main()
这篇关于爬虫 1 -IP代理池的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南
- 2024-09-30Dnd-Kit学习:新手快速入门指南