python爬虫必备知识点, 代理请求数据
2021/6/12 22:52:36
本文主要是介绍python爬虫必备知识点, 代理请求数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
爬取免费代理,并且解析代理是否可用 网址为:
http://www.ip3366.net/?stype=1&page=1
#1.确认爬取的地址 #2.发送地址请求 #3.数据解析 #4.数据保存 import requests import parsel import time def check_ip(proxiles_list): """检测代理可用性""" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } can_use = [] for proxies in proxiles_list: try: response = requests.get(url='https://www.baidu.com',headers=headers, proxies=proxies,timeout=2) if response.status_code == 200: can_use.append(proxies) except: print('当前代理:',proxies,'请求超时,代理不可用') else: print('当前代理:',proxies,'****代理可用****') return can_use proxy_list = [] for page in range(1,11): time.sleep(2) #1.确认爬取的地址 url = f"http://www.ip3366.net/?stype=1&page={page}" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"} #2.发送地址请求 response = requests.get(url=url,headers=headers) response.encoding = response.apparent_encoding #自动识别响应体的编码 html_data = response.text #print(html_data) #3.数据解析 xpath 专门用来提取html数据 selector = parsel.Selector(html_data) #数据转换 trs = selector.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr') for tr in trs: #二次提取 ip = tr.xpath('./td[1]/text()').get() #ip port = tr.xpath('./td[2]/text()').get() #端口 #print(ip,port) ip_proxy = ip + ':' + port proxies_dict = { "http": "http://" + ip_proxy, "https": "https://" + ip_proxy, } print('保存完成',proxies_dict) proxy_list.append(proxies_dict) print(proxy_list) print('获取到的代理数量:',len(proxy_list)) print('***************************正在检测代理***************************') can_use = check_ip(proxy_list) print('可用的代理有:',can_use) print('可用的代理数量:',len(can_use))
这篇关于python爬虫必备知识点, 代理请求数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-04Python外包有哪些常见的主要库-icode9专业技术文章分享
- 2024-10-02基于深度学习的钢铁缺陷检测系统(yolov8、注意力机制、PyQt5界面、Python)
- 2024-10-01怎么用python搭建一个系统-icode9专业技术文章分享
- 2024-09-30Python基础入门教程
- 2024-09-30获取参数学习:Python中的基础教程
- 2024-09-30Python编程基础详解
- 2024-09-29点击加载学习:Python编程基础教程
- 2024-09-29数据科学五大Python前端库:第二部分
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础