python实现用线程爬虫 快速高效爬数据
2021/7/28 14:07:35
本文主要是介绍python实现用线程爬虫 快速高效爬数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
前言
线程可以高效的调用cpu,实现cpu利用的最大化,非常快速的帮助我们爬取想要的数据
一、线程的特点
线程的含义:线程相当于 一个公司的员工,也相当于 一个应用软件可以使用多个功能一样
线程的方法:Class MyThread(Thread):继承Thread父类
new Mythread()创建对象 t.start()开启线程 Thread父类的方法def run(self):
是线程要完成的任务
二、使用步骤
1.线程池
ThreadPoolexecutor(count)这个就是线程池对象 count代表在线程内的数量
我们爬取数据都是用线程池 ,线程池相当于多个线程构成一块
with ThreadPoolExecutor(50) as t: for i in range(1,200): data = {'limit': '20', 'current': str(i), 'pubDateStartTime': '', 'pubDateEndTime': '', 'prodPcatid': '', 'prodCatid': '', 'prodName': ''} t.submit(download_one_page(data))#submit第一个是参数 正是线程池要干的事 # t.submit(download_one_page,第二个参数) 第二个参数是指 传入 download_one_page中
2.引入库
代码如下(示例):
import requests from lxml import etree from concurrent.futures import ThreadPoolExecutor import csv
3.整块代码
import requests from lxml import etree from concurrent.futures import ThreadPoolExecutor import csv headers = {"User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0"} data = {'limit':'20', 'current':'1', 'pubDateStartTime':'', 'pubDateEndTime':'', 'prodPcatid':'', 'prodCatid':'', 'prodName':''} datalists = [] f = open("./北京菜价数据1.csv",mode="w",encoding="utf-8") f = csv.writer(f) def download_one_page(data): url = "http://www.xinfadi.com.cn/getPriceData.html" resp = requests.post(url=url,headers=headers,data=data) #可以用post方式提交表单 访问的到 list = resp.json() list = list['list']# 获取数据列表 print(len(list)) # 打印数据长度 for i in range(len(list)): datalist = [] id = list[i]['id'] # 菜的id name = list[i]['prodName'] # 菜名 typeone = list[i]['prodCat'] # 一级分类 place = list[i]['place'] # 位置 lowPrice = list[i]['lowPrice'] # 最低价 highPrice = list[i]['highPrice'] # 最高价 avgPrice = list[i]['avgPrice'] # 平均价格 datalist.append(id) datalist.append(name) datalist.append(typeone) datalist.append(place) datalist.append(lowPrice) datalist.append(highPrice) datalist.append(avgPrice) f.writerow(datalist) # datalists.append(datalist) # return datalists def main(): pass if __name__ == '__main__': #低效率事件 """for i in range(1,14870): data = {'limit': '20', 'current': str(i), 'pubDateStartTime': '', 'pubDateEndTime': '', 'prodPcatid': '', 'prodCatid': '', 'prodName': ''} datalists = download_one_page(data)""" with ThreadPoolExecutor(50) as t: for i in range(1,200): data = {'limit': '20', 'current': str(i), 'pubDateStartTime': '', 'pubDateEndTime': '', 'prodPcatid': '', 'prodCatid': '', 'prodName': ''} t.submit(download_one_page(data))#submit第一个是参数 正是线程池要干的事 # t.submit(download_one_page,第二个参数) 第二个参数是指 传入 download_one_page中 f.close() print("执行完毕!")
总结
线程池的方法比较重要 submit(要执行的任务)
这篇关于python实现用线程爬虫 快速高效爬数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-25Python编程基础:变量与类型
- 2024-11-25Python编程基础与实践
- 2024-11-24Python编程基础详解
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器