scrapy框架使用.Request使用meta传递数据,以及deepcopy的使用,这种三层for循环,就会有deepcopy的问题,
2021/9/12 6:34:42
本文主要是介绍scrapy框架使用.Request使用meta传递数据,以及deepcopy的使用,这种三层for循环,就会有deepcopy的问题,,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
参数meta说明:
1)meta是一个字典,主要用于解析函数之间传递值;
2)Request对象接受一个meta参数,即一个字典对象,同时Response对象有一个meta属性可以取到相应request传过来的meta;
即:一方传递,另一方接收
问题:
meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到的值有时需要传递给下一个函数
但是 items= response.meta['item'] 接收的时候一直是同样的值
解决:
在yield的时候,meta参数的值做深度拷贝就可以了
yield scrapy.Request(detail_url,
callback=self.next_page,
meta={'item': deepcopy(item)})
结合代码说明为什么爬取图书数据重复时需要deepcopy? -----这里省略代码,理解用法即可
- a = deepcopy(b) # 相当于强制传值
- scrapy中的内容是异步执行的,解析函数可能同时在执行,操作的是同一个item,
- 大分类下的所有的图书用的是一个item字典
补充:
copy与deepcopy区别:
我的理解是:copy 相当于一个替身,只是表面的假象,真主换动作了替身也要随着变;
deepcopy 当作一对双胞胎,虽然相似,但实际上是各自独立的特征
这篇关于scrapy框架使用.Request使用meta传递数据,以及deepcopy的使用,这种三层for循环,就会有deepcopy的问题,的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-01巧用 TiCDC Syncpoint 构建银行实时交易和准实时计算一体化架构
- 2024-05-01银行核心背后的落地工程体系丨Oracle - TiDB 数据迁移详解
- 2024-04-26高性能表格工具VTable总体构成-icode9专业技术文章分享
- 2024-04-16软路由代理问题, tg 无法代理问题-icode9专业技术文章分享
- 2024-04-16程序猿用什么锅-icode9专业技术文章分享
- 2024-04-16自建 NAS 的方案-icode9专业技术文章分享
- 2024-04-14ansible 在远程主机上执行脚本,并传入参数-icode9专业技术文章分享
- 2024-04-14ansible 在远程主机上执行脚本,并传入参数, 加上remote_src: yes 配置-icode9专业技术文章分享
- 2024-04-14ansible 检测远程主机的8080端口,如果关闭,则echo 进程已关闭-icode9专业技术文章分享
- 2024-04-14result 成功怎么写-icode9专业技术文章分享