爬虫日记(60)：Scrapy的过滤性管道

本文主要是介绍爬虫日记(60)：Scrapy的过滤性管道，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

在开发爬虫的过程中，经常会遇到有一些内容不感兴趣、不需要的，这时候就需要使用过滤性的管道来处理。比如你去下载一些网店的数据，只对有价格显示的项有用，没有价格显示出来就没有办法处理，这时就可以采用过滤性的管道。如下的例子：

from itemadapter import ItemAdapter

from scrapy.exceptions import DropItem

class PricePipeline:

    vat_factor = 1.15

    def process_item(self, item, spider):

        adapter = ItemAdapter(item)

        if adapter.get('price'):

这篇关于爬虫日记(60)：Scrapy的过滤性管道的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！