【学习打卡】第8天 Scrapy打造搜索引擎 items的定义和使用

2022/8/13 3:22:55

本文主要是介绍【学习打卡】第8天 Scrapy打造搜索引擎 items的定义和使用,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

课程名称:Scrapy打造搜索引擎(分布式爬虫)


课程章节:items的定义和使用


主讲老师:bobby


课程内容:

今天学习的内容包括:items的定义和使用


课程收获:

        

1.Item创建

    1.Item作用

    1. 提供了额外的保护机制来避免拼写错误导致的未定义字段错误

    2. 可以更为方便的操作和保存item中的数据,以及满足scrapy其他相关功能的支持

 

2.代码

        

import scrapy


class ArticleSpiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass


class JobBoleArticleItem(scrapy.Item):
    title = scrapy.Field()
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id = scrapy.Field()  # 网页URL不定长,则通过MD5生成id,使得URL地址存储为定长字符
    front_image_url = scrapy.Field()
    front_image_path = scrapy.Field()  # 保存图片本地地址
    praise_nums = scrapy.Field()
    comment_nums = scrapy.Field()
    view_nums = scrapy.Field()
    tags = scrapy.Field()
    content = scrapy.Field()


3.jobbole.py中使用自定义的Item

      1.代码截图

            https://img4.sycdn.imooc.com/62f5ab8f000159de15950724.jpg

            https://img1.sycdn.imooc.com/62f5ab980001bdfb14741013.jpg


    2.查看Item对象的值

        https://img3.sycdn.imooc.com/62f5abbb0001f60022891281.jpg



4.yield Item——Scrapy自动将Item交给对应的Pipeline进行数据处理和保存

        https://img4.sycdn.imooc.com/62f5abd60001f00724001288.jpg



这篇关于【学习打卡】第8天 Scrapy打造搜索引擎 items的定义和使用的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程