【学习打卡】第2天 Scrapy打造搜索引擎深度优先与广度优先、url去重、unicode与utf8编码

2022/8/8 3:22:52

编程Tag： 爬虫

本文主要是介绍【学习打卡】第2天 Scrapy打造搜索引擎深度优先与广度优先、url去重、unicode与utf8编码，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

课程名称：Scrapy打造搜索引擎(分布式爬虫)

课程章节：爬虫基础知识回顾

主讲老师：bobby

课程内容：

今天学习的内容包括：URL去重、深度优先遍历与广度优先遍历、爬虫去重策略、字符串编码

1.网站其他网页会有链接指向首页，而首页又会有链接指向其他页面，这样则会造成循环爬取网页，陷入死循环

2.如何解决该问题？将已经爬取的URL地址将入至列表内，表示已经被查询

深度优先遍历与广度优先遍历

爬虫去重策略

字符串编码

这篇关于【学习打卡】第2天 Scrapy打造搜索引擎深度优先与广度优先、url去重、unicode与utf8编码的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！