scrapy框架安装及使用

本文主要是介绍scrapy框架安装及使用，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

安装scrapy

安装命令

pip install wheel
pip install twisted
pip install pywin32
pip install scrapy

测试

在终端里录入scrapy指令，没有报错即表示安装成功！

创建项目

创建工程命令

scrapy startproject xxxPro

进入项目

cd xxxPro

在spiders子目录中创建一个爬虫文件

scrapy genspider spiderName www.xxx.com

执行工程命令

scrapy crawl spiderName

应用

项目使用介绍

工程创建完成后项目目录如下

spiderName为爬虫原文件唯一标识

相关处理代码放在spiderName文件中
请求头需要标识的 修改settings配置

实战

我们用太屋网房源网站进行数据分析实战

打印出来的结果是一个Selector对象
我们需要进行处理

我们可以看到现在取出了data值
还有一种写法

总结

这篇关于scrapy框架安装及使用的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！