搜索结果
查询Tags标签: douban,共有 40条记录-
爬虫实战(五):爬豆瓣top250
目录爬虫实战(五):爬豆瓣top250一、网址分析1、 页面分析2、 源码分析3、 内容解析4、 链接分析二、编写代码1、 获取每页url2、 获取ol里面的li标签3、 获取数据4、 数据清洗三、完整代码 爬虫实战(五):爬豆瓣top250 一、网址分析 1、 页面分析 通过抓包分析,可得…
2022/7/6 23:31:06 人评论 次浏览 -
pip安装包报错Could not find a version that satisfies the requirement pymysql (from versions: none)
第一种可能: 这时可能需要我们升级一下pip版本,于是执行命令 python -m pip install --upgrade pip第二种可能: 这时考虑换一个pip源 pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple/第三种可能: 这时考虑是网速的原因,这时采用国内的镜像源来加速…
2022/7/6 2:20:21 人评论 次浏览 -
章节十四:Scrapy框架
章节十四:Scrapy框架 目录章节十四:Scrapy框架1. Scrapy是什么1.1 Scrapy的结构1.2 Scrapy的工作原理2. Scrapy的用法2.1 明确目标与分析过程2.2 代码实现——创建项目2.3 代码实现——编辑爬虫2.4 代码实现——定义数据2.5 代码实操——设置2.6 代码实操——运行3. 代码…
2022/6/28 23:29:45 人评论 次浏览 -
python循环结构之for循环
内容回顾逻辑运算符回顾 连接多个条件运算符,and、or、not 问题:连接多个条件的运算返回的是布尔值还是数据值??如果所有的条件都是数据值,那么返回的就是数据值 print(0 and 2 and 5) # 5 print(0 or 1 or 3 or 5) # 1如果所有的条件都是表达式,那么返回的是布尔值…
2022/6/24 14:20:43 人评论 次浏览 -
python之pip换源
python安装模块的两种方式# 方式一:用国外镜像 pip install pandas # 方式二:换成国内镜像 pip install -i https://pypi.douban.com/simple 模块名pip install -i https://pypi.douban.com/simple pandas永久换源基本配置 每次都需要临时换源很麻烦,所以我们就需要配置…
2022/5/26 1:50:08 人评论 次浏览 -
安装Python库时超时或者网络问题怎么办
设置超时时间并且设置豆瓣源下载 # 根据requirements.txt文件下载 pip --default-timeout=1000 install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com# 下载单个依赖 pip --default-timeout=1000 install `matplotlib` -i http…
2022/3/28 17:22:58 人评论 次浏览 -
Windows 10 python 更换国内源
打开此电脑在在地址栏输入:%APPDATA%在搜索出的目录里新建文件夹pip,在pip文件夹下新建pip.ini文件,输入以下内容并保存 [global] timeout = 6000 index-url = http://pypi.douban.com/simple trusted-host = pypi.douban.com国内其他安装源 豆瓣 :http://pypi.douban…
2022/1/30 7:12:44 人评论 次浏览 -
python装库报错解决
python装库报错解决 输入的代码: pip install HSI -i https://pypi.douban.com/simple报错内容:Could not fetch URL https://pypi.douban.com/simple/hsi/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=pypi.douban.com, port=443)…
2022/1/14 22:06:08 人评论 次浏览 -
python装库报错解决
python装库报错解决 输入的代码: pip install HSI -i https://pypi.douban.com/simple报错内容:Could not fetch URL https://pypi.douban.com/simple/hsi/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=pypi.douban.com, port=443)…
2022/1/14 22:06:08 人评论 次浏览 -
python项目实战:伪装者要开始爬取douban信息了
前言 对于某些需要登录的网站,普通的爬虫是做不到的,这时候就需要我们伪装成浏览器的模式访问了,这样机制才会打瞌睡,才能在虎口拔牙 废话少说,上代码的时刻来了 首先导入库定义保存地址函数学习从来不是一个人的事情,要有个相互监督的伙伴,工作需要学习python或者…
2021/12/9 22:22:57 人评论 次浏览 -
python项目实战:伪装者要开始爬取douban信息了
前言 对于某些需要登录的网站,普通的爬虫是做不到的,这时候就需要我们伪装成浏览器的模式访问了,这样机制才会打瞌睡,才能在虎口拔牙 废话少说,上代码的时刻来了 首先导入库定义保存地址函数学习从来不是一个人的事情,要有个相互监督的伙伴,工作需要学习python或者…
2021/12/9 22:22:57 人评论 次浏览 -
pip install pymysql报错connet time out
1.pip install pymysql报错 pip install pymysql WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ConnectTimeoutError(<pip._vendor.urllib3.connection.HTTPSConnection object at 0x0…
2021/11/25 19:10:09 人评论 次浏览 -
pip install pymysql报错connet time out
1.pip install pymysql报错 pip install pymysql WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ConnectTimeoutError(<pip._vendor.urllib3.connection.HTTPSConnection object at 0x0…
2021/11/25 19:10:09 人评论 次浏览 -
第1篇-python3.7+PyQt5+Eric6安装过程记录
一、准备阶段 安装环境:win10 所需安装包:python3.7 (附带下载链接:https://www.python.org/downloads/)Eric6 1703中文汉化版 (附带下载链接:https://download.csdn.net/download/qq_31174645/11061541) 二、安装过程 第一步: 这是python安装页面 两个选项,第一…
2021/11/25 11:10:43 人评论 次浏览 -
第1篇-python3.7+PyQt5+Eric6安装过程记录
一、准备阶段 安装环境:win10 所需安装包:python3.7 (附带下载链接:https://www.python.org/downloads/)Eric6 1703中文汉化版 (附带下载链接:https://download.csdn.net/download/qq_31174645/11061541) 二、安装过程 第一步: 这是python安装页面 两个选项,第一…
2021/11/25 11:10:43 人评论 次浏览