搜索结果
查询Tags标签： url，共有 2151条记录-
第一周单元3：Requests库网络爬虫实例下载图片-split
获取用户输入的文件名# coding:utf-8 import requests import ospath = "D:\\pic\\{}.jpg".format(input("请输入文件名：")) url = "http://img.mp.itc.cn/upload/20160902/7cf52148ebbc4f378f5d55349bab6429_th.jpg"try:r = requests.get…
2021/8/8 6:08:40 人评论 次浏览 -
第一周单元3：Requests库网络爬虫实例user-agent
某些网站会判断请求来源（人为操作或者工具脚本），如亚马逊，若直接发送请求，会报错，所以需在headers中加入浏览器类型# coding:utf-8 import requestsdef jdlhm(url):try:kv = {user-agent: Mozilla/5.0}r = requests.get(url, headers=kv)r.raise_for_status()r.enco…
2021/8/8 6:08:39 人评论 次浏览 -
第一周单元3：Requests库网络爬虫实例user-agent
某些网站会判断请求来源（人为操作或者工具脚本），如亚马逊，若直接发送请求，会报错，所以需在headers中加入浏览器类型# coding:utf-8 import requestsdef jdlhm(url):try:kv = {user-agent: Mozilla/5.0}r = requests.get(url, headers=kv)r.raise_for_status()r.enco…
2021/8/8 6:08:39 人评论 次浏览 -
第一周单元1：Requests库的爬取性能分析
尽管Requests库功能很友好、开发简单（其实除了import外只需一行主要代码），但其性能与专业爬虫相比还是有一定差距的。请编写一个小程序，“任意”找个url，测试一下成功爬取100次网页的时间。（某些网站对于连续爬取页面将采取屏蔽IP的策略，所以，要避开这类网站。） …
2021/8/8 6:07:34 人评论 次浏览 -
第一周单元1：Requests库的爬取性能分析
尽管Requests库功能很友好、开发简单（其实除了import外只需一行主要代码），但其性能与专业爬虫相比还是有一定差距的。请编写一个小程序，“任意”找个url，测试一下成功爬取100次网页的时间。（某些网站对于连续爬取页面将采取屏蔽IP的策略，所以，要避开这类网站。） …
2021/8/8 6:07:34 人评论 次浏览 -
第一周单元1：Requests库入门
Http协议对资源的操作 方法 说明 GET：请求获取URL位置的资源 HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息 POST：请求向URL位置的资源后附加新的数据 PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源 PATCH：请求局部更…
2021/8/8 6:07:31 人评论 次浏览 -
第一周单元1：Requests库入门
Http协议对资源的操作 方法 说明 GET：请求获取URL位置的资源 HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息 POST：请求向URL位置的资源后附加新的数据 PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源 PATCH：请求局部更…
2021/8/8 6:07:31 人评论 次浏览 -
Jenkins+ Python + Pytest +Allure 测试环境之jenkins配置
部署步骤参考:小菠萝测试笔记docker实战篇,连接:https://www.cnblogs.com/poloyy/p/13955641.html 搭建jenkins容器 https://www.cnblogs.com/xianyudoufu/p/15110781.html jenkins初始化流程 阿里云服务器,需要安全组中开放服务器端口,这里自行百度, 查看主机映射docker容…
2021/8/7 17:08:30 人评论 次浏览 -
Jenkins+ Python + Pytest +Allure 测试环境之jenkins配置
部署步骤参考:小菠萝测试笔记docker实战篇,连接:https://www.cnblogs.com/poloyy/p/13955641.html 搭建jenkins容器 https://www.cnblogs.com/xianyudoufu/p/15110781.html jenkins初始化流程 阿里云服务器,需要安全组中开放服务器端口,这里自行百度, 查看主机映射docker容…
2021/8/7 17:08:30 人评论 次浏览 -
django--http协议
Http协议 Http概述 http:超文本传输协议 浏览器和internet通讯 请求-->相应http是无状态协议 ftp是有状态url: 统一资源定位器-->网络协议://域名:端口/路径 请求协议 请求格式 请求首行 // 请求方式 请求路径 协议 版本号 eg: GET /index.html HTTP/1.1 请求头信…
2021/8/7 6:05:58 人评论 次浏览 -
django--http协议
Http协议 Http概述 http:超文本传输协议 浏览器和internet通讯 请求-->相应http是无状态协议 ftp是有状态url: 统一资源定位器-->网络协议://域名:端口/路径 请求协议 请求格式 请求首行 // 请求方式 请求路径 协议 版本号 eg: GET /index.html HTTP/1.1 请求头信…
2021/8/7 6:05:58 人评论 次浏览 -
爬虫学习日志1
1 爬虫基础模块 requests requests是Python中的一款基于网络请求的模块，有简单便捷，效率极高的特点。 1.1 作用 模拟浏览器发请求 1.2 编码流程 ——指定url ——发起请求 ——获取相应数据 ——持久化储存 1.3 实战示例 import requests url = https://www.sogou.com/#…
2021/8/6 23:08:17 人评论 次浏览 -
爬虫学习日志1
1 爬虫基础模块 requests requests是Python中的一款基于网络请求的模块，有简单便捷，效率极高的特点。 1.1 作用 模拟浏览器发请求 1.2 编码流程 ——指定url ——发起请求 ——获取相应数据 ——持久化储存 1.3 实战示例 import requests url = https://www.sogou.com/#…
2021/8/6 23:08:17 人评论 次浏览 -
referer的反爬和爬虫下载视频
一、缘由在梨视频等一些网站中会使用防盗链作为反爬的基础方法，这个反爬并不严重，只是平时的时候需要多加留意。此次实现对应链接中梨视频的下载。 二、代码实现#1、拿到contid #2、拿到videoStatus返回的json.-> srcURL #3、srcURL里面的内容进行修整 成为src #4、…
2021/8/6 6:08:23 人评论 次浏览 -
referer的反爬和爬虫下载视频
一、缘由在梨视频等一些网站中会使用防盗链作为反爬的基础方法，这个反爬并不严重，只是平时的时候需要多加留意。此次实现对应链接中梨视频的下载。 二、代码实现#1、拿到contid #2、拿到videoStatus返回的json.-> srcURL #3、srcURL里面的内容进行修整 成为src #4、…
2021/8/6 6:08:23 人评论 次浏览
