搜索结果
查询Tags标签： url，共有 2151条记录-
python 爬虫之多线程
一、Queue模块中的常用方法: Python的Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的同步Queue.q…
2021/10/4 20:42:44 人评论 次浏览 -
②python代码+gitlab+jenkins
实现：python代码提交gitlab远程仓库后，gitlab告诉jenkins代码有变化，让jenkins拉取代码至项目目录，然后执行自动化测试，并邮件发送allure报告1.1.pycham 设置git安装路径。保证pycharm与git进行关联1.2#copy一下远程仓库url，记得要加端口号 1.3# pycharm设置远程仓库…
2021/10/3 14:11:40 人评论 次浏览 -
②python代码+gitlab+jenkins
实现：python代码提交gitlab远程仓库后，gitlab告诉jenkins代码有变化，让jenkins拉取代码至项目目录，然后执行自动化测试，并邮件发送allure报告1.1.pycham 设置git安装路径。保证pycharm与git进行关联1.2#copy一下远程仓库url，记得要加端口号 1.3# pycharm设置远程仓库…
2021/10/3 14:11:40 人评论 次浏览 -
Python网络爬虫：爬取豆瓣电影 Top 250剧情简介
一、爬取程序基本结构介绍 首先是程序需要调用的库： import requests import bs4 import os 然后写一个函数用于解析网页HTML： headers={User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537…
2021/10/3 14:10:05 人评论 次浏览 -
Python网络爬虫：爬取豆瓣电影 Top 250剧情简介
一、爬取程序基本结构介绍 首先是程序需要调用的库： import requests import bs4 import os 然后写一个函数用于解析网页HTML： headers={User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537…
2021/10/3 14:10:05 人评论 次浏览 -
高级搜索指令inurl讲解 inurl命令的作用及用法
https://jingyan.baidu.com/article/48a42057ccb6c3a9242504a6.html上一次说完了intitle的用法，接下来，我们看看另一个用途广泛的高级搜索指令inurl的作用以及用法。方法/步骤 inurl可以看成是“in”和“url”（统一资源定位器）的合成词，它的作用就是限定在url中进行搜…
2021/10/3 6:12:33 人评论 次浏览 -
高级搜索指令inurl讲解 inurl命令的作用及用法
https://jingyan.baidu.com/article/48a42057ccb6c3a9242504a6.html上一次说完了intitle的用法，接下来，我们看看另一个用途广泛的高级搜索指令inurl的作用以及用法。方法/步骤 inurl可以看成是“in”和“url”（统一资源定位器）的合成词，它的作用就是限定在url中进行搜…
2021/10/3 6:12:33 人评论 次浏览 -
火狐URL默认打开为HTTPS，切换成http形式
火狐在当前及未来版本默认URL采用HTTPS进行链接，但个人习惯，某些网站不是https，改http在响应超时状态也会切成https，将默认为http。火狐地址栏输入 about:config 输入 browser.fixup.fallback-to-https true—改false
2021/10/3 6:11:58 人评论 次浏览 -
火狐URL默认打开为HTTPS，切换成http形式
火狐在当前及未来版本默认URL采用HTTPS进行链接，但个人习惯，某些网站不是https，改http在响应超时状态也会切成https，将默认为http。火狐地址栏输入 about:config 输入 browser.fixup.fallback-to-https true—改false
2021/10/3 6:11:58 人评论 次浏览 -
当python爬虫遇到重定向
在用python模拟登陆时，如果登陆成功则会返回302状态码，接着就会请求登录成功后的主页信息。而我一开始做了如下的判断：发送登录数据，如果返回302则说明登录成功然后请求登录后的主页。然而一直显示登录不成功，状态码也是200？但是我用proxychains抓包查看确实登录成功…
2021/10/2 12:40:06 人评论 次浏览 -
当python爬虫遇到重定向
在用python模拟登陆时，如果登陆成功则会返回302状态码，接着就会请求登录成功后的主页信息。而我一开始做了如下的判断：发送登录数据，如果返回302则说明登录成功然后请求登录后的主页。然而一直显示登录不成功，状态码也是200？但是我用proxychains抓包查看确实登录成功…
2021/10/2 12:40:06 人评论 次浏览 -
爬虫练习【三方Pixiv】
网页链接 使用scrapy框架 class Huashi6Spider(scrapy.Spider):name = huashi6allowed_domains = [huashi6.com]mouth = 9base_url = https://rt.huashi6.com/front/works/rank_page?index={}&size=10&date=2021-{}-{}start_urls = [fhttps://rt.huashi6.com/fro…
2021/10/2 6:11:39 人评论 次浏览 -
爬虫练习【三方Pixiv】
网页链接 使用scrapy框架 class Huashi6Spider(scrapy.Spider):name = huashi6allowed_domains = [huashi6.com]mouth = 9base_url = https://rt.huashi6.com/front/works/rank_page?index={}&size=10&date=2021-{}-{}start_urls = [fhttps://rt.huashi6.com/fro…
2021/10/2 6:11:39 人评论 次浏览 -
前端路由原理
前端路由，url的匹配处理在前端页面进行，而不向后端请求。在页面不刷新的情况下，更改页面内容的手段。 首先url更改时，页面不能刷新，不然肯定会向服务器发送请求。这里就有两个基础的方法可以做到，window.location和window.history 1. window.location location.href…
2021/10/1 23:41:09 人评论 次浏览 -
前端路由原理
前端路由，url的匹配处理在前端页面进行，而不向后端请求。在页面不刷新的情况下，更改页面内容的手段。 首先url更改时，页面不能刷新，不然肯定会向服务器发送请求。这里就有两个基础的方法可以做到，window.location和window.history 1. window.location location.href…
2021/10/1 23:41:09 人评论 次浏览
