搜索结果
查询Tags标签： url，共有 2151条记录-
scrapy框架爬取网易新闻内容
需求 爬取网易新闻中的新闻数据（标题和内容） 1.通过网易新闻的首页解析出五大板块对应的详情页的url（没有动态加载） 2.每一个板块对应的新闻标题都是动态加载出来的（动态加载） 3.通过解析出每一条新闻详情页的url获取详情页的页面源码，解析出新闻内容 代码实现 数据…
2022/5/26 23:22:09 人评论 次浏览 -
Python---如何使用python遍历文件夹下的所有文件（输出所有文件夹以及文件
算法思路：在Python中我们一般使用os模块来操作文件夹或文件，os为Python的内置模块，使用时直接导入即可：os模块中有许多方法， 在这里需要使用的有listdir()---listdir ------- 返回对应目录下的所有文件（包含你所隐藏的文件），返回的结果是列表 abspath()---abspath…
2022/5/25 5:21:08 人评论 次浏览 -
URL安全的Base64算法
URL安全的Base64算法 base64是取3个字节(24位)的数据强行组成4个字节(32位)的数据做为一个分组，24位分成4个字节的话，每个字节分到6位，然后前面补两位0，然后这个字节的值位索引去base64表找值。因为前面补两个0，那么只有6位来算索引，最长就是2^6=64，所以base64表只…
2022/5/25 1:23:03 人评论 次浏览 -
利用Python实现图片批量下载
1 from email import header2 import requests3 from lxml import etree4 import sys5 import optparse6 from urllib import parse7 import time8 9 class ImagesDownloader: 10 def __init__(self) -> None: 11 self.url = self.get_params() 12 …
2022/5/25 1:20:06 人评论 次浏览 -
scrapy框架请求传参处理（请求多个页面）
前提 如果爬取解析的数据不在同一张页面中。（深度爬取） 实战 使用古诗词网站进行模拟import scrapy from bossPro.items import BossproItem class BossSpider(scrapy.Spider):name = boss# allowed_domains = [www.xxx.com]start_urls = [https://www.shicimingju.com/…
2022/5/24 23:50:04 人评论 次浏览 -
PHP 实现抖音去水印
废话不多说，直接上代码！！！1 <?php2 $url = $_GET[url];3 //获取视频url4 $url = get_redirect_url($url);5 //获取视频ID6 $str = dirname($url);7 $id = substr($str,strripos($str,video)+6);8 //调用抖音官方API9 $str = file_get_contents(https://www.douyin…
2022/5/24 5:19:52 人评论 次浏览 -
img标签中的srcset属性有什么用？
我的博客 img元素的srcset属性用于浏览器根据宽、高和像素密度来加载相应的图片资源。 也就是说，我们不需要使用JavaScript也可以实现分辨率自适应。 当然，仅限于图片，也就是img标签。属性格式：图片地址 宽度描述w 像素密度描述x，多个资源之间用逗号分隔。像这样就可…
2022/5/23 23:23:02 人评论 次浏览 -
【2022.05.23】对无验证码的整个网页公告的内容进行自适应爬取
学习内容 Selenium是一个浏览器自动化操作框架。可以模拟用户操作。这样我们就可以用selenium做很多事情了，测试自动化，爬虫等等 但是我要写的脚本要在很多台电脑上运行，所以我要使用一个通用的脚本来支持在win7/win10上都可以运行，我要找到同时支持两个系统的浏览器内…
2022/5/23 23:21:21 人评论 次浏览 -
微信小程序扫码进入小程序参数问题
需求：扫描二维码进入小程序的详情页面，目录页面，页面请求都需要带上参数及需要验证用户授权。 既然是扫码进入的，那么我第一反应肯定是在请求拦截里做操作了，不然如何判断他是什么怎么进来的。一进入页面，肯定会有请求，我先调用一下wx.getLaunchOptionsSync()获取当…
2022/5/12 20:27:45 人评论 次浏览 -
学习python，从入门到放弃（51）
学习python，从入门到放弃（51） django请求生命周期流程图路由层之路由匹配 路由匹配的特点是，只要匹配上了就会立刻结束执行对应的视图函数，并且url方法的第一个参数其实是一个正则表达式，只要正则表达式能够从用户输入的后缀中匹配到内容就算匹配上了。 正则是test，…
2022/5/12 20:27:41 人评论 次浏览 -
Python 什么是flask框架？快速入门
目录一:Python flask框架前言补充一下，我们前面学习的库都是叫模块，那么框架与库的区别？二:flask 框架概述1.简介2.须知:3.flask框架的优势三:flask 安装1.安装flaskflask快速使用2.flask执行流程(入门)四:登录，显示用户信息案例1.案例：登录，显示用户信息main.pydet…
2022/5/11 9:24:23 人评论 次浏览 -
java openOffice实现局域网内在线预览（docx转pdf）
前言 当前的主浏览器都支持直接打开pdf文件，从而实现文件预览。如果是其他格式文件则得下载，因此用openOffice实现文件转pdf格式。 一、 openOffice的安装下载地址：http://www.openoffice.org/ 安装教程可参考：openOffice下载和安装进入安装目录，输入cmd命令窗口输入…
2022/5/10 20:00:31 人评论 次浏览 -
vue query 和 params 传参的区别
query 和 params 传参的区别通过 url 传递参数控制页面显示数据的两种方式 1. query 传统问号传参url 格式：xxx.com/product?id=123 模板内获取数据：this.$route.query.id2. params 动态路由匹配url 格式：xxx.com/product/123 模板内获取数据：this.$route.params.id …
2022/5/5 6:15:44 人评论 次浏览 -
axios 传递参数的方式(data 与 params 的区别)
axios 大家都非常的清楚，一个既可以用于客户端或者 服务端发送http请求的库。但是在前后端联调的时候有的时候会很难受，所以这里我来做一个总结。希望能帮助到有缘人。参数的传递方式参数传递一般有两种，一种是 使用 params, 另一种是 data的方式,有很多的时候我们看到…
2022/5/5 6:15:31 人评论 次浏览 -
python爬取网易云音乐飙升榜
import time from multiprocessing.dummy import Pool import requests import osfilename = "网易云飙升榜//" if not os.path.exists(filename):os.mkdir(filename)url = "https://music.163.com/weapi/v6/playlist/detail?csrf_token=" headers =…
2022/5/5 1:13:55 人评论 次浏览
