搜索结果
查询Tags标签： urllib，共有 137条记录-
python爬虫入门（urllib和urllib2）
什么是爬虫？爬虫：就是抓取网页数据的程序。HTTP和HTTPSHTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。SSL（S…
2022/10/19 1:24:57 人评论 次浏览 -
python如何截长图
网上查到有个第3方接口（网页截屏大师）可以实现截取网页长图，只能针对部分网站调用 首先，先在https://www.screenshotmaster.com/ 注册一个账号，在用户中心获取到一个唯一的Token，并保存 然后使用Python脚本调用截屏大师的接口获取截图，代码示例：import urllib.par…
2022/9/3 14:24:20 人评论 次浏览 -
两种获取链接响应码的方法 （python实现）
两种获取链接响应码的方法 （python实现）背景： 工作中需要测试某个包是否正常上传到了 yum 仓库，所以需要检测对应地址是否有效，发现之前使用requests 库写的代码出奇的慢，所以做了优化。分别使用 requests 和 urllib 库实现 结论：使用urllib 库要比 requests 库要快…
2022/8/14 1:54:00 人评论 次浏览 -
爬虫练手
import urllib.parse import urllib.request import jsoncontent = input("请输入要翻译的内容：") url = "https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule" data = {i: content, from: AUTO, to: AUTO, smartresult:…
2022/8/1 6:22:46 人评论 次浏览 -
Python中的urlencode与urldecode
当url地址含有中文，或者参数有中文的时候，这个算是很正常了，但是把这样的url作为参数传递的时候（最常见的callback），需要把一些中文甚至/做一下编码转换。 所以对于一些中文或者字符，url不识别的，则需要进行转换，转换结果如下： 一、urlencode urllib库里面有个u…
2022/7/29 1:22:57 人评论 次浏览 -
Sublime text 3 安装教程
Sublime text 3 安装教程 Sublime Text 3是一款流行的代码编辑器软件，也是HTML和散文先进的文本编辑器，可运行在Linux，Windows和Mac OS X。也是许多程序员喜欢使用的一款文本编辑器软件。一、下载官网下载地址：https://www.sublimetext.com/3根据自己的操作系统选择下…
2022/7/8 23:20:30 人评论 次浏览 -
python 标准库
hashlib，urllib 输出结果： time，datetime 输出结果 os 输出结果：
2022/6/22 1:19:48 人评论 次浏览 -
re05_urllib_get请求的quote()方法
1 import urllib.request2 import urllib.parse3 4 url = https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=5 6 # 请求对象的定制为了解决反爬的第一种手段7 headers = {8 User-Agent: Mozilla/5.0 (Windows NT 6.1; Win6…
2022/6/16 23:20:10 人评论 次浏览 -
用urllib.quote()或urllib.parse.quote()转义密码中的特殊字符
使用来转义密码urllib.quote()。虽然您只应引用/转义密码，但不包括username:; 否则:遗嘱也将被逃脱%3A。 例如：import pymongo import urllib mongo_uri = "mongodb://username:" + urllib.quote("p@ssword") + "@127.0.0.1:27001/" cli…
2022/6/10 23:22:40 人评论 次浏览 -
转：python之urllib.request.urlopen(url)报错urllib.error.HTTPError: HTTP Error 403: Forbidden处理
原网页地址：https://blog.csdn.net/mid_Faker/article/details/107390452使用urllib.request.urlopen(url)请求服务器报错：原因为： 只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统, 硬件平台等信息,而缺失这些信息的请求…
2022/6/8 1:20:16 人评论 次浏览 -
python使用爬虫技术抓取网页中的title标签
使用爬虫技术抓取网页中的title标签 import urllib.request import re page = urllib.request.urlopen(https://www.cnblogs.com) html = page.read().decode(utf-8) title=re.findall(<title>(.+)</title>,html) print (title)
2022/5/3 12:12:44 人评论 次浏览 -
Python3通过cookie登录
import json,urllib.request,urllib.parse,http.cookiejarurl_base = https://spam.forti.com/api/v1 url_admin = AdminLogin data = {name : admin,password : password} headers = {Content-Type:application/json,User-Agent:Mozilla/5.0 (X11; Fedora; Linux x86_64)…
2022/3/9 20:15:40 人评论 次浏览 -
python爬虫学习7
python爬虫学习7目录 python爬虫学习7openeropener的构造 使用Cookie获取网站Cookie保存cookie到磁盘opener opener位于urlopen中，有时我们不使用urlopen（）方法，而是直接构造opener。 opener的构造 import urllib.requesturl = https://www.baidu.com headers = {use…
2022/3/2 20:17:49 人评论 次浏览 -
【Python/Json】从Java SpringBoot程序提供的Rest服务里获取Json串并解读
关于如何用SpringBoot程序提供Json串请参考：https://www.cnblogs.com/heyang78/p/15894885.html 【获取部分】 使用以下三行程序就能访问到Rest服务：request=urllib.request.Request(http://localhost:8080/fetchJson)with urllib.request.urlopen(request) as response…
2022/2/15 9:11:41 人评论 次浏览 -
Day535.爬虫解析 -python
解析 一、xpath安装lxml库 pip install lxml ‐i https://pypi.douban.com/simple 导入lxml.etree from lxml import etree etree.parse() 解析本地文件 html_tree = etree.parse(XX.html)etree.HTML() 服务器响应文件 html_tree = etree.HTML(response.read().decode(utf…
2022/2/11 20:12:39 人评论 次浏览
