python超详细零基础 bs4解析之爬取唯美图片
2022/1/20 1:52:01
本文主要是介绍python超详细零基础 bs4解析之爬取唯美图片,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
文章目录
- 前言
前言
本篇文章主要介绍使用bs4解析来爬取某网站上的唯美高清大图,涉及到的零碎知识较多,详细易懂,适合新手小白爬虫入门。
思路如下:
①拿到主页面的源代码,然后提取到子页面的链接地址href;
②通过href进入子页面,从子页面源代码中找到图片的下载地址,img ->src;
③下载图片;
下面通过代码讲解具体做法:
import requests from bs4 import BeautifulSoup import time url="https://www.umei.cc/bizhitupian/weimeibizhi/" resp=requests.get(url) resp.encoding='utf-8' #处理中文乱码。这里的内容需要与源代码中charset的值保持一致。 #把源码交给bs解析 main_page=BeautifulSoup(resp.text,"html.parser") #指定html解析器 #使用find()在源代码中找到div,其属性为class且其属性值为TypeList的代码段,返回一个列表; #在这个列表中找所有的a标签 alist=main_page.find("div",class_="TypeList").find_all("a") #print(alist) #拿到定位到此区域下面的所有内容 for a in alist: href=a.get("href") #直接通过get就可以拿到属性的值 #print(href) #拿到每个子页面后面一截链接 child_href="https://www.umei.cc"+href #通过字符串拼接,得到子页面链接 print(child_href) #拿到子页面的源码 child_page_resp=requests.get(child_href) child_page_resp.encoding='utf-8' child_page_text=child_page_resp.text #从子页面中拿到图片的下载路径 child_page=BeautifulSoup(child_page_text,"html.parser") p=child_page.find("p",align="center") img=p.find("img") #下载图片 src=img.get("src") img_resp=requests.get(src) #img_resp.content #这里拿到的是字节 img_name=src.split("/")[-1] #拿到url中的最后一个/以后的内容 with open(img_name,"wb") as f: f.write(img_resp.content) #将图片内容写入文件 print("over!!",img_name) time.sleep(1) print("all over!!!")
官网首页
右键,拿到源页面代码,找到<div class="TypeList"的位置,下方即为我们要找的每个子页面的链接地址,这个地址即为a标签中href的值(后期需要拼接)
进入其中任意一个子页面,如姜子牙
相同方式打开此页面的源代码,可以利用选中的这部分文字定位图片的链接(举的栗子是姜子牙,其他同理)
注意:find()找到一个就返回,而findall()是找所有。
得到的列表利用循环对其中的每一个子部分进行相同的操作,然后输出。
得到的链接并不是子页面的链接地址,还需要进行字符串的拼接,拼接成真正的子页面的链接。
这篇关于python超详细零基础 bs4解析之爬取唯美图片的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-24Python编程基础详解
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器
- 2024-11-16四种数据科学Web界面框架快速对比:Rio、Reflex、Streamlit和Plotly Dash
- 2024-11-14获取参数学习:Python编程入门教程