用python写爬虫（基础）（2）----了解网页构造，才能知道我究竟需要什么数据

2022/1/6 17:14:44

编程Tag： 标签网页爬虫 python 豆瓣源代码我们 ----

本文主要是介绍用python写爬虫（基础）（2）----了解网页构造，才能知道我究竟需要什么数据，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

知道了用requests去请求网页，这是爬取的第一步，当然了既然能够请求成功，自然我们可以知道了要进入网页去抓我们想要的数据。

要知道我们是从网页源代码当中找寻数据，而并非像一般的复制粘贴一样从浏览器表面获得。网页的构成无非是HTML、CSS、JavaScript三种语言构成，HTML 负责为网页添加内容，CSS 负责美化网页，JavaScript 负责让网页动起来。当然我们爬虫不需要将三大语言全部弄会，只需要知道几个特殊的标识符即可，所以爬虫是一个全方位的领域。

这是豆瓣网站的部分源代码：


<!DOCTYPE html>
<html lang="zh-cmn-Hans" class="ua-mac ua-webkit book-new-nav">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>豆瓣图书 Top 250</title>
  </head>
  <body>
    <div class="global-nav-items">
      <a href="https://www.douban.com">豆瓣</a>
      <a href="https://book.douban.com">读书</a>
      <a href="https://movie.douban.com">电影</a>
      <a href="https://music.douban.com">音乐</a>
      <a href="https://www.douban.com/location">同城</a>
      <a href="https://www.douban.com/group">小组</a>
      <a href="https://read.douban.com">阅读</a>

    </div>
  </body>
</html>

可以看到很多夹在尖括号 <> 中间的字母，它们叫做标签。

一般来说标签都是成对出现的，所以标签又分为 开始标签（比如 <title>）和 结束标签（比如 </title>）。开始标签、结束标签加上标签中间的内容就构成了元素。


h1	一级标题	<h1>......</h1>
h2	二级标题	<h2>......</h2>
p	段落区域	<p>........</p>
a	超链接	<a href="www...">链接</a>
img	图片区域	<img str='...' />
div	定义文档的块区域	<div>.......</div>