【Python爬虫】实践01 豆瓣电影

本文主要是介绍【Python爬虫】实践01 豆瓣电影，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1. 代码示例

# Author:VK-Link
# -*- codeing =utf-8 -*-
# @Time : 2020-5-31 下午 6:44
# @Author:
# @Site :
# @File : demo2.py
# @Software: PyCharm


# 变成新的颜色 则有调用；没有则可以删除；
from bs4 import BeautifulSoup  # 网页分析，获取数据
import re  # 正则表达式，进行文字匹配
import urllib.request, urllib.error  # 制定URL，获取网页数据
import xlwt  # 进行excel操作
import sqlite3  # 进行SQLlite数据库操作；


# ==== 步骤  ====
# 1. 爬取网页
# 2. 解析数据
# 3. 保存数据；

def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1. 爬取网页
    datalist = getData(baseurl)
    savepath = "豆瓣电影Top250.xls"

    # 3. 保存数据；
    saveData(datalist, savepath)

    # askURL("https://movie.douban.com/top250?satrt=0")      # 仅调用一次


# ==== 获取影片信息 ====
# 影片详情链接      ## 正则表达式 相关；
findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象，标识规则（字符串模式）；
# 影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S 让换行符包含其中；
# 影片片面
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudgeNum = re.compile(r'<span>(\d*)人评价</span>')
# 影片概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)


# ====爬取网页====
def getData(baseurl):
    datalist = []
    for i in range(0, 10):  # 调用获取页面信息的函数， 10次
        url = baseurl + str(i * 25)
        html = askURL(url)  # 保存获取到的网页源码；

        # 2. 逐一解析数据               # P23 正则提取；
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="item"):
            # print(item)         # 测试，查看电影item信息；
            data = []  # 保存一部电影的所有信息；
            item = str(item)

            # 获取一个item
            # print(item)
            # break

            # 影片详情的链接--link
            link = re.findall(findLink, item)[0]  # re库来通过正则表达式查找指定的字符串；
            # print(link)          # 打印获取的链接link  --获取影片详情的链接；
            data.append(link)
            imgSrc = re.findall(findImgSrc, item)[0]
            data.append(imgSrc)
            titles = re.findall(findTitle, item)  # 片名可能只有一个中文名，没有外国名；
            if (len(titles) == 2):
                ctitle = titles[0]  # 添加中文名；
                data.append(ctitle)
                otitle = titles[1].replace("/", "")  # 去掉无关的符号；
                data.append(otitle)  # 添加英文名；
            else:
                data.append(titles[0])
                data.append(' ')  # 外国名字留空；

            rating = re.findall(findRating, item)[0]
            data.append(rating)  # 添加评分；

            judgeNum = re.findall(findJudgeNum, item)[0]
            data.append(judgeNum)  # 添加评价人数；

            inq = re.findall(findInq, item)
            if len(inq) != 0:
                inq = inq[0].replace("。", "")  # 去掉句号
                data.append(inq)  # 添加概述
            else:
                data.append(" ")  # 留空

            bd = re.findall(findBd, item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  # 去掉<br/>
            bd = re.sub('/', " ", bd)  # 替换/
            data.append(bd.strip())  # 去掉前后的空格

            # print(data)
            datalist.append(data)  # 把处理好的电影信息放入打他list；
    return datalist


# ==== 得到指定的URL的网页内容 =====
def askURL(url):
    head = {  # 模拟浏览器头部信息；向豆瓣服务器发送消息；
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64;x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 83.0.4103.106 Safari / 537.36"
    }
    # 用户代理：表示告诉豆瓣服务器，我们是什么类型的服务器；
    # 本质上：告诉浏览器，我们可以接受什么水平的文件内容；
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)

    return html


# ====保存数据====
def saveData(datalist, savepath):
    print("save begin...")

    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象；
    sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)  # 创建工作表
    col = ("电影详情链接", "图片链接", "影片中文名", "影片英文名", "评分", "评价数", "概况", "相关内容")
    for i in range(0, 8):
        sheet.write(0, i, col[i])  # 列名
    for i in range(0, 250):
        print("第%d条" % (i + 1))
        data = datalist[i]
        for j in range(0, 8):
            sheet.write(i + 1, j, data[j])

    book.save(savepath)


## ===================================================
if __name__ == '__main__':  # 当程序执行时
    # 调用函数
    main()
    print('爬取完毕！......')

这篇关于【Python爬虫】实践01 豆瓣电影的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！