群聊斗神 - Python爬取斗图表情包 - 斗图之神的战斗神

2021/9/9 14:04:13

本文主要是介绍群聊斗神 - Python爬取斗图表情包 - 斗图之神的战斗神,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

作为一个斗图狂魔,怎么能在群聊的时候认怂。不服就干,今天来爬一堆表情包,用于群聊的时候斗图使用。斗疯一个算一个,尽显群聊斗神本色。源码开始:

"""
    用Python爬取斗图表情包
    目标网址:https://www.xxx.com/的斗图表情包
"""

import requests
from bs4 import BeautifulSoup #解析网页用的
import os #用以存储文件的时候用的
import random

#首先获取网页内容
def get_html_content(url):
    #定义一堆User-Agent(正常的)
    simpleUA = [
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14'
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 OPR/76.0.4017.94 (Edition utorrent)'
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 Edg/90.0.818.46'
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.0.0 Safari/537.36'
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
    ]
    myUserAgent = random.choice(simpleUA) #随机选择就好
    headers = {
        'User-Agent': myUserAgent,
    }

    #开始请求网页
    r = requests.get(url, headers=headers)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    r.encoding = 'utf-8' #处理编码的
    content = r.text #返回的内容

    return content

def parse_page(htmlContent):
    """
    解析网页内容
    :param htmlContent:
    :return:
    """
    web_content = BeautifulSoup(htmlContent, 'lxml')
    image_lists = web_content.findAll('img') #找到网页中所有的img标签
    #将image_lists强制转换为列表类型,要不然它是bs4啥的啥的
    image_lists = list(image_lists) #获取网页中所有的图片,当然也包括网站的logo,这个logo不是我们想要的

    return image_lists

def get_image_names(image_lists):
    image_names = [] #空列表以存储解析出来的图片名称
    #我们这里的image_lists是包含logo的,所以我们要切片把它剔除
    for i in image_lists[1:-1]: #遍历列表的第二项到最后一项
        #其中这个i是bs4啥的,我们要强制转换成str类型方便操作
        # print(i) #<img alt="问候沙雕网友是否吃饭_表情包图片" data-v-39bd7a82=""
        afind = str(i).find('"') #找到字符串中的第一个双引号
        bfind = str(i).find('_') #找到字符串中的第一个下划线
        image_name = str(i)[afind+1:bfind] #中间的部分就是我们要的图片名称
        image_names.append(image_name)
    print(image_names) #用于查看和new_image_lists的前后区别
    #这里还会存在一个问题就是,windows的标题名称是支持?中文的,但是不支持西文的,所以还得处理下标题里出现的西文符号
    new_image_lists = [str(image_name).replace('?','?').replace('/', '反斜杠在此') for image_name in image_names]

    return new_image_lists

def get_image_urls(image_lists):
    image_urls = [] #这里提取url只是方便下载图片
    for i in image_lists[1:-1]: #处理方法跟取回文件名称一样
        # print(i)
        # 查找字符串中的https之前的项目
        afind = str(i).find('"h')
        # 再查找字符串的末尾url之前的"/
        bfind = str(i).find('"/')
        # afind和bfind之间的就是我们需要的url
        image_url = str(i)[afind + 1:bfind]  # 切片是包前不包后
        # print(image_url) #打印看是否符合预期
        image_urls.append(image_url)  # 因为是逐项添加,所以不需要担心顺序的问题

    return image_urls

#如果怕出错,可以先操作一页
if __name__ == '__main__':
    url = 'https://www.xxx.com/img_lists/new/1'
    content = get_html_content(url) #解析网页
    image_lists = parse_page(content) #解析网页后得到的图片信息列表
    image_names = get_image_names(image_lists) #图片名列表
    image_urls = get_image_urls(image_lists) #图片url列表
    # print(get_image_names(image_lists)) 打印一下,对比一下image_names和new_image_names
    all_data = zip(image_names, image_urls)
    filePath = 'images' #当前文件文件夹下的images目录,我们要存储图片的目录
    for image_name, image_url in all_data:
        if os.path.exists(filePath):
            #开始请求图片地址
            rimg = requests.get(image_url) #这里就不用headers了,有些网站需要用的,不然请求不到信息
            rimg.raise_for_status()
            # houzhui = image_url.split('.')[1]
            # print(houzhui)
            #开始以我们获取的文件名和处理的文件后缀进行图片存储
            with open(os.path.join(filePath, image_name + '.' + image_url.split('.')[-1]), 'wb') as f:
                #这里我们是直接写入文件夹,所以要用到os.path.join,image_name就是文件名,.就是图片格式的.,image_url.split就是以.拆分并取最后一部分.
                f.write(rimg.content) #写入文件
                f.close() #关闭文件

#我们这里只扫一页,如果要全部扫下来,就在url前面加个for循环。
# for page in range(1, 34):
#     url = f'https://www.xxx.com/img_lists/new/{page}'z最终

最终效果,爬了几千:

 

从此再也不怕群聊斗图了,放马过来。。

 

代码有几点说明下,以供斗神复习:

      1,关于windows能存储文件格式名的问题,它不能包含特殊字符(也就是有些字符,比如说西文?,注意是西文的,不是中文的),所以在处理文件名的时候,要将这个处理掉。上面代码个人总结了三种方法处理。

      • 第一种是,直接从get_image_name函数里直接处理,用表达式处理;
      • 第二种是,在提取到了文件后开始写入之前,也就是在for image_name, image_url in all_data:做一段代码如if,re.sub()来处理;
      • 第三种类似第二种,就是提取提取出来了文件名后,写一个函数专门处理,然后函数再返回给代码就行了。可以说是工厂模式么?

      2,一般with open都是打开文件,而不是文件夹,所以这里用了os.path
      3,就是字符串的切片了,无所不能,哈哈
      4,要找下BeautifulSoup的资料。



这篇关于群聊斗神 - Python爬取斗图表情包 - 斗图之神的战斗神的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程