Python抓取海量面经,直面秋招

2021/7/2 17:23:27

本文主要是介绍Python抓取海量面经,直面秋招,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!


又到了金九时分,要收获一个满意的offer,免不了花心思好好准备。而参考别人的面经,可以让我们在备战秋招时提供不小的帮助。所谓知己知彼,百战不殆,知晓面试流程使得在面试时更有信心应对面试官,了解目标公司的题型来做相应的训练,能够有效地拔高自己的“瞬时技术水平”。

 

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

 

牛客网-互联网求职神器自然就成为了我们的目标,里面有各大公司的面经,一共收录了670家公司。中国科技企业巨头阿里、华为、腾讯、字节跳动等都有大量的面经。

 

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

 

今天我们就来抓取一下这些公司的面经。在上图的页面中我们可以获取每个公司对应的href链接。利用简单的XPath即可得到各个企业的链接,企业的名字以及该企业的面经数量。

 

我们先进入阿里巴巴的面经页面,并进行翻页观察url链接变化。

https://www.nowcoder.com/discuss/tag/134?type=2&order=0&pageSize=30&expTag=0&query=&page=2

 

发现截至type=2便是之前获得的href链接。而后面的链接参数可以根据其英文来理解。显然,控制翻页的参数应该是page,其他参数应该不是必要的。正所谓实践是检验真理的唯一标准,我们使用获取的href链接只加上page参数尝试一下,果真如此。

 

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

 

企业的面经数量可以作为page值的一个参考,因为每30条面经会翻页,page增加1。

  •  
    def get_enterprise(self):                r=requests.get(self.origin_url,headers=self.headers)        tree=etree.HTML(r.text)        enterprise=tree.xpath('//div[@data-nav="企业"]/ul[@class="discuss-tags-mod"]/li/a/@data-href')        enterprise_name=tree.xpath('//div[@data-nav="企业"]/ul[@class="discuss-tags-mod"]/li/a/span[@class="discuss-tag-item"]/text()')        num=tree.xpath('//div[@data-nav="企业"]/ul[@class="discuss-tags-mod"]/li/span[@class="discuss-tag-num"]/text()')        enterprise=[i[13:-7] for i in enterprise]        num=[int(i[:-1]) for i in num]                return enterprise,enterprise_name,num

 

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

 

接下来要做的事便是获取每一份面经的内容,并保存在本地。根据当前网页的源代码,我们还是利用简洁高效的XPath便可以得到面经的标题和其链接。

 

这里我想使用面经标题作为文件名,由于文件名的符号要求,我们需要将原有标题中的 图片魔术

花式照片墙

 



这篇关于Python抓取海量面经,直面秋招的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程