Python爬虫入门教程:爬取boss直聘招聘数据并做可视化展示
2021/10/20 17:12:41
本文主要是介绍Python爬虫入门教程:爬取boss直聘招聘数据并做可视化展示,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 基本开发环境Python 3.8 Pycharm
相关模块的使用
from selenium import webdriver import csv
安装Python并添加到环境变量,pip安装需要的相关模块即可。
![](/upload/202110/20/202110201712410671.png)
![](/upload/202110/20/202110201712411941.png)
from selenium import webdriver import csv f = open('data.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '标题', '地区', '薪资', '经验', '公司名', '公司领域', '福利', '详情页', ]) csv_writer.writeheader() driver = webdriver.Chrome() driver.get('https://www.zhipin.com/job_detail/?query=python&city=100010000&industry=&position=') driver.implicitly_wait(10) def get_job_info(): lis = driver.find_elements_by_css_selector('.job-list li') for li in lis: # 标题 title = li.find_element_by_css_selector('.job-name a').get_attribute('title') # 地区 area = li.find_element_by_css_selector('.job-area').text # 薪资 money = li.find_element_by_css_selector('.job-limit .red').text # 经验 limit = li.find_element_by_css_selector('.job-limit p').text # exp = limit[0].text company_name = li.find_element_by_css_selector('.company-text .name a').text company_type = li.find_element_by_css_selector('.company-text p a').text desc = li.find_element_by_css_selector('.info-append .info-desc').text href = 'https://www.zhipin.com/' + li.find_element_by_css_selector('.job-name a').get_attribute('href') print(title, area, money, limit, company_name, company_type, desc, sep='|') dit = { '标题': title, '地区': area, '薪资': money, '经验': limit, '公司名': company_name, '公司领域': company_type, '福利': desc, '详情页': href, } csv_writer.writerow(dit)
![](/upload/202110/20/202110201712413847.png)
![](/upload/202110/20/202110201712414628.png)
![](/upload/202110/20/202110201712414953.png)
![](/upload/202110/20/202110201712415585.png)
![](/upload/202110/20/202110201712415893.png)
这篇关于Python爬虫入门教程:爬取boss直聘招聘数据并做可视化展示的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08有遇到过吗?同样的规则 Excel 中 比Python 结果大
- 2024-03-30开始python成长之路
- 2024-03-29python optparse
- 2024-03-29python map 函数
- 2024-03-20invalid format specifier python
- 2024-03-18pool.map python
- 2024-03-18threads in python
- 2024-03-14python Ai 应用开发基础训练,字符串,字典,文件
- 2024-03-13id3 algorithm python
- 2024-03-13sum array elements python