放假去哪里好玩?用python帮你分析
2021/12/13 17:17:09
本文主要是介绍放假去哪里好玩?用python帮你分析,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
是不是每次快到放假,纠结去哪里玩?
- 哪里风景好?
- 哪里好玩?
- 哪里人不多?
- 哪里不坑人?
今天就教你用代码来分析,制作一个旅游攻略
一、首先
我们今天要用到的工具
[开发环境]:
- 版 本: python 3.8
- 编辑器:pycharm 2021.2
没有或者不会安装可以看这个教程:python和pycharm安装教程←点击左边蓝色文字就可以跳转了!
[第三方库]:
- requests
- parsel
不会安装,直接打开你的cmd输入 pip install+模块名,就可以了
二、案例思路分析:
1.明确今天的目的, 我们需要什么数据
(出发日期 天数 人均费用 人物 玩法 地点 浏览量…)获取这些数据用来进行最后的数据分析,看全国景区数据
2.分析网页 确定我们的数据来源
本次获取的网站是一个静态网站
三、代码实现步骤:
- 向目标网站发送网络请求
https://travel.qunar.com/travelbook/list.htm?order=hot_heat
- 获取数据 网页源代码
- 筛选我们需要的数据 所有的详情页链接
- 向 每一个详情页 链接发送网络请求
- 获取数据 网页源代码
- 提取数据
出发日期 天数 人均费用 人物 玩法 地点 浏览量… - 保存数据
- 多页爬取
- 做一个可视化分析 旅游景点推荐
四、获取数据
import random import time import requests # 发送网络请求 import parsel # 筛选数据模块 import csv # 保存数据 csv_qne = open('去哪儿.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.writer(csv_qne) csv_writer.writerow(['地点', '短评', '出发时间', '天数','人均费用','人物','玩法','浏览量','详情页']) for page in range(1, 201): # 1. 向目标网站发送网络请求 url = f'https://travel.qunar.com/travelbook/list.htm?page={page}&order=hot_heat' # 写爬虫 没有太大区别 # post里面需要加一些请求参数 # 在网站开发当中 get请求不是很安全的请求 有长度限制的 # post 更加安全 提交表单数据内容 没有长度限制的 response = requests.get(url) # <Response [200]>: 访问成功了, 接下来我们就只需要拿数据就行了 # 2. 获取数据 网页源代码 html_data = response.text # 3. 筛选我们需要的数据 所有的详情页链接 selector = parsel.Selector(html_data) # css选择器提取网页内容 # 需要有网页开发基础 url_list = selector.css('body > div.qn_mainbox > div > div.left_bar > ul > li > h2 > a::attr(href)').getall() for detail_url in url_list: detail_id = detail_url.replace('/youji/', '') detail_url = 'https://travel.qunar.com/note/' + detail_id # 4. 向 每一个详情页 链接发送网络请求 response_1 = requests.get(detail_url) # 5. 获取数据 网页源代码 data_html_1 = response_1.text # 6. 提取数据 # 出发日期 天数 人均费用 人物 玩法 地点 浏览量... selector_1 = parsel.Selector(data_html_1) # ::text 提取标签里面文本内容 *所有 # 标题 title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get() # 短评 comment = selector_1.css('.title.white::text').get() # 浏览量 count = selector_1.css('.view_count::text').get() # 出发日期 date = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get() # 天数 days = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get() # 人均费用 money = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get() # 人物 character = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get() # 玩法 play_list = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data span::text').getall() play = ' '.join(play_list) print(title, comment, date, days, money, character, play, count, detail_url) csv_writer.writerow([title, comment, date, days, money, character, play, count, detail_url]) time.sleep(random.randint(3, 5)) csv_qne.close()
获取的数据如下:
五、最后,用数据进行数据分析
2021年的旅游时间曲线大约在五月一号起伏最大,原因肯定是因为假期调休延长至4天,为了调整自己生活及工作的状态,很多人利用这个假期去旅行放松自己。
最后分析出的结论:
-
个人认为性价比较高的旅游城市:三亚、成都。
-
旅游天数大多控制在2-5天内,不宜过多。
-
三五好友一起旅游是最令人们喜欢的出游方式。
-
“摄影”与“美食”已成为旅游的代名词。
-
避开旅游高峰期,三月和六月的周末短途旅行也是不错的选择。
大家知道去哪里了嘛?
喜欢记得点赞收藏哦!
结尾给大家推荐一个非常好的学习教程,希望对你学习Python有帮助!
Python基础入门教程推荐:←点击左边蓝色文字就可以跳转观看了
Python爬虫案例教程推荐:←点击左边蓝色文字就可以跳转观看了
这篇关于放假去哪里好玩?用python帮你分析的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08有遇到过吗?同样的规则 Excel 中 比Python 结果大
- 2024-03-30开始python成长之路
- 2024-03-29python optparse
- 2024-03-29python map 函数
- 2024-03-20invalid format specifier python
- 2024-03-18pool.map python
- 2024-03-18threads in python
- 2024-03-14python Ai 应用开发基础训练,字符串,字典,文件
- 2024-03-13id3 algorithm python
- 2024-03-13sum array elements python