Python爬虫
2022/3/21 22:27:35
本文主要是介绍Python爬虫,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
import re from urllib import request # 定义url page=50 url='http://club.sanguosha.com/thread-1111069-1-1.html' try: # 定义请求头 headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39'} # 定义请求,传入请求头 req=request.Request(url,headers=headers) # 打开网页 resp=request.urlopen(req); # 打印响应,解码 #print(resp.read().decode('utf-8')) content=resp.read().decode('utf-8') # 正则表达式获取需要的网页信息 # pattern=re.compile(r'<a.*>title=(.*?)\s{1}.?>(.*?)</a>') pattern=re.compile(r'<font size=(.*?)>(.*?)</font>') # 匹配html items=re.findall(pattern,content) # 打印解析内容 for i in items: # print('标题:'+i[0]+" "+'内容'+i[1]) print(i[1]) except request.URLError as e: # 打印响应码 if hasattr(e,'code'): print(e.code) # 打印异常 if hasattr(e,'reason'): print(e.reason)
这篇关于Python爬虫的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08有遇到过吗?同样的规则 Excel 中 比Python 结果大
- 2024-03-30开始python成长之路
- 2024-03-29python optparse
- 2024-03-29python map 函数
- 2024-03-20invalid format specifier python
- 2024-03-18pool.map python
- 2024-03-18threads in python
- 2024-03-14python Ai 应用开发基础训练,字符串,字典,文件
- 2024-03-13id3 algorithm python
- 2024-03-13sum array elements python