python爬虫

本文主要是介绍python爬虫，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

三种解析方式：

1.正则表达式 re

格式：

obj = re.compile(r'<h\d><a href="/(?P<pname>.*?)/">(?P<cname>.*?)</a></h\d>', re.S)

result = obj.finditer(str(div_page))

for i in result:

    if i.group("pname")[0:9] != "province/":
        print(i.group("cname"))
        print(i.group("pname"))

2.靓汤 BeautifulSoup bs4

格式：

main_page = BeautifulSoup(resp.text, "html.parser")

div_page = main_page.find("div", class_="wrapbox")

div.page 返回的是"div", class_="wrapbox"里面的html内容

div.page.text 返回的是标签里面的内容

3.xpath lxml

这篇关于python爬虫的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！