爬虫绕过cloudflare验证

2021/9/10 6:04:02

本文主要是介绍爬虫绕过cloudflare验证,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

换另外一个python库:cloudflare-scrape

  • pip install cfscrape
import cfscrape

scraper = cfscrape.create_scraper()  # returns a CloudflareScraper instance
# Or: scraper = cfscrape.CloudflareScraper()  # CloudflareScraper inherits from requests.Session
print(scraper.get("http://...",headers={'user-agent':'...'}).text)  # => "<!DOCTYPE html><html><head>..."

tip:

  • 支持的Python版本:2.6 - 3.7
  • 需要nodejs环境
    • 安装nodejs:https://www.cnblogs.com/jiyu-hlzy/p/12209337.html






这篇关于爬虫绕过cloudflare验证的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程