温故知新，.Net Core利用UserAgent+rDNS双解析方案，正确识别并反爬虫

本文主要是介绍温故知新，.Net Core利用UserAgent+rDNS双解析方案，正确识别并反爬虫，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

背景

一般有价值的并保有数据的网站或接口很容易被爬虫，爬虫会占用大量的流量资源，接下来我们参考历史经验，探索如何在.Net Core中利用UserAgent+rDNS双解析方案来正确识别并且反爬虫。

新建网盘爬虫识别项目

在终端命令行中，基于DotNet-Cli的new命令新建名为WebBotRecognition的webapi项目，并且不需要https，它将自动创建一个net5.0的网络接口项目。

dotnet new webapi -o WebBotRecognition --no-https

cd WebBotRecognition

切换到项目目录

code .

用Visual Studio Code来打开当前目录。

于是，我们便完成一个演示项目创建。

执行命令，先运行起来。

dotnet watch run

基于DotNet-Cli的run命令把项目中的模板示例先运行起来，确保一切正常，这里携带watch参数来确保后面热更新。

好了，接下来，我们删掉自带的Controller那些东西。

这篇关于温故知新，.Net Core利用UserAgent+rDNS双解析方案，正确识别并反爬虫的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！