Unknown robot是什么蜘蛛？怎么屏蔽垃圾蜘蛛爬蟲，屏蔽ip段？

Unknown robot (identified by 'spider')是什么蜘蛛？

一般的蜘蛛都會在后臺控制面板中顯示名字，例如baidu，google，yahoo，alexa等等，但是如果你用的虛擬主機是cpanel的控制面板，那么發現Unknown robot (identified by 'spider')這個蜘蛛消耗很大的網站流量，那么可以推測這個是百度蜘蛛，因為cpanel的控制面板默認是不識別百度蜘蛛的，所以就會顯示為Unknown robot (identified by 'spider')。而且通過robots.txt是無法禁止這個蜘蛛抓取網站內容的——這些垃圾爬蟲不可能老老實實遵守robots規則，君不見新浪和字節前段時間還因為robots.txt打了官司，大廠都如此，其他爬蟲更別指望。

寶塔屏蔽常見垃圾蜘蛛和掃描工具的兩種辦法：最近觀察網站后臺網站蜘蛛爬取狀況，除了我們常見的搜索引擎如百度、Google、Sogou、360等搜索引擎蜘蛛之外，還發現有很多垃圾的蜘蛛平繁的爬取本站，通常這些搜索引擎不僅不會帶來流量，因為大量的抓取請求，還會造成主機的CPU和帶寬資源浪費，屏蔽方法也很簡單，按照下面步驟操作即可，原理就是分析指定UA然后屏蔽。

下面給大家帶來兩種屏蔽垃圾蜘蛛的方法

方法一 通過網站Robots.txt來屏蔽

User-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /

JavaScript

把以上代碼復制到網站robots.txt里面

方法二、通過寶塔面板配置文件判斷來屏蔽垃圾蜘蛛和掃描工具

1.首先進入寶塔面板，文件管理進入/www/server/nginx/conf目錄，新建空白文件kill_bot.conf。然后將以下代碼保存到當前文件中。

#禁止垃圾搜索引擎蜘蛛抓取教程來自癡癡資源網 https://www.chichisvip.com/

if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") {
 return 403;
 break;
}
#禁止掃描工具客戶端
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy" ) {
 return 403;
 break;
}

2.保存后返回到寶塔 – 【網站】-【設置】點擊左側 【配置文件】選項卡，在 “#SSL-START SSL相關配置，請勿刪除或修改下一行帶注釋的404規則” 上方空白行插入紅色字體的代碼：“include kill_bot.conf; ” 保存后即可生效，這樣這些蜘蛛或工具掃描網站的時候就會提示403禁止訪問。

希望這個教程能幫助到大家，謝謝支持！

實測下面的屏蔽ip段，效果更好！