• 欢迎访问奇跡の海网站,本站不上传任何资源,所有资源均来自于网络,欢迎加入奇跡の海~!奇跡の海-WordPress QQ群
  • 本站下载资源为网络上收集整理而来,并且以计算机技术研究交流为目的,版权归原作者所有,仅供大家参考,学习,不存在任何商业目的与商业用途.
  • 本站系统镜像均来自于官方原版,ed2k可视为P2P下载链接。所有操作系统默认均为试用版,如有正版密钥可以有效激活,本站不提供任何激活和相关服务。

禁止一些无用的蜘蛛如MJ12bot等抓取网站信息

WEB服务 奇跡の海 2年前 (2017-08-26) 707次浏览 已收录 0个评论 扫描二维码

说明简介

禁止一些无用的蜘蛛如MJ12bot等抓取网站信息
robots.txt文件禁止方法简介,蜘蛛抓取是好事,但是一些无用的蜘蛛如MJ12bot等天天来“扫”你的网站、甚至是一些根本不存在的网页或者目录、文件,平白给网站增加负担、带来安全隐患,所以干脆写个免扰“通知”,告诉它们是不受欢迎的访客,不欢迎访问。

代码如下

User-agent: Abonti
Disallow: /

User-agent: ADmantX
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: BacklinkCrawler
Disallow: /

User-agent: BPImageWalker
Disallow: /

User-agent: check_http
Disallow: /

User-agent: checks.panopta.com
Disallow: /

User-agent: curl
Disallow: /

User-agent: DLE_Spider.exe
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: EMail Exractor
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: Ezooms
Disallow: /

User-agent: GbPlugin
Disallow: /

User-agent: gooblog
Disallow: /

User-agent: gsa-crawler
Disallow: /

User-agent: HolmesBot
Disallow: /

User-agent: ichiro
Disallow: /

User-agent: Infoseek SideWinder
Disallow: /

User-agent: Infoseek SideWinder/2.0B (Linux 2.4 i686)
Disallow: /

User-agent: ip-web-crawler.com
Disallow: /

User-agent: Jakarta Commons-HttpClient
Disallow: /

User-agent: Java
Disallow: /

User-agent: JikeSpider
Disallow: /

User-agent: libwww-perl
Disallow: /

User-agent: linkdex.com
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: MLBot
Disallow: /

User-agent: moget
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: PEAR HTTP_Request class
Disallow: /

User-agent: PHP
Disallow: /

User-agent: Pixray-Seeker
Disallow: /

User-agent: PycURL
Disallow: /

User-agent: python-requests
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: rmnbot
Disallow: /

User-agent: Ruby
Disallow: /

User-agent: Screaming Frog SEO Spider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SEOENGWorldBot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: sitebot
Disallow: /

User-agent: Squider
Disallow: /

User-agent: ssearch_bot
Disallow: /

User-agent: suchmaschinenoptimierung.de
Disallow: /

User-agent: Synapse
Disallow: /

User-agent: Wget
Disallow: /

User-agent: woopingbot
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: Xenu Link Sleuth
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: Yeti
Disallow: /

User-agent: seoprofiler
Disallow: /

User-agent: *
Crawl-delay: 15

转自:时光在路上


版权声明:本站所有文章和资源使用CC BY-NC-SA 4.0协议授权发布 , 转载应当以相同方式注明文章来自“SeaOMC.COM->禁止一些无用的蜘蛛如MJ12bot等抓取网站信息!在下边可以分享本文哦!
喜欢 (0)
[]
分享 (0)
奇跡の海
关于作者:
一个WordPress菜鸟!
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址