各大搜索引擎蜘蛛名称代码

  • A+
所属分类基础知识
搜索引擎蜘蛛(搜索机器人)是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。
 
搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
 
各大搜索引擎蜘蛛名称:
 
百度:BaiduSpider
 
谷歌:Googlebot
 
搜狗:Sogouspider
  
360搜索:360Spider
 
有道:YodaoBot
 
必应:msnbot
 
Msn:msnbot
 
以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。
来源:,欢迎分享本文。

发表评论

看不清?点击更换

欢迎大家盖楼评论,头像就看运气啦....