搜索引擎蜘蛛(搜索机器人)是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。

 

搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

 

各大搜索引擎蜘蛛名称：

 

百度：BaiduSpider

 

谷歌：Googlebot

 

搜狗：Sogouspider

  

360搜索：360Spider

 

有道：YodaoBot

 

必应：msnbot

 

Msn:msnbot

 

以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。