各大搜索引擎的蜘蛛名称列表1

  Q：各大搜索引擎的蜘蛛名称列表
  A：本文记录了全世界比较出名的Robots.txt 列表需要设置的搜索蜘蛛。如何设置那个目录不想被搜索引擎收录的可参照下去设置。

    当然也必须从Robots.txt 去设置
    下列为比较出名的搜索引擎蜘蛛名称：
    Google的蜘蛛： Googlebot
    百度的蜘蛛：baiduspider
    Yahoo的蜘蛛：Yahoo Slurp
    MSN的蜘蛛：Ms

页码：[1] [2] [3] [4] [5] [6] 第1页、共6页

设为首页 | 加入收藏 | 广告服务 | 友情链接 | 版权申明