p; 允许搜索漫游器 (search bots) 收录您的网站，同时不采用 Session ID 或其它参数来追踪它的浏览路径。这些跟踪技术对了解个别用户的行为很有用，但由于漫游器的访问模式完全不同，采用这些技术则可能会导致对网站的检索不完整，因为漫游器可能无法排除那些看上去不同但实际却指向同一个网页的网址。
确保您的网络服务器支持 If-Modified-Since HTTP 标题。通过该功能 Google 可以知道自上次收录以来您的网站内容是否有变化，这样可以节省您的带宽和开销。
使用网络服务器上的 robots.txt 文件。该文件会告诉 Crawler 可以收取哪些目录。请确保该文件内容的更新，以免 Googlebot Crawler 的收录意外中断。有关来访漫游器和如何控制它页码：[1] [2] [3] [4] [5] [6] 第4页、共6页 |
