在你的主页中为Web Robot设计路标

　　或者产生一个空的 "/robots.txt" 文件。 
　　服务器的部分内容允许所有的robot访问 
　　User-agent: * 
　　Disallow: /cgi-bin/ 
　　Disallow: /tmp/ 
　　Disallow: /private/ 
　　拒绝某一个专门的robot： 
　　User-agent: BadBot 
　　Disallow: /
　　只允许某一个robot光顾： 
　　User-agent: WebCrawler 
　　Disallow: 
　　User-agent: * 
　　Disallow: / 
　　 
　　最后我们给出 http://www.w3.org/站点上的robots.txt： 
　　# For use by search.w3.org 
　　User-agent: W3Crobot/1 
　　Disallow: 
　　User-agent: * 
　　Disallow: /Member/ # This is restricted to W3C Members only 
　　Disallow: /member/ # This is restricted to W3C Members only 
　　Disallow: /team/ # This is restricted to W3C Team only 
　　Disallow: /TandS/Member # This is restricted to W3C Members only 
　　Disallow: /TandS/Team # This is restricted to W3C Team only 
　　Disallow: /Project 
　　Disallow: /Systems 
　　Disallow: /Web 
　　Disallow: /Team 
　　 
　　使用Robots META tag方式 
　　Robots META tag 允许HTML网页作者指出某一页是否可以被索引，或是否可以用来查找更多的链接文件。目前只有部分robot实施了这一功能。 
　　Robots META tag的格式为： 
　　下一页>>

分页：[1]  [2]  [3]  [4]  

刘 建 新