|
您的位置:首页>>创业指南>>网站策划与推广
在你的主页中为Web Robot设计路标 或者产生一个空的 "/robots.txt" 文件。 服务器的部分内容允许所有的robot访问 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ 拒绝某一个专门的robot: User-agent: BadBot Disallow: / 只允许某一个robot光顾: User-agent: WebCrawler Disallow: User-agent: * Disallow: / 最后我们给出 http://www.w3.org/站点上的robots.txt: # For use by search.w3.org User-agent: W3Crobot/1 Disallow: User-agent: * Disallow: /Member/ # This is restricted to W3C Members only Disallow: /member/ # This is restricted to W3C Members only Disallow: /team/ # This is restricted to W3C Team only Disallow: /TandS/Member # This is restricted to W3C Members only Disallow: /TandS/Team # This is restricted to W3C Team only Disallow: /Project Disallow: /Systems Disallow: /Web Disallow: /Team 使用Robots META tag方式 Robots META tag 允许HTML网页作者指出某一页是否可以被索引,或是否可以用来查找更多的链接文件。目前只有部分robot实施了这一功能。 Robots META tag的格式为: 下一页>>
分页:[1] [2] [3] [4] 刘 建 新
|