小健博客网络技术综合大全

robots.txt 允许所有搜索蜘蛛和拦截所有搜索蜘蛛的写法！

1. robots.txt 允许所有搜索蜘蛛

User-agent: *
Allow: /

2. robots.txt 拦截所有搜索蜘蛛

User-Agent: *
Disallow: /

原创文章如转载，请注明：转载自小健博客 [ http://www.xiaojian.org/ ]
本文链接地址：http://www.xiaojian.org/html/230.html

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。