robots.txt的的作用是告诉搜素允许或者不允许收录网站的哪些页面,默认是允许收录。robot单词本身是机器人的意思。 详解介绍请查看robots.txt的功能和写法详解.
现在我需要的是确定哪些页面是不需要被抓取的。下面是一个正在使用的robots.文件,你可以参考自己的网站修改使用。:-)
1User-agent: * Disallow: /cache/ Disallow: /contrib/ Disallow: /stats/ Disallow: /graphics/ Disallow: /login.html Disallow: /unsubscribe.html Disallow: /shopping_cart.html Disallow: /popup_image_additional.html Disal...
阅读全文
最新评论
站长是有心人,在用心做内容,
管理员,您好 贵站“wor
不错!!冒个泡泡吧!!嘿嘿!
最可怕的问题就是gg抓取的是
搞定了,在functions
经过对本方法的测试,在wp3
不切换也会自动插入的。。
学习了,谢谢 :mrgree
这个情况我已经半年多了,感觉
我的网站现在也是这种情况,个
你好,我在使用ZENT CA