关进404页面robots禁止蜘蛛爬取的问题?

发布者:云商网络 来源:http://www.baisoubao.cn/ 发布时间:2012-8-29 19:49:11 浏览量:

因为**近蜘蛛爬取我的站很奇怪,在 /uploads/allimg/爬取总是一堆404.html

如:/ uploads/ allimg/ 120818/ 404.html

类似上面这种的,爬取很多,我的404也做过了,但是这个目录下就是不转到我设置好的404页面

然后我考虑想把 /uploads/allimg/禁止蜘蛛爬取,请问对整站会有什么影响吗?网站程序是DEDE

打酱油的求你别来了,总是回答一句莫名其妙的这是什么,乱七八糟的,让人很烦
答:
这个目录是用来存放图片的么?如果是的话就屏蔽了吧,考虑一下这个目录下面的东西给你带来了实际流量没有,如果没有就屏蔽了吧。
1本身你的这个目录下面很多页面不存在对吧。

或者是你该目录下面存在很多名称为404页面的正常页面。

如果该类型文件很多不要记着屏蔽。如果该页面是无关紧要页面。可以屏蔽掉。
 

(转载请注明转自:http://www.baisoubao.cn 衡水网站建设 谢谢!)
上一篇:seo关键词价格评估,seo价格查询,seo关键词价格如何定价,关键词优化如何定价及定价方式
下一篇:robots.txt文件用法举例