衡水网站建设,衡水网络公司,衡水做网站,衡水网站制作,安平网站建设,安平网站优化,冀州网站建设,武强网站建设,衡水做网站的公司

我们是技术出身,不擅长花言巧语
我们只专心为客户提供实实在在、看得见的技术与服务!

seo学习

无限互联 无尽商机 成就你我 传递价值!

Unlimited Internet endless business opportunities to achieve your value to me!首页  »  新闻中心  »  seo学习

站长要善于利用robots.txt这个设置做SEO优化

来源:http://www.baisoubao.cn/  发布者:网站建设 发布时间:2011-12-25 11:05:29 浏览量:
关于robots的介绍,已经很清楚了,这里说说为什么对网站来说很重要。很多站长都没有在自己的网站根目录添加这个文件并设置它,它的标准格式你可以在搜索引擎搜索,也可以借助谷歌网站管理员工具去生成。
  用robots.txt告诉蜘蛛自己的网站权重分布
  要知道,对于一个网站来说,权重是有限的,尤其是草根的网站,如果将整个网站赋予等同的权限,一来不科学,二来完全是浪费服务器资源(搜索蜘蛛比正常访问更占用服务器资源,CPU/IIS/带宽等);你可以想想,就想你网站结构不明确一样,没有良好的权重声明,那蜘蛛就无法判断你网站上什么内容是什么重要的内容,什么内容才是你的主要内容。
  屏蔽蜘蛛对后台文件的收录使用的是其它的规范化网页代码,这里不做说明
  以我自己旗下的网站来说,我觉得可以屏蔽的就有cache、include、js、update、skins等目录,为了不傻B的告诉别人管理员目录,所以这里不写管理员目录。
  User-Agent: 适用下列规则的漫游器,一般填写“*”
  Disallow: 要拦截的网页,一般写在Allow的前面
  Allow: 不拦截的网页,一般填“/”
  Sitemap:网站地图URL
  如果你想屏蔽某些蜘蛛,有人问如果设置个性化呢?你写在上述的上面就可以了
  User-agent: Baiduspider
  Disallow: /
  用robots.txt限制垃圾搜索引擎收录,减少网站压力
  你可以看看你的流量统计,看有流量主要来自哪些搜索引擎,不来流量的蜘蛛完全屏蔽;
  因为我有一个哥们是虚拟主机提供商的,所以知道垃圾蜘蛛对网站稳定的影响很大;他告诉过我曾经遇到过部分网站一天IP只有几十个,但是消耗的流量就相当一千多ip正常访问。
  下面的例子是假设只允许百度、谷歌的蜘蛛访问,其它全部禁止
  User-agent: baiduspider
  Disallow:
  User-agent: Googlebot
  Disallow:
  User-agent: *
  Disallow: /
  Sitemap:
  用robots.txt告诉蜘蛛网站地图是哪个文件
  Sitemap是告诉蜘蛛你的地图文件是哪个文件,使用绝对地址,谷歌蜘蛛建议到谷歌网站管理员工具去提交
  关于robots的高级应用可以自行查找资料
  参考资料:
  http://baike.baidu.com/view/1011742.htm
  附一些搜索蜘蛛机器人的姓名:
  百度各个产品使用不同的user-agent:
  无线搜索 Baiduspider-mobile
  图片搜索 Baiduspider-image
  视频搜索 Baiduspider-video
  新闻搜索 Baiduspider-news
  百度搜藏 Baiduspider-favo
  百度联盟 Baiduspider-cpro
  网页以及其他搜索 Baiduspider
  搜搜蜘蛛的user-agent:
  Sosospider
  Sosoimagespider
  谷歌的
  googlebot
  googlebot-image
  googlebot-mobile 
(转载请注明转自:http://www.chaofan.biz 谢谢!)
  • 60天打造网络营销的主战场!

    专业独家定位策划;三站合一网络营销系统助力更多的关键词上百度首页!

  • 180天快速见效

    专业营销人员协助客户进行网络推广有效快速提升网站转化率,180天快速见效!

  • 打破潜规则,帮你打造团队!

    为您打造一支高效率网络营销运营团队,让你自主操盘网络营销!让你的网络营销真正落地!

  • 7*24小时售后服务保障

    云商衡水网站建设团队将以专业的态度,为您提供100%的专业服务!
    网站有问题3分钟内即可作出反馈