什么时候需要Robots.txt和sitemap

pengxing

我自己的网站从来没有用过Robots.txt
Google提供的工具每次都是提示Robots.txt不存在
虽然自己知道无伤大雅
但看起来总碍眼

说一下Robots.txt的作用
    Robots.txt对于个人的小站可以说是可有可无的东西,这个东西不是万能的,它的作用只是告诉搜索引擎的蜘蛛,哪些页面需要索引,哪些不要索引而已.
    Robots.txt并不能直接帮助网站页面被收录.
    所以Robots.txt只起到提示的作用,对辅助收录没有太好的效果.

顺便说一下sitemap
   一些人总找这样那样的sitemap工具,做一个没几个页面的Blog也第一想到要做sitemap,然后提交到搜索引擎,其实sitemap也只是一个辅助的工具.
   页面太多的时候一些老页面可能不会经常更新,这样蜘蛛爬的几率小一些,但这些页面可能还是比较重要,所以做了sitemap蜘蛛会优先考虑里边的页面.
    只要网站页面不是超级多的时候完全可以把找sitemap工具和生成sitemap,提交sitemap的时间用来更新网站内容,再完美的sitemap,再完美的程序,再友好的逻辑结构都不如原创的不停更新的内容对蜘蛛的吸引力要大.
    对网民来说"内容为王"的时代可能已经过去了,但对蜘蛛来说,"内容为王"还是现在的主题.