sitemap又称网站地图。

　　在专业术语上，sitemap就是一个页面，上面放置了网站上所有页面的链接，一个网站所有链接的容器，根据网站的结构、框架、内容，生成的导航网页文件。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施，蜘蛛非常喜欢网站地图。

　　为什么要讲网站地图呢，把蜘蛛比作是一个人，当你到一个陌生的城市时，第一个想到的应该是去买一张这个城市的地图，不然很容易迷路的。同样的道理蜘蛛爬行你的网站时要是有一张地图引导他，他就不会迷路，而且要是你的地图结构合理且连续性强的话，蜘蛛就会长时间停留在你的网站上。做一个很形象的比喻，我们在买到一张地图时，如果他上面的路标、地名标示的不是很明显，或者说是很清晰，我们上哪去找我们要到达的地方呢。还有就是你的地图很混乱，道路与道路之间没有一定的延续性也会导致迷路的。所以我们的网站地图优化需要我们在做站内链接的时候要有一定的合理延续性，当你从一个页面链接到另一个页面是一定要有一定的相关性，不然很容易引起蜘蛛的反感的，网站的URL地址就跟地图的路标一样一定要标明的很明确，不要用一些不懂得或者跟页面不相关的字母。不然蜘蛛在爬取你的网站时很难读懂你网站网页的具体内容的。

　　404页面

　　404是W3C规定的HTTP状态码中的一种。是WWW网站访问比较经常出现的错误。告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，这种专业的官方解释。通俗点将404页面就是一个网站内的报错页面，当我们输入你的网站网址出现错误时，就会直接跳转到404页面，404页面会引导用户返回到网站的首页或者其他用户比较关注的页面。这就需要我们在制作404页面时要给用户或者蜘蛛做一个很好的引导作用，引导用户回到你网站的首页或者其他页面，要是你的404页面什么都没有的话，蜘蛛或者用户访问到你这个页面找不到任何的信息就会直接关闭，这样的用户体验是很不好的。我们可以从下图的一个404页面看出来，这个网站的404页面有一个返回首页跟免费咨询这两个返回链接，这样的404页面优化就已经算是不错的了，我们出错了可以回到首页寻找我们想要找的信息。

　　Robots.txt

　　在搜索引擎访问网站的时候，Robots.txt是第一个要被查看的文件，Robots.txt会告诉网络蜘蛛程序在服务器上什么文件是可以被查看的。在进行SEO网站优化的时候，通过Robots.txt把一些内容不想让蜘蛛抓取，比如js等后台程序文件 进行拦截，如果没有Robots.txt，蜘蛛会抓取你网站上所有的文件，这样的话你网站内部一些蜘蛛不喜欢的文件也会被抓取到，这样会让蜘蛛对你的网站产生很严重 的排斥心理，会大大降低网站的搜索引擎抓取效率!所以，我们一定要记得设置Robots.txt，不仅要设置，特别是一些JS跳转的文件，一定不要让那个蜘蛛抓取。一些网站是可以注册的，我们也要把注册信息屏蔽掉，你想你那么多的注册信息让蜘蛛抓取的话，一点实用的信息都没有，这也是不利于网站的优化的。包括网站内部的登陆页面、评论页面之类的，因为这些页面每个页面都存在，这样蜘蛛抓取的话会主导很多的重复页面的，也是不利于网站的排名的。