很多新手站长在做网站的时候忽略了SEO优化的重要一步，那就是搜索引擎的作原理，搜索引擎的工作原理简单分为这么几个步骤：第一步是抓取→第二部是建库→放到数据库中进行排序→百度通过分析用户的需求把用户最需要的结果展示的用户面前。如果网站需要被搜索到，那么必须知道你的站存在，抓取，过滤，目前中国400万个网站，数据是以亿计算的，百度是不会把所有的页面都抓取的。当然百度认为有价值的才会建立索引，就是我们经常说的收录，前提是知道链接的存在。

　　那么怎样才能让网站内容被搜索引擎更好的抓取到并且有良好的收录呢?这里有两个方式：1.主动提交sitemap网站地图到站长平台;2.被动抓取。发外链引蜘蛛，很多人发的是首页的链接，这对网站权重以及排名是非常有影响的，这一点大家一定要注意!

　　主动提交和被动抓取到底哪个好?其实这两者没任何区别。首先要了解知道你的站为什么不抓取。

　　第一、分析这个域名以前是否被处罚过。如果被处罚过，那就需要4至6周的考核期，这个时间段如果网站正常操作，就不会有问题。如果百度即使知道链接的存在，还不会抓取。就要做个域名调查，先把域名在百度或谷歌查下，看看这个域名是否有人用过，有可能别人用过的域名，没有继续续费，说明这个域名以前是有过违规操作的。

　　第二、蜘蛛根本来不了。蜘蛛访问这个域名的时候进行dns解析，域名转为ip，找到ip所在服务器进行访问，如果dns做了手脚，或者空间商做手脚，导致蜘蛛没法抓。空间商屏蔽蜘蛛，是会产生压力。曾经有一个朋友问过重庆SEO曾晓龙，听说他的网站20天或者十几天新站开始收录，让我帮他分析一下原因，我告诉他可以去验证百度站长平台，接着会收到百度站长平台的信息提醒，搜索引擎诉法抓取网站，网站对搜索引擎进行全站封禁。这个时候就需要换个空间，他换了空间之后马上就可以收录。(SEO最新技术交流群→_→138426856)

　　百度站长平台里面压力反馈，抓取压力即搜索引擎在单位时间内对一个网站服务器访问的频率和总次数。如果0，证明没去。压力值716，这个数值只能证明搜索引擎去，但是去哪些页面不知道。如果去了只去首页，或你想被收录的页面都没去，没访问到内页，你看这个值也没什么用，那怎么看有没有来抓取呢?

　　服务器日志

　　看蜘蛛访问哪些页面。如果有独立的服务器，vps可以自己搞(光年日志分析是一款很不错的工具)，还要去判断真假蜘蛛，因为百度蜘蛛不一定是真的，在站长工具对网站查询时，也会产生假蜘蛛。

　　1.看日志，需要判断真假蜘蛛，有些蜘蛛并不是真的，有些人模拟蜘蛛对网站采集，这个时候就会产生假蜘蛛。

　　2.如果网站是动态程序，把网站设置成伪静态，日志记录的路径都是动态的，不会记录伪静态，如果是纯静态的就可以直接看。因为做成伪静态很难分析路径。

　　问题分析：

　　1、权限设置 有些是需要会员才可以进入的，所以蜘蛛是进不去的。robots把这些路径屏蔽了也抓取不了。

　　2、结构问题 爬取困难。如果一个网站的结构非常复杂，杂乱无章，很有可能搜索引擎爬着爬着就放弃爬行了，这个对于任何SEOer都是应该注意的。这篇《怎样优化网站才能稳居首页排名》就分析了网站结构以及路径优化的方法。

　　3、信用度 如果发现垃圾信息太多，爬回的页面过滤，分类整理，然后筛选 ，建立索引。它会剔除空页面和无意义的页面。整个页面是flash 登陆页面 注册页面 或产品页面就是一张图片，则有的是空页面，无意义的，这样的是没有必要被收录的。

　　判断页面价值得分

　　达到收录标准，本身得分的高与低，这里分为两点：

　　1、这些取决于网站本身权重的高与低。权重高，收录很容易，标准也降低很多。

　　2、页面的质量得分 内容是否原创，还是复制，是不是稀缺性的文章，对网站的客户有用。要知道百度推出的星火计划鼓励原创而且原创会加分，并且会有很好的排名。如果实在写不了原创，也可以在原本内容上添加附加内容和价值，这也是一篇很好的文章。

　　3、内页是否有外部链接。外部链接可以对内页投票，就更好的达到收录标准。

　　如果想要自己写的描述被抓，想做的关键词尽量的出现在描述里面。

　　除了上面讲的，还要考虑自然性链接，需求页面的主题是什么?相关的需求及问题，小的标题要有吸引力，要让客户看下去的理由，吸引用户快速定位他想要的东西，层次清晰。

　　总结：要想解决内容收录的问题，先看域名是否是被处罚过的，空间商有没有屏蔽蜘蛛，经常查看服务器日志，要回辨别真假蜘蛛，内页的得分要做好内页外链。