一、搜索引擎蜘蛛抓取网站内容原理
搜索引擎蜘蛛先抓取网页内容，将抓取网页存储于临时索引库中，再分析这些内容的价值，如果这些内容符合搜索引擎收录的标准，就将这些内容存储于搜索引擎的正式索引库中，反之则将这些内容从临时索引库中删除，这也是有些站长查到蜘蛛来抓取了网页却没有收录的原因。
网页要参与关键词排名，只有当你的网页被搜索引擎收录了才有行，否则连参与排名的资格都没有，至于排在哪一页，这个就得是搜索引擎算法说了算了，搜索引擎算法分析你网页内容的当前价值，然后根据你网页的价值给出你网页关键词合理的排名。
搜索蜘蛛抓取流程：先抓取网页—临时索引库—分析筛选—正式索引库—最后才能参与网页关键词排序。
1、http的工作原理
在浏览器中输入网址向网站服务器端发送一个http访问请求，服务端接收到此请求并进行解析，向客户端以http的形式进行响应，并以图文并茂的形式展现在用户眼前。
对于服务端来说，向客户端返回的都是http代码，它并不知道返回是文字还是图片，最后返回的结果是需要浏览器渲染用户才可以看到图文并茂的网页。
2、搜索引擎抓取内容
作为我们只需要知道搜索引擎蜘蛛抓取的三步曲就行了，为“抓取—过滤—收录”这么一个过程。
二、如何提升抓取减少过滤
搜索引擎蜘蛛都是以匿名身份抓取所有网页内容的，如果你的网页内容加了密，需要输入帐号密码才可以访问，那么这种网页搜索引擎是无法进行正常抓取的，需要网页开放加密权限才可以抓取，如果你的网页内容需要参与搜索排名，一定千万注意不要限制了搜索引擎抓取网页内容。
如果你的网页中存在有搜索引擎不能识别的内容，就很有可能会被搜索引擎蜘蛛给过滤掉，所以我们在设计网页的时候，就要避免在网页中加入搜索引擎不能识别的内容，如果你的网页内容都不能被搜索蜘蛛给识别到，又何谈收录及排名了？
搜索蜘蛛抓取了网页内容后，第一步就是过滤，过滤掉不符合搜索引擎收录标准的内容，搜索蜘蛛收录网页内容基本步骤为筛选、剔除、再筛选、收录到正式索引库，正式收录网页后接着就是分析当前网页内容的价值，最后就是决定当前网页关键词排序的位置。
三、如何提升网站内容收录和索引
1）什么是网站收录和索引
使用site指令就可以查询出网站预估的收录量，例如“site:arensbak.net”，就可以查询网站的预估收录量
网站收录率是什么意思？例如你的网站有100个页面，而搜索引擎只收录你网站10个页面，那么你的网站收录率就是10%，网站收录率计算公式为收录率/网站总页面=收录率，site指令只能查询出网站大概的收录量，一般情况下你的网站页面越多收录就会越多，网站收录页面多了则意味着网站流量就会多，网站内容质量度越高网站页面收录率就会越高，注意网站收录量并不等于网站索引量，网站收录量是小于索引量的。
2）如何提高网站页面收录，减少网页筛选剔除
（1）如何提高网站页面收录率
想要提高网站的收录率就要提高网站内容的更新频率，网站内容更新要与网站定位相符合，例如网站定位是北京网站建设，那么你的网站内容更新就需要围网站制作而展开，而且网站更新的内容必须是高质，对用户有价值的内容。
搜索引擎判断网站内容质量的高低重要的参考依据就是网站跳出率，网站跳出率越低则代表内容质量，网站跳出率越高则代表内容质量度越低，跳出率高了则意味着网站关键词排名就会不怎么好。
（2）如何减少网页筛选剔除率
不要更新低质垃圾对用户无任何价值的内容，要重视内容的质量度，100篇低质量内容，不如一篇高质量原创内容，例如有些站爱游戏·AYX用内容采集工具向网站导入大量的低质垃圾内容，然而搜索引擎并没有收录这些内容，因此说网站内容质量度与网站收录率是成正比关系的。
同样的内容，哪个网站权重高就会先收录哪个网站的内容，所以说网站收录率与网站权重值也是有一定关系的，还有就是与网站内容更新时间也是有一定关系的，先更新的网站先收录，后更新的先收录。
完全对用户没有价值的垃圾内容，搜索引擎是不会收录的，就算被搜索蜘蛛抓取了，也会被筛选剔除掉的。
4、关键词查询与排序及搜索结果输出
排序是最后一个步骤了，网站关键词排序并不是马上就会有结果的，其实在搜索引擎对网站内容页面建索引库时就已经开始进行分析了，分析网站页面质量度，例如站内结构优化、站内站外投票值、关键词密度等，这些决定了网站页面关键词排序，简单地讲就是我们在搜索引擎搜索一个关键词时，这个关键词的排序是搜索引擎早就分析计算得出的结果。
