什么是搜索引擎爬虫呢？网络爬虫到底是什么？很多刚刚接触seo的新手会提出这样的疑问，感觉爬虫非常的神秘，到底网络爬虫是怎么样爬取页面工作的呢？带着诸多的疑问今天就为大家揭秘一下，搜索引擎爬虫到底是怎么一回事。

 

爬虫抓取的可识别性
在爬虫抓取网页时，如果根本不知道你的网页内容是什么，那基本上是不会被百度收录的。所以让爬虫识别到我们网页的内容也是较为关键的一个问题。

1、robots协议的封禁

robots是一个txt文件，放置于网站的根目录下。可以通过www.xxx.com/robots.txt进行访问打开。如果你的robots文件封禁了百度爬虫，那么收录简直是不可能的。

因为robots协议文件是搜索引擎与网站之间的协议文件。是网站告知搜索引擎爬虫，哪些内容你可以抓取，哪些内容你是不可以抓取。所以你都告诉爬虫不让它抓取了，他还怎么会抓取呢？

2、影响网站收录的ajax技术

js的ajax技术，其实很多做SEO的都知道不能使用js，但这并不完全是。因为爬虫抓取的是网页源代码，只要你源代码中有这些内容就是可以的。但通过js实现异步加载的内容就不行了。

这里解释一下什么是异步加载，就是当前网页源代码没有的内容。通过触发网页某个事件，js通过ajax技术动态加载出来的内容。例如典型的瀑布流网页，当你鼠标滚动到最底部，然后地步就会出现更多新的内容。多数是采用这个ajax技术。

那被异步加载出来的内容爬虫是看不到的。

 

3、图片、导航、ALT

图片类型的导航，现在基本很少见了。但这里还是要说一下，如果你的导航（主导航）使用图片，在这个寸土寸金的位置上，搜索引擎根本不知道你说了什么，所以这时候需要我们使用alt标签进行设置。

alt严格来说是img标签的一个属性值，是在当图片加载失败时的提示文字。如下图示例：

图片alt属性示例

如上图，当图片的链接是错误时，红框中出现的就是下面源代码中alt的内容。

当然了，alt属性并不单单可以应用在图片导航中。所有你认为重要的图片，都可以进行设置，并合理的融入关键词。像一些素材图片就可以不用设置alt属性了。

4、网站访问速度慢

如果你的网站打开速度很慢的话，也会很大程度上的影响收录。我们举个例子，爬虫每天抓取你网站就给10分钟时间，你的网站访问一次需要1秒钟，和需要100毫秒。这完全是两个层次上的结果。

内容质量对收录的影响
单纯解决了爬虫的抓取问题之后，还要更多的关注到内容质量本身，我们下面从3个点说明一下。

1、内容的原创性

你的内容本身是不是原创的，原创内容更有机会被收录这个是众所周知的。本文不讨论怎么写原创文章，所以原创怎么搞，在这里只能说自己弄明白了，然后用自己的语言组织一下写出来。

2、内容的可读性

你的网页是不是会对用户造成一定的体验影响，例如广告遮挡主体内容。主要的内容没有在电脑首评出现。字体大小、字体颜色与背景色过于接近等。

3、内容的需求满足度

标题和内容是不是提问相符的。且真正解决了用户的需求。并不是挂羊头卖狗肉，或者语句不通顺等行为。