在做SEO的过程中，总是有SEO站长们会遇到相关问题，比如：整站内容质量非常高，页面结构也不错，访问速度与用户体验都OK，可就是没有排名。这在很大程度上的因素，可能是因为页面关键词布局的问题。但我们都知道，页面的长短，不尽相同，我们在匹配关键词的时候，并没有一个相对统一的策略。有的时候，就需要具体问题具体分析。那么，长短页面，关键词该如何布局在页面上？

索引擎蜘蛛爬虫的原理

对于我们做网站运营人员来说，网站的收录，排名，流量是我们必追求的东西，然而前提的一个前提下，我们必须要让搜索引擎的蜘蛛来到我们的网站，否则网站的内容再有价值都是徒劳。

整个互联网如同一张大网形成，搜索引擎是通过这些一个一个的链接来抓取网站页面的，这种行为成为蜘蛛抓取，也可以说是网络爬虫，所谓的蜘蛛就是搜索引擎的一个自动抓取页面的程序软件，蜘蛛会不断的访问每一个页面的链接来完成将html代码数据存入自己的数据库，这是搜索引擎的个工作，第二个工作就是要通过搜索引擎的排名算法来完成页面的排名。

搜索引擎蜘蛛抓取原理

想要网站收录，那么件事就是去给更新网站内容，但第七城网络运营表示，有的时候你在这么更新原创内容搜索引擎蜘蛛就是不收录你的网站，这是什么原因呢？原因很简单，就是你不了解搜索引擎蜘蛛的爬行原理以及抓取原理，何谓搜索引擎蜘蛛抓取原理？

网站地图又称为站点地图，它虽然就是一个页面，但是上面放置了网站里面的所有页面的链接，网站地图就是根据网站的结构、框架、内容，生成的导航网页文件。

可以说搜索引擎蜘蛛非常喜欢网站地图，现在搜索引擎都有一个提交地图的功能，这就说明了搜索引擎对sitemap的重视。

很多网站的连接层次比较深，蜘蛛很难一下子全部抓取到，网站地图可以方便搜索引擎蜘蛛抓取网站页面，通过抓取网站页面，清晰了解网站的架构。

一般网站地图存放在根目录下并命名为sitemap，为搜索引擎蜘蛛指路，增加网站重要内容页面的收录。

添加网站地图的好处：

　　1、为搜索引擎提供一条绿色通道，使搜索引擎程序能迅速收录您的主要的网页。

　　2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。

　　3、帮助搜索引擎抓取一些动态的页面。因为在网站建设中或多或少都会有一些动态页面，如果用户没有触发的话，是不会显示的，所以在网站建设的时候可以将这些链接设置在网站地图上，帮助搜索引擎对动态页面的抓取。

　　4、起码提供文本链接到你站点上主要的页面上;根据您的网站大小，网页数目的多少，它甚至可以链接到您所有的页面。

　　5、在网站地图的文本和超级链接里提及主要的关键词短语，帮助搜索引擎来识别，所链接的页面主题是关于哪一方面。

　　6、当用户查询在您网站上原来看过的相关信息时，告诉他们如何去查询。只要在这一个网页内就可以得到所有希望查找的内容链接