摘要：网络搜索爬虫蜘蛛这个概念相信很多入门网络营销的人都已经清楚了，这一点我们就不需要再描述这个概念，但是很多人并不知道还有爬虫蜘蛛陷阱这个概念，这个也是很多的站长在网络优化过程中莫名其妙的被降权或惩罚的最常见的原因，因此研究这个方面的陷阱，对于我们seo工作者而言，是必须的。
我们知道让搜索引擎收录我们的网站首先需要经过蜘蛛这一关，不利于蜘蛛爬行的南阳网站建设相对来说也就不利于南阳网站优化，这篇博文将为大家讲述哪些做法是不利于蜘蛛爬行的，我们又该如何避免这些蜘蛛陷阱。
1.跳转，这个是网络营销陷阱的第一大要素
除301转向以外，搜索引擎对其他形式的跳转都比较敏感，如302跳转、JavaScript跳转、Flash跳转、Meta Refresh跳转。有些网络营销用户访问首页时会被自动转向到某个目录下的页面。大部分这种首页转向看不出任何理由和目的，这样的转向搜索引擎极度反感。
如果必须转向，301跳转是搜索引擎推荐的、用于网址更改的跳转（其实这个跳转方便了搜索引擎索引计算避免大量不必要的索引），可以把页面权重从旧网址转移到新网址。其他跳转均被视为搜索引擎作弊，将遭到惩罚。
2.Flash，这个是不容忽略的重要细节
在网页设计中使用少量Flash增强视觉效果提高用户体验是很正常的，比如用Flash做成的广告、图标等等。当然这些小的Flash和图片只是HTML代码中很小的一部分，页面上还有其他以文字为主的内容，所以对搜索引擎抓取和收录没影响。但是，如果首页全部以Flash表现，比如一个片头动画占满整个页面，没有任何文字内容，只有一个点击进入主页的按钮，其余没有任何进入栏目页的入口，像这样搜索引擎是无法读取Flash文件中的文字内容和链接的。并且蜘蛛无法通过Flash进入网络营销内页HTML版本的文字页面，自然搜索引擎就不能索引任何文字信息，不利于蜘蛛爬行。
如果，Flash效果是必须的，那么你需要在Flash以外的部分添加一个进入首页的链接，必须要放在Flash文件以外的HTML代码中，可以适当的放在最下面，这样一来搜索引擎追踪这个链接可以抓取后面的HTML版本页面。
3.动态URL这个是往往不被seo从业人员注意的
动态URL指的是数据库驱动的南阳网站建设所生成的、带有问好、等号、及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，因为目前搜索引擎技术还是达不到的，也就是很难识别此类URL。据谷歌工程师透露，目前谷歌针对此类URL还是能够识别的，其他搜索引擎目前技术还没有达到。
4.SESSION ID这个是很多人都不知道需要处理的
有些使用SESSION ID（会话ID）跟踪用户访问，就是说每个用户访问该网站时就会产生一个SESSION ID，这个ID将加在URL中。也就是说当搜索引擎蜘蛛每一次访问也会被当成一个新的用户，那么URL中会加一个不同的SESSION ID,如此一来搜索引擎蜘蛛每次访问同一个页面但是返回的确是不同的URL，那么就会把网络营销搜索引擎搞糊涂。当搜索引擎遇到这种情况的时候就会常识判断字符串是SESSION ID还是正常参数，如果判断出是SESSION ID就会去掉它，收录正常的URL，但也有时候判断不出来，这样的话就会收录大量重复页面不同URL，不利于网站优化。
建议跟踪用户访问应该使用cookies而不生成SESSION ID。或者程序判断访问者是搜索引擎蜘蛛还是普通用户，如果是搜索引擎蜘蛛，则不生成SESSION ID。跟踪搜索引擎访问是没什么意义的，蜘蛛既不会填表，也不会把商品放入购物车。
5.强制使用Cookies，这个是很多初学者闻所未闻的
有些网站为了实现某种功能，如记住用户登录信息、跟踪用户访问路径等，强制用户使用Cookies，用户浏览器如果没有启用Cookies，页面显示不正常。搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器，强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。
6.JavaScript链接，这个处理好了可以引起非常好的效果
由于JavaScript可以创造出很多吸引人的视觉效果，有些网络营销喜欢使用JavaScript脚本生成导航系统。这是非常不利于蜘蛛爬行的一个做法。虽然搜索引擎都在尝试解析JS脚本，当然我们不能等待它能够完全解读JS脚本，因此，我们需要尽量避免。很多站长都说自己的栏目页没有收录，很大一个因素就是由于导航使用JS脚本导致搜索引擎无法解析。
据本人观察，虽然有的网络营销搜索引擎在技术上可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对一些权重比较低的网站，搜索引擎觉得没有必要，不会费那个劲。所以网站上的链接必须使用最简单标准的HTML链接，尤其是导航系统。用CSS做导航系统一样可以实现很多视觉效果。
其实JavaScript还有其他用途，如果站长不希望搜索引擎收录此页面，可以使用JavaScript脚本阻挡搜索引擎爬行。
总结：有些内容放在需要用户登录之后才能看到的会员区域，这部分网络内容搜索引擎无法看到。蜘蛛不能填写用户名、密码，也不会注册。
|
