你好,下面分析蜘蛛不爬行的几大因素:
1:网站锚文本太多
网站锚点链接过多,造成内部链接链轮链条。内链还可以造成链轮链条。许多网站站长以便提升关键字的排行,果断地应用过多的锚点链接,随后导致网页页面中间的连接循环效用,后使蜘蛛走进无底洞,无法走出。清理过去带有交叉链接的锚文本,并且尽量做到需要时才添加锚文本,滥用锚文本只会让百度不认可你的网站。百度搜索引擎蜘蛛是程序流程智能机器人,它的智能化始终没法与大家对比,但大家依然重视它,为它出示一个爬取畅顺的网站自然环境,进而确保大家网站可以更好的发展。
2:网站地图不正确
sitmap是网址十分有效的工具。sitmap对客户和搜索引擎蜘蛛全是有益处的,能够鉴别全部网址的构架,便于尽快访问和爬取网址。由于一些网站站长不了解编码及其网址的构架,就随机选择一个权威性差的工具来创建了不完整或不正确的网站地图,结果让蜘蛛在爬行时陷入其中并终迷路。挑选一个权威性的专用工具制做sitmap,例如百度站长工具,假如你较为了解自身的网址,可以制定并亲身数次检测,以保证sitmap的准确性和一致性。
3:网站上死链数量大
死链是回到编码为404的不正确网页页面连接,那样的连接一般是在网址变更后转化成的,或是网址更改网站域名后,死链对客户体验和搜索引擎蜘蛛爬取十分不好。死链会阻拦搜索引擎蜘蛛爬取,当搜索引擎蜘蛛不断碰到这种不应该出現的死链接时,就会产生对网站的不信任,并终放弃爬行。
(1)提交死链接。利用百度站长平台的死链提交工具提交网站死链,详情请参阅参考百度站长工具。
(2)重定向或删除死链接,如果死链接的位置不重要,您可以重定向到主页,如果位置比较重要,数量也较多,可以选择删除死链接,可以使用工具删除。
4:URL包含太多的参数
虽然百度搜索机器人也可以像谷歌机器人一样收录动态参数网站,但静态URL的网站总是比动态URL更有优势。
在选择网站制作程序之前,重要的是要考虑该程序是否支持静态url,并在以后的维护中注意URL是否真正的做到了静态化,尽量放弃包含参数的动态URL的做法。