A5提升小组系列1:不正确的robots.txt 百度搜索K站没商议


A5提升小组系列1:不正确的robots.txt 百度搜索K站没商议


短视頻,自新闻媒体,达人种草1站服务

坚信许多站长都很清晰robots.txt文档,robots.txt是检索模块中浏览网站的情况下要查询的第1个文档,Robots.txt文档告知蜘蛛程序流程在服务器上甚么文档是能够被查询的。A5提升小组觉得robots.txt文档关键功效便是robots.tx能够屏蔽反复的內容收录,防止同1个网页页面被百度搜索收录N次。robots.txt尽管很是关键,可是非常少有站长可以正确配备伪静态数据文档,即便是大公司成年人物的网站,也很难正确配备好robots.txt。

例如康盛创想公布的Discuz!X1.0论坛版本号,那时候许多站长应用Discuz!X1.0致使百度搜索收录数量剧增,但帖子数量没提升,A5提升小组历经全面检验Discuz!X1.0发现,同1个帖子可使用5个以上的不一样网站地址浏览,但robots.txt并沒有屏蔽掉反复的网站地址,致使网站收录数量剧增,最终许多应用Discuz!X1.0版本号的论坛被百度搜索绝不留情的K掉。A5提升小组以便协助应用Discuz!X1.0的站长,第1時间在Discuz!论坛公布了正确的robots.txt配备文档,A5提升小组另外联络康盛创想官方反映robots.txt存在的难题。康盛创想积极主动听取了A5提升小组建议,在Discuz!X1.5及升级版本号中,A5提升小组发现康盛创想早已基本上完善配备了robots.txt。

例如知名SEO权威专家ZAC的blog,是应用的wordpressblog系统软件创建的,由于robots.txt沒有配备好,致使每篇博文,收录几10次乃至上百次,A5提升小组根据检验ZAC的blog发现,要是博文被评价1次,便可能被百度搜索1次博文,假如1篇博文被评价1百次,那末这篇博文便可能被百度搜索收录1百次。是甚么缘故致使ZACblog比较严重反复收录呢?A5提升小组发现,基本上全部反复收录的网页页面的网站地址后边都存在?replyto=****,replyto是blog的1个主要参数,****是意味着数据,只是数据不一样,为何会出現这类状况?这是由于百度搜索蜘蛛扫描仪ZACblog的replyto主要参数的网页页面 replyto 非常无用。ZACblog应当怎样处理这类反复收录呢?A5提升小组觉得,既然ZACblog开展了伪静态数据,就应当把全部动态性网站地址屏蔽掉,robots.txt文档提升1行:Disallow: /*?*便可处理ZACblog反复收录状况。

A5提升小组自从出示SEO确诊提升服务以来,发现许多网站存在网页页面很多反复收录状况,很多网站由于內容反复收录,被百度搜索立即K掉,绝不留情。实际上要是大家网站正确配备好robots.txt文档,彻底能够防止网站內容反复收录。(A5提升小组唐世军实战演练原創,QQ:9600918)


相关阅读