在一些情况下，大家都会发现一个页面会存在重复收录的问题，会不利于网站优化以及提升网站权重排名，影响页面关键词排名，进而影响网站整体流量。下面根据自身网站的情况，分享自己网站重复收录问题。

　　从百度统计（或GA 工具）查看分析网站流量的布局，分析网站不同着陆页URL，查看各个着陆页被百度收录的页面URL是否存在重复，以及是否有带参数URL存在收录错误情况？通过一段时间的数据观察，发现以下页面URL存在明显的收录问题。

　　1、一级目录页与二级目录页（网站核心列表页）都存在收录重复问题，而规范的标准URL却未被百度收录，规范的标准URL收录率大概在30%左右。筛选项都被蜘蛛重复抓取，有效抓取只有15%，使得大量筛选页（并不希望被百度收录）反而被百度收录大量收录。

　　 网站的具体产品页面（类似淘宝的商品详情页面），绝大部分带参数的URL被百度收录，与规范的URL同时被百度收录，而规范的URL收录率大概在20%左右，这样使得同一个具体产品页面的权重被分散。

　　二、解决方案

　　1、添加nofollow 标签

　　为避免一级目录页与二级目录页列表页筛选项重复收录，之前相应的内链位置添加nofollow 标签，主要是在筛选区域。除此之外包括网站页脚、导航等不希望权重传递的部分。

　　优化结果

　　提高了蜘蛛的有效抓取，间接有助于列表页收录

　　观察1个半月时间（10月中旬-11月底）后，蜘蛛有效抓取量较最初增加6倍多，为列表页规范化的URL收录提升做好铺垫，为解决重复收录做好铺垫。

　　添加canonical标签

　　针对被百度收录重复的一级目录页与二级目录页列表页，重复的具体产品页面（类似淘宝的宝贝详情页面）页面添加相应的canonical，经过分析观察，将全站URL收录有问题的列表页共分为A、B、C、D、E共5钟 。采取的优化策略如下：

图1
以下是列表页添加“canonical”标签前后（2013年1月始到至今）相应数据的变化，以下是流量和收录效果分析。

　　变化

　　备注：
　　网站规范的URL收录不断上升，流量也同时上升，A栏目列表页相应的核心词排名上升5.8。
当带参数（不希望被百度收录）页面收录逐渐减少时，权重就能比较集中，能使网站更多规范的URL被收录，网站重复收录的情况逐渐缓解。

　　变化

　　A列表页流量的上升，能提高网站其他页面权重，从而带动其他页面的流量。
尽管带参数页面（不希望被百度收录页面）收录量有所下降，但是这些带参数页面的流量仍有上升的趋势。

　　1、添加nofollow 标签后分析收录量提升效果并不显著，但是对于蜘蛛抓取有效的页面有一定作用。

　　2、 添加canonical标签的项目上线后，2周后查看列表页（规范的页面）百度收录率提升40%，虽然至今为止并没有百分百全被百度收录，但在一定程度上缓解了列表页页面未被收录问题。但是对于详细产品页面的canonical标签效果并不为明显，初步判断是因为产品页面是更新频率较快，不能比较准确地指向相应的URL。

　　 不要认为网站类似页面重复收录越多越好，虽然这样能够增加全站的收录量，但是权重被分散开来，不利于核心词排名，所以更应避免网页重复收录问题。

　　 需要在建立相关SEO页面时，就需要使URL统一，避免出现带参数的URL。因为对于搜索引擎来说，一个页面对应一个固定的URL更加友好些，也能避免重复收录的问题的出现，同时告诉搜索引擎网站希望把权重导向哪个页面。