站内搜索页的链接陷阱处理
站内搜索结果页会生成无限URL(每个关键词一个页面),是链接结构的隐形黑洞。
站内搜索结果页会生成无限URL(每个关键词一个页面),是链接结构的隐形黑洞。
robots屏蔽搜索路径
robots.txt加 Disallow: /search* 或对应路径,从规则层面禁止蜘蛛抓取搜索结果页。
搜索按钮nofollow
站内触发搜索的表单和链接加nofollow。
清理已收录的搜索页
已经被收录的搜索结果页,先做noindex等收录移除,再上robots屏蔽,顺序不能反。
判断标准与参考数据
蜘蛛日志中搜索结果页的抓取量降为零;搜索页从索引中逐步消失。
注意事项
顺序错误是经典事故:先加robots再等收录消失,结果页面以无摘要形式永久留在索引里。