最小修复试验的核心是:每次只改一个可能影响抓取或索引的因素,用可观察的日志或收录状态做前后对比,确认有效后再改下一个。假设一个页面发布两周仍未被收录,不要同时改标题、加外链、提交站点地图、改 robots.txt,而是先查抓取日志,判断问题出在“没被抓”还是“抓了没索引”,再针对其中一项做最小改动。
这两类问题的修复方向完全不同,混在一起改会浪费人手。
只有先定位到哪一类,最小修复试验才有意义。判断依据是服务器日志和页面返回状态,而不是主观猜测。
以下步骤按顺序执行,每一步只改一个变量。
常见错误是:一次改五处,结果无法判断是哪一处起了作用;或者改动后第二天就下结论,而抓取和索引本身存在延迟。观察周期应结合站点抓取频率设定,抓取频繁的站点可以短一些,低频站点需要更长。
时间和人手有限时,按下面的顺序排查,成本从低到高。
Disallow 挡住。注意,robots.txt 的抓取限制不等于可靠的索引移除,被屏蔽的页面仍可能因外部链接出现在结果中,所以它不能当作移除工具使用。每查完一项,记录结果,再决定是否进入下一项。不要跳过记录,否则无法回看哪一步真正解决了问题。
一份能复用的记录至少包含四列:URL、假设、本次改动、改动后的观察结果。假设要写成可以被证伪的句子,例如“加上内部链接后一周内出现抓取”,而不是“优化一下应该会好”。观察结果只写事实:日志里有没有抓取、收录状态有没有变化。这样即使试验失败,也能排除一个原因,缩小下一次的范围。
如果站点有 HTTPS,也不要把它当作收录问题的万能解释。HTTPS 不保证安全无漏洞,也不保证排名,它只是众多因素之一,不应作为首选试验变量。
下一步:挑一个长期未收录的 URL,按上面的顺序做一次单项改动,并在改动前把当前抓取状态记下来,作为后续判断的依据。