内链结构设计，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c05c1d01ea02.html
📄
内链结构设计，批量页面只有一部分被发现时怎样划分对照组
先把“被发现”拆成两个可分别观察的层：爬虫是否请求过该 URL，以及该 URL 是否进入过索引。只有前者时，问题通常在内链可达性；只有后者时，问题更可能在内容质量或重复度。划分对照组的目的，是让这两层各自有可比对象，而不是把所有未收录页面混成一堆。
先确定对照组要回答哪一个问题
如果你手上是一批旧内容，其中一部分已经退出合作关系、内容价值下降，另一部分仍然要保留，那么对照组不能按“收录/未收录”来分，否则你会把“值得保留但暂时没被抓到”和“已经该下线”混在一起。更稳的做法是按保留决策先分层，再在每一层里比较内链条件。
具体动作：把待处理页面导出为一张表，至少包含四列——URL、是否仍要保留、站内入链数量、入链来源页面是否本身已被抓取。加完这四列后，你会看到未收录页面自然分成几组：保留但入链少、保留但入链来源也未被抓、不保留但仍有入链。这个划分结果直接决定下一步是先补链还是先清理。
按入链来源的可达性划分，而不是按页面数量均分
常见的错误做法是把未收录页面随机均分成两组做对比。随机分组在样本量大时有用，但在旧站批量处理场景里，页面之间的差异往往集中在几个模板或几个栏目上，随机分组会把模板差异摊平，反而看不出内链结构的作用。
更可行的是按入链来源页面的抓取状态分组：
- A 组：页面本身有入链，且至少一个来源页面已被抓取。
- B 组：页面有入链，但所有来源页面都未被抓取。
- C 组：页面没有任何站内入链，只能靠站点地图或外部链接到达。
这样分组的依据是：A 组的链路已经打通，问题更可能在页面自身；B 组和 C 组的问题在链路本身。假设你有一批 200 个旧页面，其中 60 个属于 A 组、90 个属于 B 组、50 个属于 C 组，那么优先处理顺序应该是 B 组和 C 组，因为它们的共同特征是链路没有到达。
用一个小范围改动验证分组是否成立
分组之后不要立刻全站改内链。先选 B 组里的一小部分页面，只做一件事：从一个已被抓取的列表页或栏目页增加指向它们的链接。然后等待抓取日志或索引状态发生变化。
这里的关键是只改一个变量。如果同时改了标题、正文和链接，就无法判断是哪一项起了作用。假设你给 B 组中的 10 个页面各加了一条来自已抓取页面的链接，过一段时间后其中一部分被请求了，那么可以初步认为链路是主要障碍；如果仍然没有被请求，就要回到来源页面本身，检查它是否真的能被稳定抓取。
这个动作的结果会直接影响下一步：如果补链有效，就扩展到 B 组其余页面；如果无效，就先处理来源页面的可达性，而不是继续加链。
把“不再保留”的页面单独处理，不混入对照组
旧系统或旧合作关系退出时，一部分页面本来就不需要保留。这类页面不应放进上述任何一组，因为它们的目标不是被发现，而是被正确处置。处置方式包括：在站内移除指向它们的链接、让它们返回合适的状态码、或保留但不再作为内链目标。
需要注意，robots.txt 的抓取限制不等于可靠的索引移除。如果你只是用 robots 阻止抓取，页面仍可能因为外部链接而出现在结果里。所以对确定不保留的页面，优先从内链结构中摘除，而不是只靠抓取限制。
站点地图也不保证收录。把一批页面放进站点地图，只能说明你希望它们被抓取，不能替代站内链接的可达性。因此对照组里的 C 组页面，即使已经在站点地图中，也仍然需要单独观察。
对照组的观察周期和判断依据
划分完对照组后，需要给每组一个观察窗口。判断依据不是“有没有收录”这一个结果，而是三个信号：来源页面是否被抓取、目标 URL 是否被请求、目标 URL 是否进入索引。
如果来源页面本身没有被抓取，那么目标页面未被发现是合理结果，不能据此判断内链结构有问题。如果来源页面被抓取、链接也存在于渲染后的内容中，但目标 URL 始终没有被请求，才需要进一步检查链接是否可被跟随、是否被脚本隐藏、是否落在被屏蔽的路径下。
最后，不同搜索引擎对同一批页面的处理可能不同，对照组的结论应在同一搜索引擎内比较，不要跨引擎直接套用。做完一轮后，把仍然无法解释的页面单独列出，它们才是下一轮需要缩小范围的对象。
