📍 WDQWDWQD987AAAAA:216.73.217.93
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3e832dded17d.html
📄

死链接检测_检查前需要准备哪些信息

开始死链接检测前，至少要准备四类信息：检测范围（哪些域名、目录或页面类型）、判定标准（什么状态算死链）、访问凭据与限制条件（登录、频率、robots.txt）、以及结果输出方式（清单字段和负责人）。缺少任何一项，检测结果都可能无法直接用于修复。下面按实际执行顺序说明每项信息的作用、获取方式和判断标准。

先确定检测范围：从域名到具体页面

范围决定检测工具抓取多少内容，也决定耗时和误报率。准备时先回答三个问题：

• 起点是什么：整站域名、某个子目录，还是从站点地图或导航栏提取的链接集合。
• 是否跨域：只查站内链接，还是也要检查指向外部域名的出站链接。外链检测会引入对方服务器的超时和反爬问题，耗时明显更长。
• 是否包含参数页：带查询参数的URL可能返回相同内容，若全部纳入检测，结果会大量重复。

判断标准：如果目标是修复站内导航和内容里的失效跳转，范围限定在站内即可；如果要评估对外引用质量，才需要把出站链接单独列为一组。范围越宽，越要预留更长的检测时间和更高的请求量。

明确判定标准：哪些状态算死链接

“死链接”不是单一状态。检测前先约定判定规则，否则同一份报告会有不同解读：

• 404、410：通常直接判定为死链。
• 301、302：不是死链，但需要确认跳转目标是否有效、是否形成跳转链。
• 403、401：可能是权限限制而非链接失效，需要结合访问凭据复核。
• 500、502、503：属于服务器或网关错误，应单独归类，不宜与内容失效混在一起。
• 超时、连接失败：可能是网络或对方限流，需要重试后再判定。

准备这项信息时，建议把“确定死链”和“待复核”分成两个清单。判断结果取决于你是否能重复复现同一状态：同一URL在不同时间、不同网络下结果不一致，就应归入待复核。

准备访问条件与合规限制

检测会向目标服务器发送大量请求，因此需要提前确认：

• 是否需要登录：会员区、后台页面的链接在未登录状态下会返回跳转或403，检测结果不能代表真实可用性。
• robots.txt 是否限制抓取：robots.txt 的抓取限制不等于可靠的索引移除，它只约束遵守协议的爬虫行为。检测前查看它，是为了判断工具是否会被拒绝访问，而不是把它当作死链判定依据。
• 请求频率与并发：并发过高可能触发对方限流，产生大量假死链。准备一个可接受的并发数和重试次数。
• 是否使用站点地图：站点地图不保证收录，也不保证其中每个URL都有效。它可以作为URL来源之一，但检测结果仍需逐条验证。

如果检测对象包含外部站点，还应确认对方是否允许自动抓取。对无法确认的站点，降低频率或改为抽样检查更稳妥。

约定输出字段与后续处理人

检测前把输出格式定好，能避免报告做完却没人能直接修复。建议每条记录至少包含：

1. 来源页面URL（死链出现在哪里）
2. 目标URL（失效的地址）
3. HTTP状态码或错误类型
4. 检测时间与检测工具
5. 处理建议（替换、删除、加跳转、待复核）
6. 负责人或处理状态

判断标准：如果一条记录只有目标URL，没有来源页面，修复时就无法定位需要改动的页面。来源页面字段是让报告可执行的关键。

一个可直接执行的准备步骤

假设要检查一个内容站点的站内死链，可以按以下顺序准备：

1. 列出主域名，确认是否包含子域名。
2. 从导航、正文和站点地图三处收集URL来源，去重后形成检测清单。
3. 查看 robots.txt，确认检测工具不会被整体拒绝。
4. 设定判定规则：404和410记为死链，403和超时记为待复核。
5. 设定并发数，先小批量试跑，确认没有大面积超时后再扩大范围。
6. 按上面的字段生成报告，并指定修复负责人。

这套准备适用于站内内容型站点。如果站点有登录区或大量参数页，需要先缩小范围或补充凭据，否则结果会混入大量非死链问题。

下一步：先用小批量试跑验证判定规则和频率设置，确认报告字段可用后，再对完整范围执行检测。