v1.15.0:收录闭环,死链监控、一键 301 与 URL 规范化

发布时间:2026-11-16 浏览:0 栏目:卫民CMS

2026 年 11 月 16 日,卫民CMS 演示站交付 v1.15.0。这一版补齐的是收录闭环:死链从哪来、怎么看见、怎么修掉、修完怎么防止再分裂,一条线做完。前台视觉、主 CSS 与 Logo 照旧不动。

为什么这一版叫「收录闭环」

v1.14 做了 301 跳转和搜索引擎推送,但那是「主动搬家」:我们知道哪个地址要换,提前配规则。真实世界里还有一大类问题是被动的 —— 某个外站链到了一个不存在的地址、某次改版漏了一个旧路径、或者有人拼错了 URL,这些 404 在站长平台的死链报告里出现时往往已经过去几周,而且你不知道它被谁引用着。

更烦的是「同一个页面的多个地址」。/news/xxx.html、/news/xxx.html/(多个尾斜杠)、//news//xxx.html(连续斜杠)在搜索引擎眼里是三个地址 —— 内容一样,收录分裂,权重摊薄,静态缓存还可能为同一页面存三份。这就是「斜杠的坑」。它不是某一次的偶发 bug,而是路径归一逻辑散落在各处、每个新功能都可能再发明一次的结构性问题。所以这一版的目标不是「再修一处」,而是把闭环建起来:404 自动看见 → 热度排序 → 一键修掉 → 变体地址自动归一。

死链监控:只记「页面形」的 404

死链数据来自静态缓存中间件的 after 阶段 —— 它是全站响应的唯一咽喉,所有 404 都会经过这里,没有第二处需要埋点。但不是所有 404 都值得记:扫描器对 wp-login.php、.env 这类地址的探测每天成百上千,全记进去报表就是垃圾场。所以记录前有一道「页面形」过滤:只记以 .html 结尾、或末段不含点的路径 —— 前者是内容页,后者是目录形地址;带后缀的静态文件缺失和脚本探测一律不进表。

记录用 upsert:同一路径再次 404,命中次数加一、最近时间刷新;外站链接被修复、404 不再出现,这条记录就安静地留在表里等你处理。表结构上,(site_id, path) 唯一键这次是建得起的 —— path 定长 190 字符,190×4 加上整型列刚好 764 字节,卡在 MySQL 5.7 的 767 上限之内。上一版推送表因为 url 255 字符建不了唯一键只能靠代码幂等,这次把键长当设计参数提前算清,两种结论各有各的道理,关键是动手前先算。

还有一条如实的边界:nginx 直接命中的静态文件 404 不经过 PHP,不记录。死链监控看的是「内容层」的 404,不是访问日志的替代品。

一键转 301:不是新接口,是旧表单带了预填

死链报表每行带「转为跳转」,点进去就是 v1.14 既有的 301 新增表单,旧路径和备注自动填好(备注写明「死链修复(来自死链监控)」)。为什么不另做一个「一键修复」接口?因为两套保存逻辑意味着两套校验、两种行为,半年后必然漂移。预填 + 复用是更笨也更稳的方案。

保存成功的瞬间,同路径的死链记录自动置为已处理;这条规则将来被删除,404 会重新出现,记录自动「复活」回待处理。复活不需要任何额外代码 —— 404 再次被记录时 upsert 顺手把 handled 重置回 0,状态永远跟着事实走。死链报表另有「忽略」操作,用于确认不用管的地址(比如外站拼错的链接,你改不了别人的页面)。

URL 规范化:一个类,一个口径

「斜杠的坑」的根治层是一个 60 行的 UrlCanonical 类:去协议与域名、去查询串与锚点、折叠连续斜杠、去前后斜杠,全站只此一份口径。301 规则匹配、死链记录、后台输入校验、前台规范化判定全部改走这里。它明确不做两件事,并写进了注释防止后人「顺手加上」:不做大小写归一 —— Linux 文件系统与路由大小写敏感,既有外链可能依赖精确大小写,归一会把它们变成另一批 404;不解 URL 编码 —— pathinfo 已由框架解码,二次解码会引入 %25 二次注入。

规范化判定挂在静态缓存中间件里,位置在 301 规则查询之前:先归一,再查规则,两套口径才不会漂。请求 /news/xxx.html/ 或 //news//xxx.html 会立刻 301 到规范地址,查询串原样保留;只处理 GET,首页不处理。后台与开放 API 显式排除,API 带尾斜杠返回 JSON 404 是独立应用的精确匹配边界,不该被前台规范化接管。

坑一:pathinfo() 会把尾斜杠剥掉

规范化 301 第一版不生效:直接访问 /news/xxx.html/ 返回 404,而单元级的判定函数测试全过。差异出在检测源上 —— 框架的 Request::pathinfo() 内部会对结果做 rtrim($pathinfo, '/'),尾斜杠特征在进中间件之前就被框架剥掉了,检测逻辑再正确也永远等不到带特征的输入。解法是改用原始 REQUEST_URI:fastcgi 传给 PHP 的这个变量保留客户端发来的原始 URI,nginx 的 merge_slashes 只影响内部 $uri 和 location 匹配,不改写 $request_uri。教训很直接:**在框架里做「输入形态」检测,先确认框架有没有替你清洗过输入。**

坑二:检测前先 trim,把要检测的特征删了

判定函数自己也犯过一个更隐蔽的错:最初写法是先 trim($p, '/') 再判断「有没有尾斜杠」—— trim 完当然没有了,判定恒为 null。这不是第一次见到这种模式:把输入清洗和特征检测写在同一段代码里,清洗恰恰会毁掉检测的依据。正确顺序是先在原始输入上判断特征,再对副本做归一。这两个坑叠在一起,就是 v1.15 首轮部署 3 个断言失败的全部真相。

坑三:单词路由配驼峰类名,404 且被伪装

死链监控的路由目标是 deadlink/index,框架把目标转成控制器类名用的是 studly 驼峰 —— Deadlink。我们按直觉写成了 DeadLink,本地 Windows 大小写不敏感一切正常,上了 Linux 直接 404,而且错误被异常处理伪装成页面错误,看不出是文件没找到。这是 v1.9「多词控制器要写 admin_user/index」老坑的反方向变体:那次是多词路由配了单词查找,这次是单词路由配了驼峰类名。共同教训是 TP8 的路由目标与类名映射规则要按框架口径来,不按英语语感来。修复后专门加了断言:部署脚本检查服务器上不存在 DeadLink.php 残留。

坑四:验收脚本的同会话陷阱

第二轮验收里,「临时超管保存 301」三项失败,响应是 302 回后台首页,看起来像保存功能坏了。手工复现却发现功能完全正常。真相在验收脚本自己的会话上下文:它先用演示账号登录浏览死链页,再切临时超管 —— 演示会话里再访问登录页,因为「已登录」直接 302,脚本拿不到 CSRF 令牌,随后的登录 POST 被表单令牌校验拦回,**会话其实还是演示账号**,后面所有写操作全被演示只读保护拦下。改成全新会话登录超管,三项一次全绿。顺带确认了一个此前担心的问题并不存在:TP8 在同一请求内多次调用 token_field() 生成的是同一个值,列表页每行两个表单的写法不会互踩令牌。这条坑的价值在于:**验收脚本先怀疑自己,再怀疑被测代码** —— 这次差点把一个正常功能当成 bug 去改。

301 缓存与日志清理

301 规则查询加了 60 秒本地缓存:每个请求一次点查看起来不大,但规范化判定加规则查询在同一请求里可能发生多次,缓存把同进程内的重复查询合并掉。TTL 60 秒意味着规则改动最多延迟一分钟生效,后台页面与 changelog 都如实写明了这一点 —— 演示站不需要为秒级生效牺牲查询。死链日志纳入既有的 log:prune 定期清理:保留 90 天,超过 5000 行按命中次数保热度高的,预演模式先报告不动数据。

后台一侧:死链监控怎么用

「死链监控」页顶部三张统计卡(待处理、已处理、累计命中),下面是筛选(全部 / 待处理 / 已处理)、搜索(路径 / 来源页)与列表:路径、来源页、命中、首次、最近、状态,每行带转为跳转、忽略、删除。来源页只记站内 —— 外站来源多数带 rel=nofollow 或干脆拿不到 referer,记了也没法行动。页面说明里如实写了记录边界:只反映页面形 404,静态文件缺失与外部扫描器噪音不进表。模块沿用 v1.14 的 seo.view / seo.write 权限点,纳入演示账号只读保护 —— 能看报表,不能真改。

验收结果

部署验收 50 项全部通过。规范化实测:/news/xxx.html/ 与 //news//xxx.html 均 301 到规范地址,查询串原样保留,首页、sitemap、robots 与正常页缓存机制不受影响,API 边界行为保持 JSON 404。死链实测:404 自动记录且命中累加,.php 扫描噪音不入表,页面形 404 仍走自定义 404 页。后台实测:演示账号可浏览死链报表、GET 写入口被拦;临时超管走通「预填 → 保存 → 死链自动核销 → 前台 301 生效 → 删规则回 404 → 死链自动复活 → 忽略核销」全流程。静态预生成 28 成功 / 0 失败,前台 15 个地址全部 200,开放 API 公开端点 200、令牌接口 401、假栏目 404 等既有行为未回退。

改动范围

新增 wm_404_log 表及回滚 SQL;新增 UrlCanonical 归一类与 NotFoundLog 模型;静态缓存中间件增加规范化 301 与 404 记录;301 跳转模型接入统一归一与 60 秒本地缓存;后台新增死链监控控制器、模板与菜单入口(权限沿用 seo 组);log:prune 扩展死链日志清理口径。前台视觉、主 CSS、Logo 均不在本批改动内。