v1.14.0:收录管理,301 跳转与搜索引擎自动推送
2026 年 11 月 16 日,卫民CMS 演示站交付 v1.14.0。这一版做的是收录管理:后台新增「301 跳转」和「收录推送」两个模块,内容改地址不再掉权重,内容发布和下线不再等搜索引擎自己爬。前台视觉、主 CSS 与 Logo 照旧不动。
为什么演示站要做收录管理
一个 CMS 的内容生命周期里有两个时刻最伤 SEO:一是改别名。新闻或产品的 URL 里有 slug,改名之后旧地址变成 404,搜索引擎里已经收录的链接、别人转发的链接全部失效,权重清零重来。二是删内容。内容下线后地址 404 是对的,但引擎不知道这个页面是「永久没了」还是「暂时打不开」,如果一直 404,整站的抓取预算会被死链慢慢吃掉。
这两个问题的标准解法分别是 301 跳转和主动推送。301 告诉引擎「内容搬家了,权重跟过去」;推送告诉引擎「这里有新内容/旧内容没了,尽快来处理」。大多数建站系统的做法是装个第三方插件,或者干脆不管,让客户自己去站长平台手动提交。我们的判断是:这属于内容管理的基本盘,应该长在 CMS 里,而不是靠插件续命。
设计取舍一:301 判定必须排在静态缓存之前
这一版最要紧的一个顺序问题在缓存中间件里。我们的前台有整页静态缓存:命中缓存时直接返回磁盘上的 HTML,短路返回,根本不会进控制器。这在 v1.11 之前是纯收益,但对 301 是致命的 —— 改别名后,旧地址的缓存文件可能还躺在磁盘上,如果先查缓存,返回的就是 200 和旧内容,301 永远轮不到出场。
所以 301 判定写进了静态缓存中间件的 before 阶段、读缓存之前:按当前站点和 pathinfo 查一次 wm_redirect,命中就立刻 301,显式回 X-Static-Cache: SKIP,不读也不写缓存,并顺手把命中计数加一。查询是唯一索引上的点查,演示站流量下开销可以忽略;查询异常或表不存在时返回空,原缓存流程完全不受影响 —— 升级窗口里先上代码后建表也不会炸。
后台一侧,跳转规则支持备注、启停、命中次数与去重校验:同一个旧路径只能有一条启用规则,旧路径不能等于新路径,避免自己跳自己。规则改动不碰前台缓存,因为命中时本来就绕开了缓存。
设计取舍二:推送走队列,不在保存时卡用户
推送接口是外呼请求,快则几百毫秒,慢则超时。如果在「保存内容」按钮的请求里同步推搜索引擎,保存一次内容就要多等一秒起,而且接口抖动会直接把保存变成失败 —— 这是本末倒置。所以这一版把推送做成队列:内容新增、修改、删除时,模型事件只往 wm_seo_push 表写一条 pending 记录,零外呼、零延迟;真正的推送由服务器定时任务每 30 分钟消费一轮,后台也可以手动点「立即推送」。
同一 URL 只保留一条记录:重复保存会把已有记录重置回 pending,不会堆出重复行。推送失败不丢任务,状态写回 fail 和错误摘要,下一轮自动重试;推送目标按凭据开关 —— 配了 IndexNow 密钥就走 IndexNow(必应、Yandex、Seznam 共用协议),配了百度 token 才推百度,没配的目标如实标记 skipped,不假装推过。所有异常都只写进记录表,绝不向上抛 —— 内容保存永远不该因为搜索引擎超时而失败。
还有个容易被忽略的细节:内容删除也入队。IndexNow 的语义是「URL 状态可能变了」,删掉的地址推过去,引擎会尽快摘除索引,比留着 404 等爬虫发现要快得多。
IndexNow 的协议要求:key 文件自托管
IndexNow 免注册,但要求你能证明「这个站是你的」:在站点根目录放一个 密钥.txt,内容就是密钥本身,推送时用 keyLocation 告诉引擎去哪验证,验证不通直接拒收。所以后台保存配置时,密钥变更会自动同步 public/{key}.txt —— 写新文件、删旧文件、写失败给提示但不阻塞保存;命令行也提供了 seo:push --gen-key,一键生成 32 位密钥并完成两件事。演示站实测:key 文件直访 200,两条真实 URL 推送均返回 200「已接收」。
单源登记:sitemap 与静态预生成共用一张清单
借这一版顺手修了一个结构性欠账。前台有一批不在数据库里的静态路由页(组件库、更新日志、源码交付、联系我们、隐私政策、常见问题、开放 API),以前要在 sitemap 和静态预生成两处各登记一遍 —— 漏一处,要么搜索引擎抓不到,要么首屏现场渲染。现在两处共用同一份 frontend_urls.php 登记表,新增页面只改一处。顺带补登了 /product.html 与 /news.html 两个频道列表页,静态预生成页数从 25 变成 27。
坑一:MySQL 5.7 的键长,逼我们放弃唯一索引
推送记录的幂等本来想用唯一索引兜底:(site_id, url, target)。但 url 是 varchar(255),utf8mb4 每字符 4 字节,255×4 已超 767 字节的前缀上限,再叠加 site_id 和 target 必然报错。缩到 191 可以塞进去,但那是给「恰好够用」的表留的口子,URL 超长时插入会直接失败。最后的选择是干脆不建唯一键,幂等由代码保证:先查后插/改,队列本来就有定时任务兜底,偶发的并发重复行影响为零。
坑二:group 是保留字
配置项种子往 wm_config 插两行,列清单里写了 group 没加反引号,MySQL 直接 1064。这个表的列名当初就是 group,历史 SQL 里都带着反引号,新写的脚本一疏忽就踩进去。真正的教训是:凡是和历史表结构打交道的 SQL,保留字一律无脑加反引号,不要赌版本。
坑三:同值保存不触发模型事件
验收模型事件钩子时最初用的办法是「把一条内容的标题原样保存一遍」,结果队列纹丝不动。原因在 think-orm:save() 时框架会比较变更数据,没有任何字段变化就直接跳过 UPDATE,UPDATE 都没有,after_write 自然不会触发。换成新建临时记录来验收,钩子立即生效。这个行为本身是合理的(没变更就不该写库),但要写进验收手册 —— 「原样保存一遍」这种想当然的测法会得出「功能失效」的错误结论。
坑四:新模块上线,演示账号被权限踢了出去
后台模块上线后用演示账号验收,两个新入口全部 302 回仪表盘。排查发现是 RBAC:演示站对外开放的是「只读观察者」角色,它的权限点清单里没有 seo.view,模块级读权限校验直接拦截。解法是给 viewer 角色补上 view 权限点(只给 view,不给 write —— 写操作另有演示只读中间件兜着)。这里的产品结论是:每新增一个后台模块,「权限点字典 + 演示角色」就是上线清单的一部分,漏一项,客人就看不到这个功能。
坑五:HTTP/2 会把响应头改小写
验收 301 响应时断言 X-Static-Cache: SKIP,怎么都对不上。抓原文才发现 nginx 走 HTTP/2 时响应头全变成了小写 x-static-cache。功能没问题,是断言写死了大小写。这类「验证代码比被测代码更容易错」的坑没有捷径,只能把实测原文贴出来对。
后台一侧:两个新模块怎么用
「301 跳转」页顶部是三张统计卡(规则数、启用中、累计命中),下面是搜索与列表:旧路径、新路径、备注、状态、命中次数、创建时间,每行带编辑、启停与删除。新增表单只填路径部分,域名和查询串会被自动归一化掉;新路径可以是站内地址,也可以填完整 URL 应对换域名。表单里写清了为什么加这条 —— 半年后回来看备注,比看代码快得多。
「收录推送」页是四态统计(待推送、已提交、失败待重试、跳过)加记录列表:地址、目标、状态、HTTP 码、说明与更新时间。没配凭据时页面如实提示「队列只入队不外发」并指到站点配置页,不假装能推;「立即推送」按钮一次最多消费 30 条。两个模块都纳入角色权限(seo.view / seo.write),并进演示账号的只读保护 —— 能看,不能真推。
验收结果
部署验收 51 项全部通过。301 实测:启用规则命中 301、Location 指向新地址、显式回 SKIP 头、命中计数递增;停用后回到 404,删除规则后恢复 404。推送实测:dry-run 只报告不外呼;真实消费两条均返回 IndexNow 200 写回 ok;模型新建触发入队、URL 与目标正确;队列消费后归零。IndexNow 密钥 32 位生成、key 文件写盘且内容一致、直访 200。后台两个新页面渲染正常、统计卡与表格齐全,演示账号可以浏览、点「立即推送」被只读保护拦截。静态预生成 27 成功 / 0 失败,前台 15 个地址全部 200,开放 API 公开端点 200、令牌接口 401、假栏目 404 等既有行为未回退。定时任务已挂 crontab(每 30 分钟)并实测跑通一轮。
改动范围
新增 wm_redirect 与 wm_seo_push 两张表及回滚 SQL、两个配置项;新增两个模型、推送服务、seo:push 命令;静态缓存中间件增加 301 前置判定;静态缓存失效钩子增加可选推送入队;后台新增两个控制器、三个模板与一个页内样式表,两个权限点与菜单入口;站点配置保存时同步 IndexNow key 文件;sitemap 与静态构建改读单源登记表并补登两个频道页;新增前台静态页清单数据文件。前台视觉、主 CSS、Logo 均不在本批改动内。