关键词密度工具 - 用缓存与阈值减少重复检测工作
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /799e7545c3d9.html
📄
关键词密度工具 - 用缓存与阈值减少重复检测工作
减少关键词密度工具的重复检测工作，核心做法是把“每次全量重跑”改成“增量检测”：只对内容发生变化的页面重新统计，未变化的页面复用上一次结果，并用阈值判断哪些页面值得人工复核。前提是你能拿到页面内容的稳定标识，例如正文文本的哈希值或修改时间，并且检测口径保持一致。验收信号是：同一批未改动页面再次检测时，工具调用次数明显下降，而问题页面的命中结果不变。
先明确哪些重复是无效的
重复检测通常分三类，只有第一类值得优先消除。
- 同一页面内容未变，却因为定时任务被反复统计。
- 同一页面内容变了，但只改标题或导航，正文关键词分布没变。
- 不同页面共用模板，统计结果高度相似，却逐页单独分析。
第一类属于纯浪费，可以用缓存直接跳过；第二类需要判断改动位置是否落在正文检测范围内；第三类适合抽检，不必每页都跑完整流程。判断依据是改动是否影响被统计的文本块，如果只改了页脚版权年份，密度结果不会变化。
用内容指纹建立可复用的检测缓存
具体做法是给每个页面生成一个内容指纹，再把它和检测结果一起存起来。下面是一个可以实际执行的步骤，语言不限，逻辑一致即可。
- 提取页面的正文文本，去掉导航、页脚、广告位等非正文区域。
- 对正文文本做哈希，得到一个短字符串作为指纹。
- 检测前先比对指纹：与缓存中记录相同，就直接读取旧结果；不同才重新统计。
- 重新统计后，用新指纹覆盖旧记录，并记录检测时间。
如果不想写哈希，用正文的字符数和修改时间组合也能起过滤作用，但精度低一些：字符数相同而内容替换的情况会被漏掉。哈希的适用条件是文本提取规则稳定，一旦正文选择器改了，所有指纹都会失效，需要整体重跑一次。
用阈值替代逐页人工复核
缓存解决的是“要不要重算”，阈值解决的是“算完要不要看”。关键词密度本身只是一个比例，单看数值意义有限，可以设两级阈值来减少复核量。
- 低于下限：通常说明目标词出现不足，标记为待补充。
- 处于区间内：直接通过，不再人工查看。
- 高于上限：标记为待检查，重点看是否堆砌或语义不通。
阈值必须结合页面类型设定。产品页和长文指南的合理区间不同，用同一套数值会把正常页面误判成问题页面，反而增加复核工作。可以先抽一批已确认正常的页面，统计其密度分布，再据此确定区间，这属于假设性方法，具体数值需要用自己的数据得出。
把检测范围收窄到真正需要的页面
另一个减少重复的手段是缩小检测集合。并非所有页面都需要每次统计，可以按下面的检查项筛选：
- 页面是否已被收录或计划被收录，草稿和测试页可以排除。
- 页面类型是否属于内容页，纯功能页通常不需要密度检测。
- 页面近期是否有内容编辑记录，长期未动的页面可以降低检测频率。
筛选后仍要保留一次全量基线检测，否则无法判断哪些页面从未被统计过。基线完成后转入增量模式，验收信号是每轮检测的页面数量稳定下降，同时新增或修改页面的检测覆盖率保持完整。
记录口径，避免重复劳动被误判为无效
有时重复检测并非流程问题，而是口径不一致：两次统计对正文范围、词形处理、是否计入标题的定义不同，结果自然对不上。解决办法是把口径写进配置，例如是否合并单复数、是否统计标题和描述、是否区分大小写。口径固定后，缓存和阈值才有可比性。若发现同一页面在内容未变时结果波动，先检查口径是否被改动，再怀疑工具本身。
下一步可以选一个已有项目，先对全部页面跑一次基线检测并保存结果，然后只对正文指纹发生变化的页面重跑，观察一轮下来实际检测的页面数量减少了多少。
