先用GA/GSC导出页面数据，筛选“90天无点击+重复率>60%”的页面；再分类处理：相关内容做301重定向，不相关返回410；同时更新内链并提交站点地图。分批（每次1000页）执行，监控7天索引和流量变化。
先找出要删的
重新定义“低质量”
翻看服务器的记录本，Apache 或 Nginx 日志文件里全是实打实的访客脚印。报表里经常冒出一堆 403 错误代码，要不就是 302 跳转个没完。一篇文章在网上挂了 180 天，Google 手机版蜘蛛总共才爬过来 2 次，它已经被系统边缘化了。
光数文章有多少字判断不出什么。拿 Screaming Frog 软件跑一遍，好多用傻瓜建站器搭出来的网页，体积足足有 800 KB。扒开代码看，里面真正的文字连 5% 占不到。
- 纯文本占整个网页的比例小于 10%
- 网页代码层级套娃深过 15 层
- 屏幕画面全刷出来耗时超过 4.5 秒
- 服务器头一次回传数据等了 800 毫秒以上
蜘蛛在咱服务器上停留的时间有配额。一般就给短短 3 到 5 秒。碰到一堆没打包的庞大 CSS 样式表，哪怕是写乱的 JavaScript 脚本，爬虫不乐意等，中断读取马上走人。
打开 GA4 后台的用户报表看数据。后台计算“互动”的标准定得很死。访客点进来得停够 10 秒，往下滑动鼠标看了 2 屏，或者是点过一次购买按钮。全没做的话，系统算没人看过。
有人以为一个月偶尔捞到 50 个冷门词的点击，网页就留着当个宝。去 Search Console 导出过去 16 个月的完整 CSV 表格。搭配跳出率指标对一对账，真实的用户消费数据惨不忍睹。
- 90 天里页面往下滑的深度没到 25%
- 平均看一页的时间连 4 秒都不到
- 回头客的比例是一个纯粹的 0%
- 搜索列表展示出来别人去点的概率不足 0.3%
网友点进标题看了一眼，过了 3 秒随手关掉。机器一直死盯着访客鼠标的动作。业界叫 Pogo-sticking 反弹效应。点进第一条结果，过了 5 秒按浏览器后退键退出来，转头去点了排在第二名的链接。
内容互相打架不是普通的复制粘贴。两篇文章都在写“2024最佳跑鞋”，外部链接的权重被彻底扯散了。Ahrefs 工具扫出来，两页的文本重合度高达 85%。
搜索引擎算法遇到内容双胞胎会发懵。周一算法把 URL-A 排在第 2 页，周三把 URL-B 挪到了第 3 页。两个网址来回互换位置，哪篇也进不了前十。
网站底层的角落塞满了没人点的孤岛网页。没有任何页面给它们挂个超链接引路。Screaming Frog 扫描报表里显示，好几个 URL 的内部链入量读数是 0。
网页没放超链接路标，蜘蛛没法往下爬。真人去点上方的导航菜单栏，点断手也找不到那里。3,000 个毫无声息的网址常年占着服务器硬盘，带不来全站 0.01% 的点击量。
开网店的老被带问号的网址惹上大麻烦。买家鼠标点一下“M码”加“红色”，后台自动生出一条带 ?size=m&color=red 的地址。原本只有 500 件衣服的店，瞬间变出 50,000 个抓取网址。
- 过期大半年的五折促销活动页面
- 名下挂了不到 3 篇文章的干瘪标签页
- 站内搜索栏敲出空白结果的记录页
- 翻页翻出来的无用第 2 页、第 3 页
查看 Canonical 标签能防止错删正常的网页。带了规范指向代码的页面，是网站主主动让爬虫去收录那个写对的原版。GSC 报告里列的“带有规范标签的备用网页”条目，全是系统按要求不收录的。
浏览器弹出来 200 正常的网页，未必就是想被收录的。源文件的 <head> 区域里可能悄悄写着 noindex 指令，叫爬虫别收进数据库。拿 Sitebulb 跑一圈 10,000 个网址查一查源文件指令。
把几个软件里的数字拼到同一张大表上。Excel 用 VLOOKUP 函数，拼上 GSC 过去 365 天的真实点击数。接上 Ahrefs 的网页评分（UR），凑上 GA4 导出来的跳出率。
交叉比对
登录 Google Search Console 后台，默认界面只给看 1,000 条网址记录。面对 10,000 个页面的网站，靠手点翻页完全行不通。去左侧菜单绑定 Looker Studio 免费控制台，把日历控件拨到过去 16 个月。跑出来的 CSV 表格能一口气装下 50,000 行包含准确点击数的清单。
拿到这张大表，眼睛盯住 Impressions 那一列数字。按数值从低到高排个序，底部全是零蛋。挂在服务器上 365 天的网址，要是展现次数少于 50 次，连被路人瞥一眼的机会都没拿到。
登录 GA4 流量统计后台找“探索”报表菜单。用鼠标拖拽“页面路径”放到行设置里，把“活跃用户数”和“会话时长”扔进右边的指标栏。调出过去 365 天的访客轨迹，筛出活跃用户数是 0 的冷板凳链接。
有的网址每天能混到 20 次展现，在 GA4 里访客停留时长常年显示 0 秒。前台点开看，页面全是破损图片。花 149 英镑买个 Screaming Frog 软件授权码，把 10,000 个网址全贴进软件的批量检查框里。
点开始按钮前，得进配置面板改几个参数：
- 勾选 Check Images 抓取页面内图片
- 爬虫速度限制在每秒 5 个 URL
- 连接超时设定拉长到 15 秒钟
- 取消勾选 Respect Noindex 指令
软件跑个 45 分钟完成爬取。导出一个 15 MB 大小的 Excel 大表。看 Status Code 这一列，把标记着 302 跳转、404 未找到、503 服务器超时的坏记录全用颜色高亮出来。
爬虫还能把每个网页里有几个字数得清清楚楚。扫一眼表格里的 Word Count 读数。有的文章主标题起得挺长，正文区只写了 120 个汉字。凑在一起连手机屏幕的二分之一都撑不满。
| 网址路径 (URL) | 过去 12 个月点击 | 访客停留秒数 | 爬虫统计字数 |
|---|---|---|---|
| /shoes/red-sneakers-2021/ | 0 | 0 | 185 |
| /blog/spring-update-v2/ | 12 | 4 | 85 |
| /tags/discount-coupon/ | 0 | 0 | 15 |
| /about/team-old-version/ | 3 | 0 | 450 |
拿 Excel 的条件格式把低于 300 字的单元格全刷成红色。满眼望去全是大红块，多半是建站程序出错批量生成的废品。带 /tags/ 或者 /category/ 后缀的网址占了红块总数量的 80%。
查完字数去查网页的主标题 <title> 标签。Screaming Frog 有个专属的 Page Titles 过滤面板。筛选出来的列表里，有 450 个网页的主标题全叫“未命名页面”或者“默认分类”。
超过 60 个字符的标题在搜索列表里会被强行截断成三个省略号。低于 20 个字符的标题通常只写了个“公司新闻”。把 Title Length 不够 20 的网址全单拎出来建个单独的工作簿。
查网页的 H1 标签数据列。正常排版的一篇长文章只能有一个 H1 主标题。报表里冒出 H1-1、H1-2 甚至 H1-5 好几列数字，说明页面的 HTML 代码彻底写乱套了。
检查网页内部链接流入量读数。Inlinks 读数显示 0 代表没别的页面给它做超链接。从网站主页点 3 下鼠标能到的地方叫浅层页面，软件里 Crawl Depth 读数大过 5 的网址全是被埋没在底层的废料。
去核对 XML 网站地图文件。老网站的 Sitemap 里常年塞满了 2018 年生成的死链接。贴进文本编辑器里搜索 <loc> 标签数量，拿着 20,000 个旧地图网址，跟刚爬出来的 10,000 个活网址做 VLOOKUP 函数匹配。
没对上的 3,500 条幽灵网址单独复制粘贴出来。买 Ahrefs 或者 SEMrush 高级版账号跑网站诊断模块。跑到重复内容仪表盘，系统把文字相似度高于 80% 的页面凑成一对对的双胞胎列表。
一双跑鞋分了红黄蓝三种颜色，电商系统自动生出 3 个一模一样的独立网址。总共 30,000 个字符的网页里，只有颜色那个词变了。导出含 2,500 行双胞胎网址的 CSV 报错文件，把它们跟前面的零流量大表贴在一起。
分类处理
果断删除（404 或 410）
站长打开后台管理面板，勾选出3,500个完全没有销量的旧商品链接。按下键盘上的删除键，MySQL数据库在0.5秒内清空了相关的表格数据。普通买家通过旧书签访问这些网址，屏幕上会显示一个空白的404错误代码页面。
Googlebot每天凌晨2点准时访问这台拥有500个网页的服务器。爬虫读取到这几千个空白链接的HTTP标头，记录下404未找到的状态。机器程序判定服务器遇到了临时的15分钟停机维护，把网址重新放回待处理队列。
隔天凌晨爬虫带着任务清单回到完全相同的网址。1.2MB的空白HTML文件再次加载，白白消耗掉服务器0.3秒的CPU运算时间。一万个被删除的页面让爬虫在连续15天里来回跑了近10万次空趟。
无用的访问请求占用大量网络带宽。服务器的8GB内存被这些来回试探的空跑请求塞满了30%的空间。刚发布的一篇2,500字全新产品测评文章，排在抓取队列的末尾苦苦等待了整整8天。
- 爬虫连续多周重复访问死链
- 白白占用服务器2GB以上内存
- 新文章收录入库时间被推迟8天
- 降低搜索引擎对网站更新的频率
修改服务器配置文件能改变爬虫的行为。运维人员登录cPanel虚拟主机面板，找到根目录下一个名为.htaccess的纯文本文件。输入一段不到40个英文字符的规则代码，把废弃目录下的网址全部指向410状态。
代码指令向外界传达永久性销毁的信号。凌晨3点爬虫再次造访，服务器在50毫秒内返回410标头信息。机器程序收到对应指令，立刻将对应的URL从当天的扫描任务表里剔除。
搜索引擎的索引数据库在48小时内做出反应。那3,500个旧商品的网页快照被彻底从搜索结果列表里抹除。旧的404方式会让这些死链接在搜索结果第5页挂上将近45天的时间。
借助软件工具能找出全站的无效链接。一款名为Screaming Frog的爬虫软件在电脑上运行45分钟，扫描完毕后导出一份大小为450KB的CSV表格。表格里密密麻麻列出了8,500个需要清理的废弃网址。
- 启动电脑软件扫描网站架构45分钟
- 导出包含8,500个网址的CSV文本
- 在Nginx服务器里填入文本规则
- 次日早晨核对服务器的200状态日志
站长把这些网址清单打包上传至Nginx配置文件夹。几十行简单的正则匹配代码代替了人工手动逐个删除。一个人坐在电脑前手动处理8,000个网页需要耗费35个小时，跑代码程序仅仅花掉12分钟。
Search Console后台的数据图表在周三上午发生了变化。红色的抓取报错曲线从每天的6,000次直线下跌到25次。绿色的有效抓取次数从每天1,200次爬升到了5,500次。
清理掉无效网页改变了网站的整体评分。一个食谱博客删除了12,000个只有菜名没有步骤的空网页。整个网站的页面总数从20,000个锐减到8,000个，优质内容的比例瞬间拉升至100%。
爬虫把每天的抓取配额全部分配给这8,000个图文并茂的食谱。三周过后，网站每天带来的自然搜索访客从4,200人增加到6,800人。服务器轻松应对着新增流量，CPU占用率平稳保持在15%以下。
- 爬虫完成全站抓取只需4小时
- 网站优质内容占比达100%
- 日均搜索访客数量增加2,600人
- 服务器CPU占用率稳定在15%以下
一对一301重定向
站长在后台导出一份体积为75KB的CSV数据表。表格D列清晰标着每个老网页带有的外部网址数量。排在第17行的一篇2019年发布的1,200字手机壳评测，带着15条来自知名科技论坛的站外链接。
网页里的老配图早已裂开无法显示。搜索框里搜索旧款型号依然每天引来45个自然访客。按下键盘Delete键删掉网页，那15条高权重的外部链接会在24小时内变成死链。多年积攒下来的域名信任度顺着断开的链接白白流失。
给旧网址安排一个对应的新去处能挽回即将丢失的流量。在Apache主机的根目录下打开一个名为.htaccess的5KB纯文本文件。敲入一行包含301数字的短代码，服务器在0.1秒内完成新旧网址的强制跳转。
访客在浏览器地址栏敲下带有2019年份的旧网址，屏幕在一秒钟内闪过，地址栏的URL自动变成了一篇昨天刚发的新款手机壳文章。
批量处理不能采取一刀切的做法。部分新手站长把整理出来的3,800个废弃网页一股脑全部跳转到网站的主页。Googlebot在凌晨2点巡视网站，发现原本讲数码评测的网址全变成了展示公司简介的首页界面。
机器算法对内容严重不符的跳转极其反感。超过85%的批量跳首页行为会被爬虫打上软404的报错标签。原有的网页信任度无法转移到主页，全站的搜索排名在接下来的14天内下跌至少20个名次。
- 避免把几千个废弃网页打包指向单一的主页
- 内容匹配度低于50%会触发算法警报
- 软报错标签导致网页失去参与排名的资格
- 错误跳转引发全站访客数在两周内骤降
表格里列出的每一个网址必须匹配一个高度般配的接班人。旧网页介绍的是一款停产的14寸笔记本电脑电池，新网址的页面上必须展示同一品牌的电脑电池分类目录。两者之间的文字重合度要求达到60%以上，满足爬虫的审查标准。
运维人员在电脑前打开Excel表格。左边A列放着2,400个旧网址，右边B列填入精挑细选出来的新网址。花去大约8个小时的人工核对时间，一张精准的一对一映射表制作完成。
Nginx服务器读取特定的正则表达式格式。一段大小仅为12KB的配置文件上传至服务器后台，重启Nginx服务只需短暂的3秒钟。原先每天访问那2,400个旧网页的5,500名访客，被平稳地输送到对应的新页面上。
爬虫顺着科技论坛里的旧链接爬行过来，遇到跳转代码，顺藤摸瓜找到了刚写好的新文章。旧链接积累了5年的权威度，像水流一样100%灌溉到新网页里。
旧网页上的历史权重通常耗费15到30天的时间完成转移。Search Console后台的数据曲线在第三周发生明显上扬。接收完旧网页传递的权重，一篇原本排在搜索结果第4页的新款手机壳文章，排名猛窜到了第1页的第3名。
在Google Analytics面板能查看流量挽回效果。过滤掉机器人访问的虚假数据，部署代码的第45天，网页跳出率从原本的78%下降到了42%。精准的内容匹配促使访客在页面上多停留了整整2分15秒。
- Excel表格左右两列建立URL人工映射对应关系
- 上传12KB配置文件仅需3秒重启服务器
- 旧网页权重耗费15至30天完成转移
- 精准跳转将页面跳出率降低30%以上
内容合并
站长登录网站后台面板，鼠标点开文章列表。屏幕上排列着12篇讲解“相机镜头清洁”的短小图文。每篇网页上的汉字数量在150到250个之间。发布日期零散分布在2019年3月到2022年8月的不同月份里。
搜索引擎的机器程序读取这批网页会面临算力分散的状况。在Search Console面板里查阅过去180天的搜索展现折线图。这12个短网页的排名曲线像一把生锈的锯子，每天都在上下大幅度跳动。
A网页在星期一排在第52名。B网页在星期二把A网页挤下去，自己占了第48名。同质化极其严重的短小网页在后台互相抢夺搜索展现的名额。每个短网页分到的自然访客每天只有区区两三个人。
挑选主阵地网址依赖于历史数据扫描。站长打开Ahrefs爬虫软件的界面，把这12个旧网址的URL粘贴进搜索框。软件在1分钟后输出了一份对比数据表格。依靠表格里的外部链接数量，找出了底子最厚实的那个网页。
| URL网址后缀 | 过去一年点击次数 | 外部网站链接数 | 当前网页字数 | 建议动作 |
|---|---|---|---|---|
| /clean-lens-2019 | 530次 | 18条 | 320字 | 保留并在原地址扩写 |
| /lens-dust-wipe | 14次 | 0条 | 180字 | 复制文字后清空 |
| /camera-cleaning-fast | 6次 | 2条 | 210字 | 复制文字后清空 |
| /lens-care-short | 0次 | 0条 | 150字 | 复制文字后清空 |
表格第一行的各项数据遥遥领先。带有2019年份后缀的网址留在服务器目录里不动。其余11个网址里的文字全部被按下键盘上的删除键清空。那11个旧的URL进入了等待后期处理的排队列表里。
运维人员在27寸显示器上打开12个浏览器标签页。用鼠标把那11篇废弃短文里有用的段落，像拼图一样复制进一个空白的Word文档。删掉里面重复啰嗦的句子，一篇长文的雏形慢慢出现在屏幕上。
编辑人员对着拼凑出来的Word文档重新敲打键盘。把“超细纤维布”和“清洁液滴数”等零散段落，全部填补进那个选定的主网页编辑器中。主干文章的文字量从干瘪的320字像滚雪球一样膨胀到了3,500字。
- 选出表格里点击量最高的那个网址作为主阵地
- 把其余废弃网页里的有用文字剪切到记事本里
- 整理并修改文字将主网页总字数扩充至3000字
- 把发布日期更新为当月当天的最新时间戳
鼠标点击屏幕右上角的更新发布按钮。那11个被掏空文字的旧网页不能扔在后台不管。程序员在服务器面板里输入一行301状态代码指令。这11个旧网址被设定为全自动跳转到这篇3,500字的新文章上。
如果不做代码跳转处理，那11个被清空的网页会向访客展示404错误提示。每天大概有20个老访客会通过旧书签访问这些失效页面。跳转代码让这些老访客在不到0.5秒钟的时间里，顺滑地打开了内容更丰富的新版长文章。
添加Noindex标签
打开网站后台的页面统计面板，一个拥有5,000篇文章的博客生成了18,000个网页URL。多出来的13,000个网址全是由系统生成的标签分类、按月归档列表和内部搜索展现页。普通访客用鼠标点击侧边栏的月份标签，能在0.3秒内找到想看的历史文章。
机器程序日夜不停地读取网站结构代码。它毫无分辨能力地把13,000个列表网页全部装进搜索数据库。在Search Console工具里查阅收录报表，红色的重复内容报错提示多达4,500条。上万个内容极度单薄的列表网页，严重拉低了网站域名的整体质量评分。
访客在网站主页的搜索框里敲打“2023键盘”。系统在后台瞬间生成了一个带有search?q=键盘字符的全新动态网址。每天上百个真实访客在使用站内搜索功能查找资料，服务器后台不知不觉静默生成了8,000多个没有任何实质阅读内容的搜索结果页。
- 站内搜索结果页带有大量随机参数字符
- 每月按日期归档的文章列表缺乏独立文本
- 用户登录和注册界面的汉字数量不足50个
- 文章标签页的内容与主分类目录存在90%重合
强行删掉上万个功能网址会导致访客无法顺畅浏览网站。访客点开右上角的会员注册按钮，屏幕上弹出一个纯白色的404报错页面。超过95%的真实用户遇到死链接会在3秒内关闭浏览器标签卡退出网站。工程师要在保留物理访问通道的前提下，用代码阻止机器程序把网页收录进数据库。
前端工程师打开云服务器里的header.php系统文件。鼠标光标定位到第6行的<head>代码区块中间敲击回车键。在一片空白的行距里插入一行仅有28个英文字符的<meta name="robots" content="noindex, follow">标签代码。
保存修改好的文本文件，通过FTP工具重新上传至云端主机覆盖原文件，整个配置过程耗费时间不到5分钟。一小段简单的代码充当着一扇虚拟的隐形隔离门。网页爬虫在星期二凌晨1点造访带有“键盘”字样的站内搜索页面。
读取到网页HTML头部那段带有Noindex指令的代码。机器扫描程序在短短0.05秒内中止了将该网址编入索引数据库的动作。指令明确禁止了内容收录行为，搜索索引库在三天内自动清除了8,000个空白结果页。
- 借助FTP软件连接服务器下载头部模板文件
- 在特定代码区块内写入28个字符的屏蔽指令
- 保存为UTF-8编码格式覆盖云端的旧文件
- 在Search Console工具里提交任意列表网址测试
代码后半段保留了follow指令属性，保障了网站内部网状结构的通畅。机器程序把没有价值的标签页拒之门外，读取到后续指令，依然会顺着页面上的50条超链接向网站深处爬行。整个网页爬虫的抓取通道保持100%畅通无阻。
错误地删掉follow属性，网站上15%深埋在第三层标签页底部的优质老文章会面临彻底失联的风险。爬虫停留在带有屏蔽标记的列表页面上，耗费0.1秒的时间准确识别出放行指令。扫描程序顺着四通八达的网状链接向四周扩散。
每天固定分配给该网站的3,000个抓取配额，全数引导至字数丰富的高质量长篇文章上。保持代码运行等待15到20天，在后台数据面板里查阅各项物理指标的变化趋势。原本高达18,000个的已收录网页总数，像挤海绵里的水分一样每天往下掉。
到了实施操作的第30天，数据库里精简剩下5,200个拥有超过1,500字内容的充实网页。
- 已收录网页总数从18,000个锐减至5,200个
- 服务器每天节省约850MB的无效抓取带宽
- 单篇长文章的平均名次上升了15个身位
- 普通访客使用站内搜索未受任何阻碍
庞大臃肿的体量减轻后，留存下来的5,200个优质网页获得了搜索引擎给予的更高评分。在第45天导出的自然流量统计Excel表中查看对比数据。每天从搜索引擎点进来的真实访客数量，从原本可怜的850人稳步爬升到了1,600人。
SEO修复
站内链接清理
删掉一万个网页后，网站里通常还会剩下三万到五万个旧链接指向它们。搜索引擎的机器爬虫每秒会来网站抓取 50 到 100 次。遇到一个打不开的 404 页面，爬虫会被迫停顿 0.5 秒。一天下来，分配给该站点的抓取配额会被八万次报错消耗殆尽。
找旧链接得靠本地电脑安装 Screaming Frog V18 软件。云端软件免费扫两万个网页就会自动停止。让本地软件顺畅跑十万条数据，要在电脑设置里分出 8GB 专属内存给它。
启动软件前勾选和取消几个特定参数：
- 关掉 Check Images 图标校验
- 勾上 Crawl outside 抓取外链
- 抓取层数填 10
- 访客身份选 Smartphone
扫完十万行网页代码大概要花 45 分钟。点开导出按钮，电脑磁盘多出一个 150MB 大小的 CSV 文件。千万别用普通表格软件去双击它。一百零四万行的数据量会让办公软件当场卡死。
换用 Notepad++ 纯文本查看器打开这份原始文件。按下 Ctrl+F 调出搜索框，查找带有 404 或者 410 编号的行。把带错误的行单独复制出来，存成一个 85KB 的 TXT 纯文本备用。
拿着名单去网站后台一个一个换链接极慢。找懂技术的人登入 phpMyAdmin 数据库界面改底层数据。在 wp_posts 数据表里输入一串 UPDATE 替换代码，按下回车。三秒钟内 6500 处文章里的旧链接就被翻新完毕。
有部分旧链接藏在网站顶部导航的 header.php 文件里。手动把代码里的 href="/deleted-page" 删掉，去服务商后台清空 3 个 CDN 节点缓存。打开浏览器按 F12 看网络面板，状态码变回 200 才算正常。
查阅 Apache 服务器昨天的 8500 次错误访问日志。庞大的死链接报错拖慢了网页响应速度。原本 120 毫秒就能完全打开的网页，昨天被硬生生拖延到了 450 毫秒。
清理藏得更深的链接要动用高级指令排查：
- 输入 wp search-replace 扫描全站
- 花 12 秒改写 14200 处隐藏代码
- 分配 2GB 内存给内置模拟浏览器
- 等 5 秒找出 340 个 JS 脚本错误
清理完毕后，把爬虫速度调慢到每秒 5 个网页，重新扫一遍全站代码。上个月用 50 个网页做过一次实测，误删周围链接导致 12 个页面掉出搜索第一页。去给那 12 个网页各自补上 3 个带有文字说明的有效链接。
登入搜索控制台，进入页面索引报告面板。点一下带有红色感叹号的修复验证按钮。机器会在接下来的 28 天时间里，顺着铺好的几万条新路，把整个网站的架构重新走一遍。
XML Sitemap 的反向提交
删掉一万个没用的网页后，如果不碰网站根目录下的 sitemap.xml 文件，麻烦会接踵而至。搜索爬虫顺着旧地图名单去抓取，连续碰到八千个打不开的网页，机器会给整个网站打上长期无人打理的差评标签。控制台上的日常抓取配额会从每天 5 万次暴跌到不足 3 千次。
得给搜索引擎交出一份完全干净的新名单。去服务器后台把地图生成插件的上限改一下，把原本一页装 1000 个网址的设定改为装 500 个。把一张 1.2MB 的沉重表格，拆解成 4 张只有 300KB 的轻量级小表格，方便机器几秒钟快速读完 200 正常状态的链接。
把纯净版的新地图扔进提交框，搜索蜘蛛大概要耗费 45 天的时间去核对。它每天慢吞吞地来走两圈，那一万个旧地址依然顽固地停留在它的记忆库里。
换个思路做一张反向地图，能把清理时间硬生生砍掉 80%。新建一张单独的表格，取名叫 sitemap-deleted.xml。用 Excel 表格把那一万个已经报废的网址全塞进去。
为了让机器觉得这份废弃名单很急迫，要给文件加上几个特定标签：
- 修改文件时间属性为昨天的具体日期
- 抓取优先级数值拉到最高的 1.0
- 到访频率选成每小时来一次
- 状态代码全打上 410 Gone
把这张装满废弃网址的表传到服务器的 /public_html/ 文件夹下。去搜索引擎的后台提交它。机器收到最高优先级的召唤，会在接下来的 48 小时内，派出两三百个并发线程疯狂核对这张名单。
机器每敲开名单上的一个网址，迎面撞上的都是代表永久失效的 410 代码。前后不到 3 天的时间，那一万个废弃网页就被搜索引擎从资料库里删得一干二净。
每天盯两眼后台的抓取统计图。红色的 410 状态码曲线会冲上 9800 左右的高峰，几天后迅速掉落到两位数，这时候就该清理现场了。
收尾动作分三步干脆利落地做完：
- 用 FTP 软件登录后台删掉反向地图
- 在控制台面板点一下移除文件按钮
- 打开 robots.txt 文件擦掉那行地图地址
懂点代码的人会用 API 接口去批量通知机器。在电脑上装个 Python 环境，把一万个网址打包上传。一天只能免费用 200 次通知额度，写几行循环代码让它自动挂机跑满 50 天。
调出黑色命令行窗口，挂载一个 1.5KB 大小的服务号密钥文件。敲击回车运行脚本，屏幕上每隔 3 秒就会往外蹦出一个带有 HTTP 200 的成功回执。
清理完废弃物后，把前面拆分好的 4 张干净地图重新交上去。为了让机器快点来读新文章，去浏览器地址栏拼上一串带有 ping 字样的通知链接，敲击回车强制呼叫爬虫。
屏幕变成白底黑字，跳出短短三个英文单词的成功提示。爬虫收到信号，搜索引擎正式接纳了网站修补后的新模样。
处理包含几万条链接的庞大地图，网站极容易卡死报错。生成 8 万条记录的列表，会一口气吃掉服务器 512MB 的内存。去 wp-config.php 文件里改个数字，把内存限额临时调高到 1024M，加上 20 秒的生成间隔，预防 CPU 占用率飙到 95% 导致网站瘫痪。
地图里还藏着大量的旧图片地址。一万个网页上通常挂着三万张 JPG 或 WEBP 格式的图片。单独开一张 sitemap-images.xml 格式的专属图片地图，用软件把报 404 错误的死图片挑出来扔掉。
21 天监控周期
按下删除键后的 504 个小时内，网站后台的各项指标会发生剧烈震荡。打开控制台的网页索引栏目，左侧的红字报错数量每天都在刷新上限。那条原本贴着底部的红色曲线，会在第 3 天猛地窜到 8500 左右的高位。
手指千万别去碰任何撤销恢复的按钮。机器爬虫正处于吞咽这一万个空洞的阶段，每天会把几百个 404 状态的废弃网址从大名单里踢出去。有几个具体数值需要每天雷打不动地去后台挨个核对。
- 排查 503 服务器过载报错条目
- 提取前 1000 个失效链接进行抽查
- 比对全站每日曝光展现量折线走向
- 记录排名前十网页的具体位置变化
每天早晨拉取前一天的服务器访问日志，做一份纯数字的比对记录。拿一张带有具体阈值的警戒线表格放在电脑屏幕旁边，当成丈量一万次抓取动作的直观尺子。
| 监控天数 | 正常指标浮动 | 异常跌幅警戒线 | 重点排查动作 |
|---|---|---|---|
| 第 1-7 天 | 展现量下滑 5% 左右 | 单日展现跌去 15% 以上 | 301 错误映射 |
| 第 8-14 天 | 报错数突破 8000 大关 | 健康网页掉出前 50 名 | 内链大面积断裂 |
| 第 15-21 天 | 点击率回升 0.2% 至 0.5% | 主域名流量呈现断崖下跌 | 误写屏蔽代码 |
拉出 FTP 软件下载近三天的 access.log 原始日志。原本仅有 200MB 的纯文本文件，被密密麻麻的报错记录撑大到了 1.5GB。调出系统的代码命令去截取最后 10000 行访问记录。
从日志里提取出机器爬虫访问频次最高的 50 个报错网址。把这些网址扔进浏览器地址栏挨个敲击回车，肉眼检查屏幕上弹出的状态码是否带有提前设置好的 410 标记。
到了第 8 天，旧网页遗留的跳转代码往往会集中爆发故障。15 个用来卖货的商品详情页流量突然蒸发了 20%。马上打开桌面端的 Screaming Frog 软件去扫描访问路径。
输入出问题的商品网址敲击回车，机器抓取到了多达 6 层的漫长跳转链条。一次跳转没设置好变成了连环跳，网页自身的权重在每一层跳转中会流失大约 15%。
去后台的 Nginx 配置文件里，把那串长长的映射关系表全部删干净重写。
- 清理旧网址到中间页的多余跳转层级
- 改代码让废弃页一次性指到全新页面
- 登录 Cloudflare 清空全部边缘节点缓存
- 测算浏览器真实重定向延迟少于 0.8 秒
排查完跳转代码，把视线挪到 Ahrefs 流量追踪软件上。填进去保留下来的 340 个重要网页列表，拉出过去 15 天的排名变化图。12 个排在第 8 名的高流量文章，位置一天内滑落到了第 17 名以外。
位置意外往下滑，源于操作人员误删了负责传递权重的几篇关联文章。去网站的回收站里，把带有高质量锚文本的 3 篇文章点一下恢复，挂上 200 正常响应码。
短短 48 小时后，那 12 个文章的排名位置从第 17 名重新爬回到搜索结果的第一页。留存下来的网页开始大口吸收释放出来的抓取额度。在成效分析表里圈出排名前 50 的网页，过去它们的平均点击率徘徊在 1.2% 上下。
一万个垃圾网页消失得干干净净，每天多出来的 8 万次机器抓取机会全部分配给了剩下的健康网页。到了第 21 天下午，重新拉取一份长达 90 天的展现量趋势图。
过滤掉那些已经被彻底抛弃的废旧地址，单看健康网页的数字走向。图表右侧的单日展现量数值从上个月的 45,000 次，稳稳当当地爬升到了 48,500 次。
