第一次跑Screaming Frog:先定范围再看问题表
Screaming Frog SEO Spider适合把页面、响应状态、标题、规范地址和链接关系放进一张可筛选的检查表。但它的价值在于发现并定位问题:爬取结束不等于审计完成,工具标记也不能直接当作Google排名规则。第一次跑,先定好范围再启动。
启动前准备范围设置
从官方产品页下载适合当前操作系统的版本安装。免费版有500个URL的抓取限制,部分配置和功能需要许可,不要承诺任何网站都能在同样时间内完成。第一次建议选一个已获授权的小目录试跑,确认不会进入无限筛选、站内搜索或大量重复参数URL。记录开始地址、是否包含子域、抓取限制、渲染方式、UA以及开始时间。生产站点从保守并发开始,观察响应时间和错误率后再调整。完整的配置与排查口径见Screaming Frog抓取设置与问题定位说明,跑之前可先对照。
HTML还是JavaScript渲染
官方配置手册说明,HTML模式主要检查初始HTML;JavaScript模式会执行客户端脚本并从渲染后的HTML提取内容。若正文或链接由前端生成,应对代表页面比较两种结果,再决定全站抓取方式。换成Googlebot的UA并不会让软件获得真实Googlebot的IP和身份,所以UA设置解决不了身份问题,渲染方式才决定看到的内容对不对。
跑完一轮按顺序看问题
先看访问故障:5xx、超时、被拦截的URL,这些是检查表的前提。再看索引配置:noindex、canonical指向、重复版本,确认哪些URL本来就不该参与排名。然后看内容与链接:缺失或重复的标题、过长过短的描述、孤立页面与深层页面。可在授权范围内结合站点地图、CMS的URL清单及可用的GSC数据,比较哪些URL只来自外部清单而没有站内入链。同样,工具看到很多链接并不代表它们有阅读价值,正文内链应帮助用户继续解决相邻问题,不靠批量互链补数字。
工具标记不等于排名规则
交付结果时,按访问故障、索引配置、内容与链接三个方向给出实际受影响URL、证据、修复负责人和验收方式,优先级结合页面的重要性与真实搜索数据。修复后用相同配置复爬受影响范围,并另做浏览器和Search Console检查。Screaming Frog不能独自证明页面已收录、排名提高或带来询盘,工具的红绿灯只是入口,结论要回到页面与数据本身。
教学示例(虚构):某站首次全站抓取500条上限用尽,一半是筛选参数URL。改从产品目录试跑,排除参数,复爬后问题表只剩23个有效URL,逐一分配修复与复查。以上为演示。
先定范围,再跑一轮,最后按故障、配置、内容三层交付。顺序对了,500条上限也够用。