跳到主内容

Google 抓取预算优化：大站的 robots.txt 策略

听风者615 浏览
听风
听风者楼主
Google 索引速度受多种因素影响：域名权重、内链结构、sitemap 提交、社交信号。新站点的页面可能要几天到几周才被索引。加速方法：提交 sitemap、用 URL 检查工具请求索引、在已索引页面中加内链指向新页面。

metadataBase 是 Next.js 15 metadata 的基础 URL 设置。所有相对路径的 OG 图片、canonical URL 都会基于 metadataBase 生成绝对 URL。如果没设置，OG 图片可能显示为相对路径，社交平台无法正确显示。

软 404 是指返回 200 状态码但内容是「页面未找到」的页面。Google 会把这些当作低质内容。Next.js 中确保：不存在的页面用 notFound() 触发真正的 404，搜索结果无结果时返回 404 或 noindex。

Google Search Console 验证站点后，第一件事是提交 sitemap.xml。新页面发布后可以用 URL 检查工具主动请求索引，加速收录。但不要频繁提交相同 URL，Google 会降低优先级。

Core Web Vitals INP 优化关键是减少主线程阻塞。① 拆分长任务（>50ms）用 requestIdleCallback 或 setTimeout ② 减少第三方脚本 ③ 用 Web Worker 处理重计算 ④ 延迟加载非关键交互 ⑤ 避免大型布局重排。
查看历史

34 回复

  1. 潜水
    潜水员第 2 楼
    这个问题我研究过一阵，结构化数据用 Rich Results Test 工具测试，Search Console 会报错误。后续有新发现再来更新。
  2. 摸鱼
    摸鱼达人第 3 楼
    不同场景下结论可能不同：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。仅供参考，具体还是要看你的场景。
  3. 小白
    小白第 4 楼
    反对一下，我的测试结果不是这样：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。希望对你有帮助。
  4. 苏晚
    苏晚晴第 5 楼
    我的看法略有不同：sitemap.xml 用 ISR 缓存（revalidate: 3600），发布新内容后 revalidatePath 刷新。效果因项目而异，建议实际测试。
  5. 需求
    需求翻译机第 6 楼
    我调研过这块，OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。我也还在探索中。
  6. 发呆
    发呆的仓鼠第 7 楼
    Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。
  7. TA
    Tan Wei Ming第 8 楼
    我的理解是：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。后续有新发现再来更新。
  8. DI
    Diego Ramos第 9 楼
    有个细节值得注意：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。踩了很多坑才总结出来的。
  9. 键盘
    键盘敲击者第 10 楼
    说个反直觉的发现：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。欢迎私信深入交流。
  10. CH
    Chloe Bennett第 11 楼
    说说我自己的经历：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。这只是个人经验，不一定通用。
  11. 蜕皮
    蜕皮的蛇第 12 楼
    从另一个角度看：metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。欢迎交流讨论。
  12. 陈墨
    陈墨白第 13 楼
    我的团队是这样做的：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。欢迎大家补充。
  13. 掘洞
    掘洞的兔第 14 楼
    这个方案我试过，Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。欢迎交流讨论。
  14. 吃瓜
    吃瓜群众第 15 楼
    上周刚好踩了这个坑，robots.txt 控制抓取，noindex 控制索引，两个不要搞混。期待更多实战经验分享。
  15. 春暖
    春暖花开第 16 楼
    从另一个角度看：sitemap.xml 用 ISR 缓存（revalidate: 3600），发布新内容后 revalidatePath 刷新。后续有新发现再来更新。
  16. FA
    Fatima Hassan第 17 楼
    结构化数据用 Rich Results Test 工具测试，Search Console 会报错误。
  17. 赏月
    赏月的灰狼第 18 楼
    我的团队是这样做的：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。效果因项目而异，建议实际测试。
  18. 竹林
    竹林深处第 19 楼
    反对一下，我的测试结果不是这样：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。
  19. 迷路
    迷路的信鸽第 20 楼
    我的团队是这样做的：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。欢迎大家补充。
  20. 月下
    月下独酌第 21 楼
    有个细节值得注意：INP 替代 FID 后更严格了，用 next/dynamic 懒加载非首屏组件效果明显。细节可以再展开讨论。
登录后可回复
    数据正在加载中…