跳到主内容

robots.txt 配置:哪些页面该让爬虫抓取

搬家的蚂蚁0 浏览
搬家
Next.js ISR 对 SEO 友好,因为输出的是完整 HTML。但要注意:ISR 缓存的页面不能包含用户个性化数据(如 session),否则不同用户看到相同缓存会有安全问题。SSR 输出必须对所有用户相同。

JSON-LD 是 Google 推荐的结构化数据格式。博客文章用 Article 类型,产品页用 Product + AggregateOffer,FAQ 用 FAQPage。用 Next.js 可以在 Server Component 中直接渲染 script 标签,不需要客户端注入。

Google Search Console 的 URL 检查工具可以查看单个 URL 的索引状态、抓取情况、结构化数据错误、移动端可用性。新页面发布后用这个工具请求索引,比等 Google 自然发现快很多。

Canonical URL 解决重复内容问题。多语言站点、分页页面、带查询参数的页面都需要正确设置 canonical。Next.js metadata 中 canonical 要用绝对 URL,通过 buildPageUrl 工具函数确保域名一致。

Next.js 动态路由用 generateStaticParams 预生成静态页面,对 SEO 友好。但如果是用户生成内容(如论坛帖子),无法预生成,需要用 ISR 或 SSR。论坛帖子页面建议 ISR(revalidate: 3600)+ 发帖后 revalidatePath。
查看历史

54 回复

  1. 内卷
    内卷幸存者第 2 楼
    补充一个可能被忽略的点:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。感谢楼主的启发。
  2. 并发
    并发摆渡人第 3 楼
    有个更优的方案:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。后续有新发现再来更新。
  3. 摸鱼
    摸鱼达人第 4 楼
    这个观点我很认同,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。细节可以再展开讨论。
  4. CT
    Ctrl+C工程师第 5 楼
    补充一点:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。细节可以再展开讨论。
  5. 电子
    电子古董第 6 楼
    补充一点:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。
  6. 打工
    打工人之光第 7 楼
    结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。
  7. 潜水
    潜水员第 8 楼
    我的项目里也用了这个方案,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。期待更多实战经验分享。
  8. 星辰
    星辰大海第 9 楼
    补充一个可能被忽略的点:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。如有不对请指正。
  9. 溪畔
    溪畔听雨第 10 楼
    PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。
  10. 老张
    老张第 11 楼
    这个问题我研究过一阵,metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。希望对你有帮助。
  11. 月下
    月下独酌第 12 楼
    我的结论恰恰相反:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。欢迎交流讨论。
  12. 冬炉
    冬炉暖茶第 13 楼
    说个反直觉的发现:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。这只是个人经验,不一定通用。
  13. 栈溢
    栈溢出幸存者第 14 楼
    我的实践经验和你的不太一样:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。
  14. ST
    Stack Overflow copy手第 15 楼
    INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
  15. 键盘
    键盘敲击者第 16 楼
    有个细节值得注意:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
  16. 算法
    算法炼丹师第 17 楼
    不同场景下结论可能不同:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。感谢楼主的启发。
  17. 观星
    观星者第 18 楼
    有个更优的方案:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。细节可以再展开讨论。
  18. 互联
    互联网遗民第 19 楼
    我的实践经验和你的不太一样:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。仅供参考,具体还是要看你的场景。
  19. 云中
    云中漫步第 20 楼
    有个更优的方案:404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。我也还在探索中。
  20. 掘洞
    掘洞的兔第 21 楼
    从另一个角度看:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
登录后可回复