robots.txt
放在根目录，User-agent 指定爬虫，Disallow 屏蔽后台/重复页，Allow 放行重要页，末尾 Sitemap 指向 sitemap 地址。改完用百度/Google 的 robots 测试工具校验。
sitemap 与提交
sitemap 列全站重要 URL 及更新频率。生成后到百度搜索资源平台、Google Search Console 提交，新页面主动推送给百度能缩短收录到几天。
# robots.txt 示例
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /*?*
Sitemap: https://www.rong999.com/sitemap.xml融之易科技 李智霖18612697889
立足苏州、服务长三角的一站式数字增长伙伴，提供官网建设、网络推广、短视频运营、外贸推广与小程序 App 开发。需要针对你的业务出方案，可直接联系李智霖 18612697889。