# robots.txt for dadyapp.cn — Dady AI 下载信息站
# Last updated: 2026-08-23

User-agent: *
Allow: /
# 允许12大主流爬虫完整抓取
User-agent: baiduspider
Allow: /
User-agent: baiduspider-mobile
Allow: /
User-agent: googlebot
Allow: /
User-agent: bingbot
Allow: /
User-agent: 360Spider
Allow: /
User-agent: sogou web spider
Allow: /
User-agent: yisouspider
Allow: /
User-agent: Shenma
Allow: /
User-agent: Bytespider
Allow: /
User-agent: ToutiaoSpider
Allow: /
User-agent: bytedance
Allow: /

# 禁止抓取非内容路径
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /admin/
Disallow: /*?s=*      # 搜索结果页避免重复抓取（SEO规范）

# Crawl-delay: 5 (大多数爬虫不支持，但可减慢过强抓取)

# 网站地图 sitemap
Sitemap: https://dadyapp.cn/sitemap.xml
Sitemap: https://dadyapp.cn/robots.txt