robots.txt

小灰灰 2022-06-07 13:10 247阅读 0赞

Rails 中的 robots.txt

  1. # See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
  2. #
  3. # To ban all spiders from the entire site uncomment the next two lines:
  4. # User-agent: *
  5. # Disallow: /
  7. “ User-agent：* ”表示本节适用于所有机器人。“ Disallow：/ ”告诉机器人它不应该访问网站上的任何页面。
  9. 使用/robots.txt时有两个重要的注意事项：
  11. 机器人可以忽略您的/robots.txt。特别是扫描Web的恶意软件机器人的安全漏洞，以及垃圾邮件发送者使用的电子邮件地址收集器将不会引起注意。
  12. /robots.txt文件是公开可用的文件。任何人都可以看到您的服务器的哪些部分不希望机器人使用。
  14. # https://www.taobao.com/robots.txt 页面
  16. User-agent:  Baiduspider
  17. Allow:  /article
  18. Allow:  /oshtml
  19. Allow:  /wenzhang
  20. Disallow:  /product/
  21. Disallow:  /
  23. User-Agent:  Googlebot
  24. Allow:  /article
  25. Allow:  /oshtml
  26. Allow:  /product
  27. Allow:  /spu
  28. Allow:  /dianpu
  29. Allow:  /wenzhang
  30. Allow:  /oversea
  31. Allow:  /list
  32. Disallow:  /
  34. User-agent:  Bingbot
  35. Allow:  /article
  36. Allow:  /oshtml
  37. Allow:  /product
  38. Allow:  /spu
  39. Allow:  /dianpu
  40. Allow:  /wenzhang
  41. Allow:  /oversea
  42. Allow:  /list
  43. Disallow:  /
  45. User-Agent:  360Spider
  46. Allow:  /article
  47. Allow:  /oshtml
  48. Allow:  /wenzhang
  49. Disallow:  /
  51. User-Agent:  Yisouspider
  52. Allow:  /article
  53. Allow:  /oshtml
  54. Allow:  /wenzhang
  55. Disallow:  /
  57. User-Agent:  Sogouspider
  58. Allow:  /article
  59. Allow:  /oshtml
  60. Allow:  /product
  61. Allow:  /wenzhang
  62. Disallow:  /
  64. User-Agent:  Yahoo!  Slurp
  65. Allow:  /product
  66. Allow:  /spu
  67. Allow:  /dianpu
  68. Allow:  /wenzhang
  69. Allow:  /oversea
  70. Allow:  /list
  71. Disallow:  /
  73. User-Agent:  *
  74. Disallow:  /

发表评论

表情：
评论列表 （有 0 条评论，247人围观）

还没有评论，来说两句吧...

相关阅读