nginx站点禁止直接访问robots.txt文件

禁止直接访问robots.txt文件  很久没去360站长平台，一直听说他把robots当漏洞来处理，其实很不地道，也就为了推广他家主机卫士吧，实际上这个算不上漏洞，充其量是因此泄露而已！  以下代码是禁止直接访问，但匹配并排除搜索引擎蜘蛛    nginx站点配置文件中加入以下节点：    location = /robots.txt {      if ($http_user_agent !~* "spider|bot|yahoo|sogou") {          return 404;      }  }  nginx  然后重载nginx配置  /usr/local/shuyangwang/nginx/sbin/nginx -s reload (此配置文件路径以你安装为准)