robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,比如后台的程序/admin就不要蜘蛛去抓取了,虽然对搜索引擎和对网站隐私有好处，但也带来不好的地方，详细的配置robots.txt文件会导致泄露网站的路径,所以安全的配置robots.txt文件是必要的。
配置如下：
# robots.txt User-agent: * Disallow: /a*/ Disallow: /i*/ Disallow: /u*/ 把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径，从而保护了网站的结构，避免泄露。
温馨提示：
1.本站大部分内容均收集于网络!若内容若侵犯到您的权益，请发送邮件至：duhaomu@163.com，我们将第一时间处理！
2.资源所需价格并非资源售卖价格，是收集、整理、编辑详情以及本站运营的适当补贴，并且本站不提供任何免费技术支持。
3.所有资源仅限于参考和学习，版权归原作者所有，更多请阅读网站声明。
1.本站大部分内容均收集于网络!若内容若侵犯到您的权益，请发送邮件至：duhaomu@163.com，我们将第一时间处理！
2.资源所需价格并非资源售卖价格，是收集、整理、编辑详情以及本站运营的适当补贴，并且本站不提供任何免费技术支持。
3.所有资源仅限于参考和学习，版权归原作者所有，更多请阅读网站声明。
