标签问题页 - 异常教程

robots.txt × 1

Robots.txt是网站所有者使用的文本文件，用于向Web机器人发送有关其站点的说明。基本上它告诉机器人，站点的哪些部分是打开的，哪些部分是关闭的。这被称为机器人排除协议。