机器人是指网络爬虫（又称蜘蛛、机器人或爬虫）在访问网站时循的一种协议或规范。这个协议采用一个名robots.txt的文本文件来通知爬虫哪些页面可以访问和抓取，以哪些页面应该被忽略。
具体而言，robots.txt文件位于网站根目录下，它包含一系列规则，指示搜索引擎爬虫如何处理网站中的各个页面。通过设定不同的规则，网站管理员可以控制搜索引擎爬虫对网站内容的访问权限。
若你欲使搜索引擎彻底忽略某些页面（如敏感信息或私密内容），可在robots.txt文件中加入相应指令，告知蜘蛛勿访问此等页面。另外，还可通过robots.txt文件明示sitemap.xml文件之位置，有助于搜索引擎更高效地抓取和索引你的网站内容。
需注意，并非所有搜索引擎严格遵循robots.txt规则。且，robots.txt乃建议性标准，不能真正阻止恶意爬虫或未经授权访问你网站之行为。故，在保护敏感信息和重要数据之际，仍需采取其他安全措施以确保站之安全与隐私。
Robots文件即供指导引擎爬虫程序（亦称机器人）在网上进行抓取和索引之规则文件。下列为常见Robots文件规则：
1. User-agent：明示适用于哪个搜索引擎爬虫程序之规则。可借通配符”*”代表适用于一切爬虫。
2. Disallow：界定禁止访问之页面或目录。例如，”Disallow: /admin”表明不容许蜘蛛访问”/admin”目录内之内容。
3. Allow：确定允许访问之页面或目录。当与Disallow规则相冲突时，Allow规则将覆盖Disallow规则。
4. Sitemap：指明网站地图（sitemap）文件之位置。例如，”Sitemap: https://www.example.com/sitemap.xml”表示网站地图文件存于”https://www.example.com/sitemap.xml”。
5. Crawl-delay：阐明爬虫抓取页面之延迟时间（以秒为单位）。例如，”Crawl-delay: 5″意味每次请求页面须等待5秒。
斯皆常见之Robots文件规则，可依需求灵活调整和配置，以确保搜索引擎爬虫在合理范围内抓取网站内容，并保护敏感信息和私密页面。
