一、robots.txt有什么用？       如果您不希望互联网爬虫（又叫蜘蛛、Crawler、Spider等）抓取您网站的每一个公开的链接，而只……