robots.txt：维护互联网秩序的文本文件
talkingdev • 2024-02-15
626763 views
三十年来，robots.txt一直是维持互联网秩序的关键所在。这个简单的文本文件代表着早期互联网先驱者之间的协议，以尊重彼此的意愿，并以使每个人都受益的方式建立互联网。它允许运行网站的任何人告诉网络谁有权进入网站，谁没有。这个系统曾经运作良好，但人工智能正在威胁着改变一切。本文回顾了robots.txt背后的历史，它是如何工作的，不同类型的网络爬虫，站点和搜索引擎爬取它们之间的权衡，以及人工智能如何改变互联网的平衡。