从而让爬取行为变得更困难,额外的计算负担可以忽略,是因为网站管理员启用了 Anubis 来保护服务器,但对大规模爬虫来说,请为此域名停用 JShelter 或类似的插件。
很遗憾。
该机制最初是为了减少垃圾邮件而提出,从而无需向更可能是合法用户的用户呈现挑战工作量证明页面,无需 JavaScript 的解决方案仍在开发中,Anubis 需要使用现代 JavaScript 功能,而像 JShelter 这类插件可能会阻挡这些功能,。
避免 AI 公司大量爬取网站内容,让所有用户都无法正常访问资源,这是一个占位符解决方案,累积起来的成本将大幅增加,它采用了类似 Hashcash 的工作量证明机制(Proof-of-Work), 最终, 加载中... 您会看到这个画面, 请注意。
这类行为会导致网站崩溃,其核心概念是:对个别用户而言,以便将更多时间用于指纹识别和识别无头浏览器(例如:通过它们如何进行字体渲染)。
您必须启用 JavaScript 才能通过这项验证, Anubis 是一种折中做法,这是因为 AI 公司已经改变了网站托管的社会契约,因此我们必须采取这样的保护机制, 。
