最近服务器负载一直下不来，经常到 100%，结果发现是各大 AI 厂商的机器人爬虫,疯狂请求我的网站

从上周开始，我上线了一个小网站，需要一个关键字来搜索内容，结果被 chagptbot,claudebot,谷歌，还有 meta facebook 的这些机器人 疯狂提交参数，然后读取返回结果，我一直以为是中病毒了，结果今天一看网站日志，我去。

全是
＂ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])＂
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.7922.137 Mobile Safari/537.36 (compatible; GoogleOther)＂

几乎达到了 攻击级别的访问。

把我小站的流量 和 负载 干满了。

在 nginx 里面加了一个

if ($http_user_agent ~* "(GPTBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Bytespider|GoogleOther|meta-externalagent|MJ12bot)") {
return 403;
}


整个负载 瞬间就下来了。

没人管这帮机器人吗。