V2EX › Livid 的所有回复 › 第 241 页 / 共 1572 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 237 238 239 240 241 242 243 244 245 246 ... 1572

❮

❯

2023 年 5 月 14 日

回复了 sciooga 创建的主题 › 程序员 › 我是 V2EX Plus 作者，关于扩展中 vDaily (分布式爬虫)功能的情况说明

@bxqqq 可能和我们今天针对这次爬虫事件部署的一条新的 WAF 规则有关，刚才做了一些调整，你再试试？

2023 年 5 月 14 日

回复了 sciooga 创建的主题 › 程序员 › 我是 V2EX Plus 作者，关于扩展中 vDaily (分布式爬虫)功能的情况说明

@Xianmua 是的，依然还在运行。而且，只要你停在 /t/ 主题页面上，就会持续获取新的任务，并不像 @sciooga 说的「浏览一个主题，最多会额外增加 3 个 get 请求」

https://i.v2ex.co/vG86M7XV.png

2023 年 5 月 14 日

回复了 Livid 创建的主题 › V2EX › 如果你在用一个叫做 V2EX Plus 的插件，我需要你的帮助

根据我刚才在虚拟机里的测试结果，只要停在 /t/ 页面上，就会一直从你的服务器上持续获取抓取任务，并不像你说的，至多获得额外的 3 个抓取任务。大家也可以来验证一下。

屏蔽规则已经部署，可能会产生误伤，欢迎大家的反馈。

2023 年 5 月 14 日

回复了 sciooga 创建的主题 › 程序员 › 我是 V2EX Plus 作者，关于扩展中 vDaily (分布式爬虫)功能的情况说明

关于翻页 502 。

之前我们上了这样的一个功能，用 cookie 保存访问过的最后的页码。这样当你进入一个有多页的主题页面时，会直接进入到你最后访问过的页面。

这个爬虫会让用户的这个 cookie 中增加大量用户没有访问过的页面的页码。

至于是否是由于 cookie 尺寸过大造成的 502 ，因为我没有也不会去安装这个插件，所以我无法验证。

这也是为什么遇到 502 问题的用户，清掉 cookie 之后就可以访问了。

我们最近暂时把这个记住和跳转页码的功能下掉了。所以现在当你访问一个有多页的主题时，如果 URL 中没有指定 p=x 那么现在只会默认进入第一页。

2023 年 5 月 14 日

回复了 Xianmua 创建的主题 › 程序员 › v2ex plus 用户们，你们知道你们的浏览器被用来跑分布式爬虫了吗

@sciooga 用户的访问时段是集中的，这个你从你自己的 goaccess 日志中也可以看到。

由于插件的行为，在高峰时段，插件用户会造成额外的 3 倍的访问压力。

2023 年 5 月 14 日

回复了 Xianmua 创建的主题 › 程序员 › v2ex plus 用户们，你们知道你们的浏览器被用来跑分布式爬虫了吗

@sciooga 所以，你可以通过你的服务器上的一个配置，来决定这个插件的用户是否跑抓取、及抓多少量？

你知道这听起来像是什么吗？

2023 年 5 月 14 日

回复了 vPlus 创建的主题 › 分享发现 › ### ✨ V2EX 周报本周热门主题及高赞回复 05.06-05.12

https://v2ex.ih06.com/t/939839

2023 年 5 月 14 日

回复了 Xianmua 创建的主题 › 程序员 › v2ex plus 用户们，你们知道你们的浏览器被用来跑分布式爬虫了吗

谢谢大家，我需要大家的帮助：

https://v2ex.ih06.com/t/939839