先来看下，近几年大厂发生的几个影响较大的运营事故：

这几起事件的共同点：影响范围广、故障时间长、造成非常负面的舆论影响；

这次快手的事情，还是远远超出了我的想象，服务故障只会影响正常使用，但是被攻击进而导致了大面积非法活动；对于监管来说，没有比这更严重的事情，属于妥妥的红线。

为什么会发生

黑客、灰产，从互联网诞生之初，就一直存在，今天我们不去讨论黑客如何操作大规模账号、如何进行的实名认证，我们从开发这个角度去考虑，怎样去避免事件的发生？

直播和视频播放不一样，它的内容属于实时产生，平台没有办法提前审核；因此直播平台建设怎样的审核机制，就关系平台能否控制用户的直播内容。

大部分直播审核机制我们可以简化为上图：截取画面、音频等，通过模型自动化判定，然后再人工复审，最后处罚封禁。

瓶颈节点

在开发中，我们经常会提一个瓶颈节点的概念，意味着它决定着整个链路的承载量，如果它停止工作，则整个链路瘫痪。

而在上面的审核链路中，可以认为人工复审是一个瓶颈节点，因为人力是有限的；也许平时只需要 1000 个审核员既可以应对，但是当极端情况出现，同时涌现出上万个甚至更多非法直播时，这套机制自然就被攻破了。

我们可以猜测，黑客操作大量账号，同时开启非法直播，当部分账号被封禁后，又不停的新增非法账号直播，人工复审节点一直处于过载状态，没办法处理全部的审核。

可能的解决方式

假设我们按照上图的审核机制，怎样优化可以解决同时出现大量非法直播的问题呢？

自动判定节点

根据模型分析结果，辅助额外账号信息，自动判定是否需要“二次人工复审”，对于不需要的案例，直接处罚。当然自动判定存在误判的风险，而快手这次事件，可以看到大部分直播是常规的淫秽视频，通过模型辅助账号信息是可以精确判定的。

为了让自动判定足够精确，我们需要做些什么？

• 模型不断训练更加精准
• 收集更多维度信息，账号活跃度、登录 ip 、设备等等风控数据

目的

减轻“人工复审”节点的压力，使它不再是瓶颈节点，是我们的最终目的，毕竟其他节点都可以通过扩容的方式解决。也许自动判定可能会存在误判的情形，但是我们可以不断优化，不断减少误判的概率。

思考

小概率事件

对快手而言，“同时出现大规模非法直播”是一个小概率事件，在它们设计审核机制时，可能也有考虑到过？但是可能认为“几万人同时直播黄片”是几乎不可能出现的事情，因此并没有做预案。

在互联网领域，尤其是后端模块，海量用户+长时间运行，任何小概率 bug 都演变成必然触发；如果没有完美解决方案，则往往可以采取有损的妥协折中方案。

欢迎快手同学现身说法！

最后宣传下自己的技术公众号：欢迎关注，讨论交流