写了个 eBPF 流量可视化工具(生产目前在跑)

1 天前
 oom

旁路挂在交换机镜像口上,支持多网卡,不侵入业务链路,单个二进制文件跑起来就是一整套系统( Web 控制台 + eBPF 采集 + 存储查询)

GitHub: https://github.com/xxddpac/netra

这两天刚好在真实的 20Gbps 专线上部署验证:

有大流量环境的大佬欢迎聊聊实测性能

1205 次点击
所在节点    程序员
11 条回复
sskycn
1 天前
owt5008137
1 天前
喜欢造轮子之挑战 opentelemetry 么
zhcode
1 天前
试一下,看能不能替代掉 vnstat
qW7bo2FbzbC0
1 天前
可以说说为什么选用 duckdb 吗
oom
23 小时 35 分钟前
@qW7bo2FbzbC0
主要这两方面:
1.DuckDB 可以直接内嵌到 Go 二进制里,省去了数据库运维这块
2.列式存储针对海量数据的聚合查询性能非常强,实际压测表现查询性能比 SQLite 快 20-100 倍

一开始只用 SQLite 时当数据量上来之后基本没法用,所以额外引入 duckDB,低频数据不大的走 SQLite,高频海量数据的走 duckDB ,各自发挥优势
oom
23 小时 35 分钟前
@zhcode 期待大佬测试结果
oom
23 小时 34 分钟前
@owt5008137 这两个实现的功能不一样呀
oom
21 小时 39 分钟前
AEnjoyable
5 小时 15 分钟前
可惜了,数据分析性能不是问题,问题是存储。
我现在用 dpdk 采集+clickHourse 存储,公司的需求太夸张了

需要采五元组,并分析和记录存储半年用于回溯
AEnjoyable
5 小时 13 分钟前
#9 补充一下,三线合计带宽最大是 140Gbps ,
每秒会话最大 60 万条,还要算网速😭
oom
59 分钟前
@AEnjoyable #10
140Gbps,60 万会话/秒,这个应该属于运营商级别了吧
采集这块我也觉得不是问题,理论上 eBPF 架构是能扛的住的。
你们存半年实际用了多少存储空间呢?另外 ClickHouse 分布式存储查半年量级的五元组数据的性能表现大概是什么样的,这个能分享下吗。
我刚看了最近 10 天 2 亿多条五元组数据,聚合查询耗时 3.85 秒,我觉得对于单机 duckDB 来说也还行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1236197

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX