大佬们,麻烦帮忙估算下大数据的存算能力

2023 年 2 月 24 日
 vverr
没做过性能评估这块,目前来了个需求,不知道咋评估了。

大约 10PB 的数据,单条 5kb ,通过 kafka 集群通过 flink 实时接入到 hdfs ,然后上面通过 spark 做数据处理。
想问下大约要多少台机器,每台机器啥配置。kafka 几个节点,怎么部署呢,麻烦 v 吧大佬们了,帮忙给个参考!非常感谢!


另外这个 10PB 的意思是,hdfs 保存最新的 10PB 就可以了,要定期的清理,数据是实时流入的。
739 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/918842

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX