请问大数据开发水有多深？

是的
大数据开发只是工具，需要统计就是 sql

Hadoop, MapReduce, NameNode
HDFS, Hadoop 分布式文件系统
Hive, 构建在 Hadoop 上的数据仓库,兼容 sql 92 部分
Beeline, Hive 客户端
HBase, 列数据库,分布式数据库,支持大型表格的结构化存储
Spark, 大数据处理引擎,内存计算
ZooKeeper, 任务规划,资源管理分配
Yarn, 资源管理器, Hadoop 组件之一,
Solr, 搜索,索引
Redis, Key-Value
MongoDB, NoSQL,灵活,例如用户,评论,等类型数据
Kerberos, 计算机网络认证协议

想玩深的？来我司
https://v2ex.ih06.com/t/432609

因为很多大数据组件都支持 sql 啊

想玩工业大数据的可以来我司，服务的都是行业数一数二的制造企业
https://v2ex.ih06.com/t/414848

@vonsy 这位兄弟 我看你骨骼惊奇 要不要看看新机会？

看你做数据平台开发还是数据应用开发

在 top 3 to B 大数据公司呆过一段时间，表示确实很...很容易没有产出，基本就在天天调研和运维。真正有技术含量的是给开源项目打 patch，协调公司的内部产品和开源的一致性(但能做到这一点的人很少。spark 的中国 comitter 也就那些人)。如果有的选择的话，做 infra 来提高技术，或者做项目来尽快升级，都比呆在数据这个坑里面要好。

有大佬详细解答一下吗，我是本科大数据专业学生，我也想了解一下情况

主要是运维。运维做的不好，集群少则两三天，多则一个月就要出大岔子。
回头想想，把一拖开源工具往锅里一扔做了大杂烩，也正常。
理想情况下，最好公司里就有某个工具的 contributor，这样有了问题直接找他 /她。

其实和原来的 DB 差不多，只是换了个工具

原来接触过一个公司活得挺苦逼的，不过我们这种二线城市没资格说什么就是了。

70%时间干苦力，写业务，SQL+Python 写到吐。
剩下一点时间造轮子，提高生产率。
to B 公司，客户就是爹。
如 #2 楼，开源工具大杂烩，有问题只能 work around，打 patch 太难 /不现实。

难道不是天天踩坑填坑的运维之路？

@guyskk0x0 说的我都不敢转了，感觉每个方向都是坑啊

我们 team 去年绩效唯一评 A 的人 主要工作就是大数据平台的治理维护 以及数不清的 etl 开发
曾经有段时间因为平台不稳影响数据产出，每天早上从 CEO 开始层层追责，迫不得已这小哥住在公司好几天，每晚值守 job 执行情况。。也是结了婚的人了

SQL、Hive 数据加工写写+ETL 流程调度调度+前台报表搭建展现，偶尔后台部署调试下，完了。也是无聊枯燥！

大数据开发最核心的能力在于对大数据技术组件有深入的了解。
楼上大家提到的 sql 开发的职责其实要想办法尽量转移给业务团队（数据分析师）。事实上，很多公司里面大部分写 sql 查数的工作实际上是 PM 或者运营完成的。

咱们做开发的，应该定义为数据工程师 /数据架构师。而做探索性数据分析的，应该定义为数据分析师 /数据科学家。这两类角色职责是非常不一样的，要求的技能也是非常不一样的。

对于公司里面的数据角色及职责，我有一些思考，给大家分享一下： https://brightliao.com/2020/11/26/data-work-roles/