Linux 在大数据开发中扮演的角色是什么,掌握程度要求多少?

2017 年 7 月 12 日
 frankkai

Linux 小白一只,昨晚刚刚在虚拟机上装了 Ubuntu14.04 。 很想知道 Linux 和 Windows 系统本质上有什么区别,除了 Windows 是游戏机这个梗以外。 目前我只知道 Hadoop 集群是建立在 Linux 系统之上的,但是不明白: Linux 在大数据开发中扮演的角色是什么,需要对其掌握到什么程度? 有没有前辈指点指点

6277 次点击
所在节点    问与答
26 条回复
laoli123
2017 年 7 月 12 日
Linux 开源、稳定性好,可不装桌面程序,常年不关机。同新手。
Rice
2017 年 7 月 12 日
基础设施
frankkai
2017 年 7 月 12 日
@xiaobai987 我直接装的 desktop...不装桌面的是啥
frankkai
2017 年 7 月 12 日
@Rice 什么基础设施呢
yunkchen
2017 年 7 月 12 日
大数据的分布式集群( Hadoop,Spark )都是搭建在多台 Linux 系统上,对集群的执行命令都是在 Linux 终端窗口输入的;
楼主可以尝试自己搭建一个 hadoop 集群体验一下。
可以参考: http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
Rice
2017 年 7 月 12 日
@frankkai #3 你学过 java 么?几年经验?
laoli123
2017 年 7 月 12 日
@frankkai 纯命令行啊
frankkai
2017 年 7 月 12 日
@xiaobai987 iso 文件名是什么,我知道是终端命令行...
frankkai
2017 年 7 月 12 日
@Rice mei 在学校学过一些,应届生
frankkai
2017 年 7 月 12 日
@yunkchen 手动感谢
Rice
2017 年 7 月 12 日
@frankkai 我觉得楼主还是做几年 JAVA 后台在研究大数据吧,你基础知识不牢固,要不就考研。
frankkai
2017 年 7 月 12 日
@Rice 谢谢前辈指点~
jason2017
2017 年 7 月 12 日
需要掌握到什么程度呢?
首先,把基础命令学会了,可以参考鸟哥私房菜,基础部分,了解下 linux 系统的运行原理。
重点几部分:用户权限、环境变量的配置、vim 命令、yum (或者 apt-get、根据不同开源版本)、ps、netstat、grep
这些基本掌握大概需要一个星期,然后你再去鼓捣 hadoop 会比较好。先装单机的,后面真正分布式的,你还要学会 ssh 证书登陆的配置、scp 等命令。
frankkai
2017 年 7 月 12 日
@xiaobai987 我知道了,可以用 ctrl+alt+f1 切换的到命令行
Em5O7B1JGfjQnBry
2017 年 7 月 12 日
装 Ubuntu14.04 是为了考古么
albertofwb
2017 年 7 月 12 日
@svenFeng 话不能这么说,现在装 win7 的也大有人在
mooncakejs
2017 年 7 月 12 日
我觉得未来就是跑 docker 的母鸡
v2dead
2017 年 7 月 12 日
你都想知道 linux 和 windows 有什么本质区别了,为什么不去看看操作系统这本书呢。。。
windows 和 linux 都只是操作系统而已,本身只是为了管理内存,调度进程,处理网络协议栈这些乱七八糟事物,要说区别可能就是:一个开源,一个闭源并且有非常明显的购买成本。这当然会导致一些外部的生态环境的区别,很多开源的软件第一优先考虑的肯定是 linux 平台嘛。
不过要是微软自己出大数据平台构建方案,我觉得也会有不少公司跟进的,因为基于 linux 开源的平台后面的隐性成本很多时候都超过 windows 的直接购买成本的。
不过像大数据这种很可能以后都是以服务形式提供,其实你学不学 linux,可能在未来几年使用大数据完全没什么影响。数据就是数据,本身就是和平台无关的。
rwecho
2017 年 7 月 12 日
自带 python
e1eph4nt
2017 年 7 月 12 日
骗回复的吧。。。你要是一开始就不知道,在这儿问也问不出来。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/374685

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX