掌握至少一种数据库开发技术：Oracle、Teradata、DBMysql等，灵活运用SQL实现海量数据ETL加工处理。 熟悉Linux系统常规shell处理命令，灵活运用shell做的文本处理和系统操作。
Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具。
数据采集技术数据采集主要通过Web、应用、传感器等方式获得各种类型的结构化、半结构化及非结构化数据，难点在于采集量大且数据类型繁多。采集网络数据可以通过网络爬虫或API的方式来获取。
大数据工程师需要了解数据库办理体系，深化了解SQL。相同其它数据库解决方案，例如Cassandra或MangoDB也须了解，由于不是每个数据库都是由可识别的标准来构建。数据仓库和ETL东西 数据仓库和ETL才能对于大数据工程师至关重要。
大数据工程师需要学的有：大数据工程师要学习JAVA、Scala、Python等编程语言，不过这些语言都是相通的，掌握了一门编程语言其他的就很好学习了。大数据的学习需要掌握以下技术：Hadoop、spark、storm等核心技术。
1、大数据开发工程师 主要负责大数据技术开发，如编写离线处理程序、数据采集、数据ETL等。大数据运维工程师 主要负责公司大数据平台的维护，如管理、监控Hadoop集群、监控运行状态等。大数据架构师 主要负责公司大数据平台的设想，如技术选择和技术安装。
2、大数据工程师可以做大数据开发工作，开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等。
3、数据采集：业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。数据清洗：一些字段可能会有异常取值，即脏数据。为了保证数据下游的数据分析统计能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。
4、大数据工程师可以做数据分析工作，收集，处理和执行统计数据分析，运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力。
5、大数据开发工程师：作为企业核心技术的关键持有者，大数据开发工程师负责设计和构建大数据处理系统。他们需要掌握包括Hadoop、Spark、Storm等在内的开发技术，以及Hive数据库、Linux操作系统等知识。
· 计算机专业知识，比如操作系统，编程语言，计算机运行原理等 · 数学知识，这里指高等数学，比如微积分、概率统计、线性代数和离散数学等。
大数据工程师需要了解数据库办理体系，深化了解SQL。相同其它数据库解决方案，例如Cassandra或MangoDB也须了解，由于不是每个数据库都是由可识别的标准来构建。数据仓库和ETL东西 数据仓库和ETL才能对于大数据工程师至关重要。
Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具。
大数据工程师要学习JAVA、Scala、Python等编程语言，不过这些语言都是相通的，掌握了一门编程语言其他的就很好学习了。大数据的学习需要掌握以下技术：Hadoop、spark、storm等核心技术。
