你是否已经意识这是你人生中的一个重要转机？能不能抓住这个时代的机遇，就在于你对大数据信息的应用和获取。而如何成为大数据时代的弄潮儿，掌握当下高薪IT的软件技能是关键！百度、阿里、腾讯等企业都急需掌握技术的大数据人才！大数据工程师应运而生！
要说大数据工程师，先得说下大数据。“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访记录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。大数据工程师是不是就是运用大数据的工作者呢？
用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。
上海超限战营销策划机构总经理沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。
第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”
这是行业大伽们的经典又直白的高度概括啊！
因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。所以就得聊下大数据工程师的工作职责了。1、负责公司大数据平台产品的技术工作，包括需求分析、架构设计、研发、以及性能分析工作；2、负责整体提升Hadoop集群的高可用性、高性能、高扩展特性，已有的大数据平台架构的维护工作；3、负责海量数据的导入优化工作；4、整理和完善各类文档。
有以上的职责得要什么技能要求呢？
1、精通JAVA开发语言，同时熟悉Python、Scala开发语言；
2、熟悉Spark或Hadoop生态圈技术，具有源码阅读及二次开发工作经验;精通Hadoop生态及高性能缓存相关的各种工具，有源码开发实战经验；
3、熟练使用SQL，熟悉数据库原理，熟悉至少一种主流关系型数据库;熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本;熟悉ETL开发，能熟练至少一种ETL(talend、kettle、ogg等)转化开源工具；
4、具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，具备良好的沟通协调能力及学习能力。
顺应时代潮流的人都是聪明人！如果对编程、计算机、程序员方面感兴趣的话，欢迎私信联系我，随时交流！点个
转载请注明：http://www.twoac.com/ysbj/12933.html
