大数据系统研发和分析应用哪个难？
一、大数据系统研发和分析应用哪个难？
两者工作方向不同，各有特色，各有难点，只要努力去做，难点便不攻自破，很难给出那个更难的结论。
大数据系统研发，主要的工作是负责搭建大数据应用平台以及开发分析应用程序。
大数据分析应用，主要是运用相关技术对数据搜集、整理、分析，并依据数据做出行业研究、评估和预测。
二、大数据开发专业主要学什么？
大数据开发、数据仓库、数据安全、数据分析、数据挖掘等都是围绕大数据的商业价值应运而生。大数据开发主要分为大数据平台开发（研发级）、大数据应用开发和大数据分析（统计学和机器学习），不同岗位需要面对不同的岗位职责，也需要具备不同的知识结构。
大数据开发做什么？
负责公司数据平台与数仓模型设计与开发；规范底层数据存储，结构化查询逻辑，方便快捷获取数据；支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用；对大数据相关的前沿技术进行预研。
大数据开发需要具备的基本技能：目前从事大数据应用开发的语言包括Java、Python、Scala、R等，需要熟悉Hadoop、HBbase、hive、spark、Flink、ES、Presto、Flume、Kafka生态的原理和使用方法，掌握数据开发、数据挖掘的各项流程。
Java语言由于具备较为完善的生态，而且Hadoop平台自身也是Java语言开发的，所以Java语言往往是比较常见的选择。在学习Java语言的过程中，可以同步接触Hadoop平台，掌握Hadoop平台的整体结构，并且通过Java完成Hadoop平台的一些案例实验，进而逐步掌握在Hadoop平台下的Java应用开发。
大数据分析通常采用统计学分析方式和机器学习方式两种，统计学方式采用Python和R语言是不错的选择，而机器学习往往更多采用Python语言来实现，同时需要学习一系列算法的实现过程，包括Knn、决策树、支持向量机、朴素贝叶斯等等。所以，从事大数据分析需要具备一定的数学功底。
三、软件开发与大数据开发区别？
两者完全不同！软件开发是根据需求（业务或个人），通过编程创建出一套可以满足需求或是解决问题的系统方案；而大数据开发是对“数据本身”的再次应用，主要是对系统方案所采集的数据，加以分类，分析，储存，挖掘，进而对决策者呈现及时准确的决策支撑。两者之间有先后的关联。
四、华为大数据开发项目流程？
大数据开发步骤：
第一步：需求：数据的输入和数据的产出；
第二步：数据量、处理效率、可靠性、可维护性、简洁性；
第三步：数据建模；
第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构；
第五步：再次思考大数据系统和企业IT系统的交互；
第六步：最终确定选择、规范等；
第七步：基于数据建模写基础服务代码；
第八步：正式编写第一个模块；
第九步：实现其它的模块，并完成测试和调试等；
第十步：测试和验收；
大数据流程：
从流程角度上看，整个大数据处理可分成4个主要步骤。
第一步是数据的搜集与存储;
第二步是通过数据分析技术对数据进行探索性研究，包括无关数据的剔除，即数据清洗，与寻找数据的模式探索数据的价值所在;
第三步为在基本数据分析的基础上，选择和开发数据分析算法，对数据进行建模。从数据中提取有价值的信息，这其实是真正的阿里云大数据的学习过程。这当中会涉及很多算法和技术，比如机器学习算法等;
最后一步是对模型的部署和应用，即把研究出来的模型应用到生产环境之中。
1) 数据采集：定制开发采集程序，或使用开源框架flume
2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品
五、大数据工程师分类
目前国内大数据工程师工作领域大致可分为四类：
1、数据开发工程师：负责数据接入、数据清洗、底层重构，业务主题建模等工作;大数据整体的计算平台开发与应用;
2、数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。
3、数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
4、科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用
相关文章