大数据的特点主要包括哪些?
500
2024-04-26
dayboat这是一种大数据计算框架的软件,是一种基于内存计算的框架,是一种通用的大数据快速处理的引擎,这一站式计算框架,包含了用于离线处理,交互式查询,实时流计算,机器学习,图计算等等重要处理的组件,是一体化,多元化的大数据处理体系。
Spark,是一种通用的大数据计算框架,I正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等,
Spark包含了大数据领城常见的各种计算框架:比如Spark Core用于离线计算,Spark SQL用于交互式查询,Spark Streaming用于实时流式计算,Spark MILlib用于机器学习,Spark GraphX用于图计算。
Spark主要用于大数据的计算,而Hadoop以后主要用于大数据的存储(比如HDFS、Hive,HBase等),以及资源调度(Yarn)。
Spark+Hadoop的组合,是未来大数据领域最热门的组合,也是最有前景的组合