首页 > 数据库 > 数据库开发技术 > 大数据的四种计算模式
什么是计算模式?
计算模式是指计算机系统所采用的计算方式和处理方式。
计算模式的演变可以分为四个阶段:
机器语言阶段、汇编语言阶段、高级语言阶段和人工智能阶段。
机器语言模式需要直接操作二进制数据,难以掌握和处理;
汇编语言模式通过对机器指令的简化,使编程更容易学习;
高级语言模式使编程语言更接近人类自然语言,编程更简单;
人工智能模式通过应用机器学习和深度学习等技术,使计算机具备自主学习和推理的能力。
大数据计算模式有哪些?
批处理计算:针对大规模数据的批量处理,主要技术有MapReduce和Spark等。
流计算:针对流数据的实时计算处理,主要技术有Storm、Flume、Streams、Puma、DStream、S4、SuperMario、银河流数据处理平台等。
图计算:针对大规模图结构数据的处理,主要技术有Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
查询分析计算:针对大规模数据的存储管理和查询分析,主要技术有Hive、Impala、Dremel、Cassandra等。

计算模式解决了什么问题?
批处理模式:主要用于处理大规模的静态数据,例如对整个网站用户访问日志的分析、对历史数据的分析等。由于批处理无法实时返回结果,因此对于要求实时性高的场景来说不太适用。常见的批处理框架有MapReduce和Spark。
流计算模式:主要用于处理实时数据,例如用户行为日志、股票交易数据等。流计算可以实时分析数据并产生结果,对于实时性要求高的场景来说非常适用。常见的流计算框架有Storm、Flume、DStream等。
图计算模式:主要用于处理大规模图结构数据,例如社交网络、道路网络等。图计算可以对图进行遍历、查找、分析和挖掘,对于需要从图结构中提取信息的应用来说非常适用。常见的图计算框架有Pregel、GraphX、Giraph等。
查询分析计算模式:主要用于实时交互式查询和数据分析,例如对于超大数据仓库的即席查询、报表生成等。查询分析计算要求高并发、低延迟,对于查询复杂度要求较高。常见的查询分析计算框架有Hive、Impala、Dremel等。

原文作者:小南瓜开发平台;如有侵权,请联系管理员删除。