首页 > 常见问答

hadoop的功能作用是什么（hadoop是什么）

实习编辑 • 2023-11-10 00:49:36 • 常见问答 • 阅读 3

hadoop简介

hadoop是一个由apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。hadoop实现了一个分布式文件系统（hadoopdistributedfilesystem），

其中一个组件是hdfs。hdfs有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。hdfs放宽了（relax）posix的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。hadoop的框架最核心的设计就是：hdfs和mapreduce。hdfs为海量的数据提供了存储，而mapreduce则为海量的数据提供了计算。

hadoop的功能作用是什么（hadoop是什么）

hadoop由许多元素构成。其最底部是hadoopdistributedfilesystem（hdfs），它存储hadoop集群中所有存储节点上的文件。hdfs的上一层是mapreduce引擎，该引擎由jobtrackers和tasktrackers组成。通过对hadoop分布式计算平台最核心的分布式文件系统hdfs、mapreduce处理过程，以及数据仓库工具hive和分布式数据库hbase的介绍，基本涵盖了hadoop分布式平台的所有技术核心。

发行版本

hadoop有三大发行版本：apache、cloudera、hortonworks

apache最基础的版本apache版cloudera企业中使用最多的版本(收费)cdh版hortonworks文档较好优势高可用hadoop底层维护了多个数据副本，即使某个计算元素或者存储出现故障，也不会导致数据的丢失高扩展在集群间分配任务数据，可方便的扩展数以千计的节点高效性hadoop并行工作，加快任务处理速度高容错性可以自动将失败的任务重新分配配置

配置文件在hadoop下/etc目录下，有几个重要的配置文件

core-site.xml

这是hadoop的核心配置文件

原文标题：hadoop的功能作用是什么（hadoop是什么），如若转载，请注明出处：https://www.goodstylecd.com/wenda/8071.html
免责声明：此资讯系转载自合作媒体或互联网其它网站，「格调佳」登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。

hadoop是什么 hadoop是什么介绍 apache hadoop是什么 Hadoop是什么语言 Hadoop是什么?其核心由两大部分组成 分别是什么? hadoop是什么意思 hadoop是什么数据库 hadoop是什么模式 hadoop是什么模式的云计算 Hadoop是什么?有什么特性? hadoop是什么语言开发的 hadoop是什么类型数据库
赞 ( )
打赏 微信扫一扫微信扫一扫
上一篇：龙之谷哪个职业刷图最好（龙之谷哪个职业最好玩） 下一篇：天堂的阶梯中国版（天堂的阶梯 德国2010年布尔汗奎巴尼执导电影）

相关推荐