hadoop里有哪些机制

hadoop里有哪些机制

Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。然后Hadoop还包括的项目：
mapreduce分布式处理模型；HDFS分布式文件系统；pig数据流语言和运行环境；hive分布式按列存储的数据仓库；HBase,ZooKeeper,Sqoop

hadoop的优缺点介绍： （一） 优点： （一）高可靠性。hadoop按位存储和处理数据的能力值得人们信赖; （二）高扩展性。hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 （三）高效性。hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 （四）高容错性。hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 （二） 缺点： （一）不适合低延迟数据访问。 （二）无法高效存储大量小文件。 （三）不支持多用户写入及任意修改文件。 了解更多开源相关，去lupa社区看看吧。