为什么HDFS写入速度如此之慢

为什么HDFS写入速度如此之慢

HDFS是有冗余存储机制的，你存一份数据，他要给你备份很多份，这个要看你的设置了。

问题太笼统，不好回答。怎么个慢法，什么系统设置，跑的什么东西？ 文件以block为单位被写入hdfs，默认情况下一个block会被放在三台机器上。所以写入速度取决于内存，硬盘带宽以及网络带宽。就我的经验，这些参数都大致在100mb/s以上，就是1g文件5-10秒。所以如果你的写入速度是这样的，那就不慢。 如果速度远小于这个值，然后想找原因，那无非就是看瓶颈在哪里，这些带宽资源有没有被大家抢着用。你可以试试先跑些简单的程序，把dfs.replication设成1，这样说不定可以排除网络的因素。