由于Hadoop有bin包,所以下载后只需解压即可使用。如果我们使用的是版本hadoop-1.2.1,那就将软件解压到/root/hadoop-1.2.1文件夹中。
注意:namenode和datanode软件包的放置位置要完全相同,否则在集群启动服务时会出现找不到文件的情况。
配置
HDFS本地Golang客户端实践
基于上述基础配置,我们也可以尝试配置HDFS的本地golang客户端,它使用协议缓冲区API直接连接namenode,使用stdlib os包并实现相应接口,包括os.FileInfo和os.PathError。
这是它在action中的状态:
HDFS二进制文件
与库类似,此repo包含HDFS命令行客户端,主要目标是启用unix动词实现:
由于它不必等待JVM启动,所以hadoop -fs要快得多: