IT虾米网

java代码操作hdfs文件详解

leader 2021年11月03日 大数据 364 0
本文章主要介绍了java代码操作hdfs文件,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
 
import java.io.IOException; 
 
/** 
 * Created by zheng on 2020/4/9. 
 */ 
public class HdfsClient { 
    public static void main(String[] args) throws IOException { 
        Configuration configuration = new Configuration(); 
        configuration.set("fs.defaultFS","hdfs://localhost:9000"); 
 
        //获取文件系统 
        FileSystem fileSystem = FileSystem.get(configuration); 
 
        //拷贝本地test.log文件到hdfs 
        fileSystem.copyFromLocalFile(new Path("/Users/zheng/test.log"),new Path("/test.log")); 
 
        //关闭文件系统 
        fileSystem.close(); 
    } 
} 
#执行以下命令可看到文件已经成功拷贝 
$ hdfs dfs -ls / 
2020-04-09 16:01:39,201 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Found 1 items 
-rw-r--r--   3 zheng supergroup          0 2020-04-09 16:01 /test.log

发布评论
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

安装hadoop-3.2.1mac伪分布式详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。