MR程式本地除錯,提交到叢集執行
阿新 • • 發佈:2018-12-20
在本地除錯,提交到叢集上執行。
在本地程式中的Configuration中新增如下配置:
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000");
System.setProperty("HADOOP_USER_NAME","hadoop");
conf.set("mapreduce.job.jar", "D:\\qf_exam\\target\\qf_exam-1.0-SNAPSHOT.jar"); // 此處填寫你的jar包地址
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "http://hadoop03:8032");
conf.set("yarn.resourcemanager.scheduler.address","http://hadoop03:8030");
conf.set("mapreduce.app-submission.cross-platform", "true");//允許跨平臺提交jar包
這樣就可以了。
注意:要把程式給打成jar包,然後把jar包地址寫道conf中。
設定允許跨平臺提交jar包