== HADOOP 配置说明 == HADOOP的参数实在太多了,如果要了解JobTracker里面使用的参数可以运行这个命令,得到Jason格式的参数 datanode[[BR]] {{{ hadoop jobtracker -dumpConfiguration }}} '''另外官网上面3个配置文件和英文说明''' 1.0.3[[BR]] [http://hadoop.apache.org/common/docs/r1.0.3/core-default.html core-default.html][[BR]] [http://hadoop.apache.org/common/docs/r1.0.3/hdfs-default.html hdfs-default.html][[BR]] [http://hadoop.apache.org/common/docs/r1.0.3/mapred-default.html mapred-default.htm][[BR]] 程序中常用到的参数 {{{ -conf 在我们使用habase的时候,可以这样传参数,hadoop jar JARNAME.jar ProgramName -conf /data/hbase-0.94.1/conf/hbase-site.xml[[BR]] 这样就不需要单独设置 hbase.zookeeper.quorum 这些参数 -D 要单独设置一个参数如 -D mapred.map.tasks=3 }}} * mapred.map.tasks map任务数[[BR]] * mapred.output.compress 输出是否压缩[[BR]] * mapred.reduce.tasks reduce数[[BR]] * mapred.map.max.attempts map重试次数[[BR]] * mapred.reduce.max.attempts reduce重试次数[[BR]] * map.sort.class map输出排序类[[BR]] * mapred.queue.names 使用的队列名[[BR]]