wiki:hadoopconfig

Version 7 (modified by liaojiaohe, 13 years ago) (diff)

--

HADOOP 配置说明

HADOOP的参数实在太多了,如果要了解JobTracker里面使用的参数可以运行这个命令,得到Jason格式的参数 datanode

hadoop jobtracker -dumpConfiguration

另外官网上面3个配置文件和英文说明 1.0.3

 core-default.html

 hdfs-default.html

 mapred-default.htm

程序中常用到的参数

-conf <configuration file>     在我们使用habase的时候,可以这样传参数,hadoop jar JARNAME.jar ProgramName -conf /data/hbase-0.94.1/conf/hbase-site.xml[[BR]]
                                              这样就不需要单独设置 hbase.zookeeper.quorum 这些参数
                    
-D <property=value>            要单独设置一个参数如 -D mapred.map.tasks=3

*mapred.map.tasks map任务数

*mapred.output.compress 输出是否压缩

  • mapred.reduce.tasks reduce数

*mapred.map.max.attempts map重试次数

*mapred.reduce.max.attempts reduce重试次数

*map.sort.class map输出排序类

*mapred.queue.names 使用的队列名

Attachments