功能目标:
读取任务运行时间等信息,为任务调配作数据基础
任务设置优先级,根据优先级调配任务
时间触发任务
WEB界面上实现取消任务功能
一些可能用到的参数
mapreduce.job.complete.cancel.delegation.tokens
job.end.notification.url
*做法一,通过jobClient读取hadoop的集群信息,看代码后发现这种信息只能读取小部分的信息
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
JobClient jobClient = new JobClient(new JobConf(conf));
JobQueueInfo[] queues = jobClient.getQueues();
*做法二 往hadoop 的http server中增加一些jsp,输出任务和集群的信息,增加的jsp见附件
输出格式为 http://192.168.238.63:50030/jobtracker_json.jsp
通过spring的定时任务,定时保存任务的信息,保存在数据库中,每个小时进行分析,找出又问题的任务
第一版上线的地址: http://192.168.238.63:8080
下面的版本会对正在执行的任务进行监控和调度
有几个东西有待确认:
- 提交后的任务(pending状态)参数是否还可以修改,比如优先级,reduce的数量
是否可以通过API拿Hadoop的信息,可以通过下面的代码
Attachments
-
jobtracker_json.jsp
(2.1 KB) -
added by liaojiaohe 13 years ago.
![(please configure the [header_logo] section in trac.ini)](http://www1.pconline.com.cn/hr/2009/global/images/logo.gif)