Changes between Initial Version and Version 1 of minitor


Ignore:
Timestamp:
10/18/2012 11:33:06 AM (13 years ago)
Author:
liaojiaohe
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • minitor

    v1 v1  
     1功能目标： 
     2读取任务运行时间等信息，为任务调配作数据基础[[BR]] 
     3 
     4任务设置优先级，根据优先级调配任务[[BR]] 
     5 
     6时间触发任务[[BR]] 
     7 
     8WEB界面上实现取消任务功能[[BR]] 
     9 
     10 
     11 
     12一些可能用到的参数 
     13 
     14mapreduce.job.complete.cancel.delegation.tokens[[BR]] 
     15job.end.notification.url[[BR]] 
     16 
     17*做法一，通过jobClient读取hadoop的集群信息，看代码后发现这种信息只能读取小部分的信息 
     18 
     19{{{ 
     20        Configuration conf = new Configuration(); 
     21        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); 
     22        JobClient jobClient = new JobClient(new JobConf(conf)); 
     23        JobQueueInfo[] queues = jobClient.getQueues(); 
     24  
     25 
     26}}} 
     27 
     28*做法二 往hadoop 的http server中增加一些jsp,输出任务和集群的信息，增加的jsp见附件[[BR]] 
     29 
     30输出格式为[http://192.168.238.63:50030/jobtracker_json.jsp][[BR]] 
     31通过spring的定时任务，定时保存任务的信息，保存在数据库中，每个小时进行分析，找出又问题的任务[[BR]] 
     32第一版上线的地址: [http://192.168.238.63:8080] 
     33 
     34 
     35下面的版本会对正在执行的任务进行监控和调度 
     36 
     37有几个东西有待确认： 
     38* 提交后的任务（pending状态）参数是否还可以修改，比如优先级，reduce的数量 
     39 
     40是否可以通过API拿Hadoop的信息，可以通过下面的代码