Changes between Version 1 and Version 2 of adanalytics

Timestamp:

11/27/2012 11:10:00 AM (13 years ago)

Author:

liaojiaohe

Comment:

--

adanalytics

@@ -1 @@
-开发的时候发现HBASE使用的一个问题
+比较完整的Hadoop应用jar包，包括入口程序，任务和帮助类3部分就够了
 
+1. 我们在项目的包的顶级放一个入口程序[[BR]]
+如 cn.pconline.ad.analytics3.Analyser,入口程序里面有一个ProgramDriver,把任务类加在里面就可以通过命令'' hadoop jar Analyser3.0.jar SumPvClick'' 执行
 
 {{{
- byte[][] qualifiers = new byte[][]{Bytes.toBytes("apns"), Bytes.toBytes("receive_type"), Bytes.toBytes("receiv
-e_time")};
-    Scan scan = new Scan();
-    scan.setCaching(100);
-    scan.setMaxVersions(1);
-    FilterList filters = new FilterList();
+   public static void main(String argv[]) throws Exception {
+        int exitCode = -1;
+        ProgramDriver pgd = new ProgramDriver();
+        try {
 
-    RowFilter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(new String(3 + "_").getBytes()
-));
-    filters.addFilter(rowfilter);
+            pgd.addClass("CombineADRawFile", CombineADRawFile.class, "");
+            pgd.addClass("SumPvClick", SumPvClick.class, "");
 
-    SingleColumnValueFilter filter = new SingleColumnValueFilter(
-            Bytes.toBytes("base"),
-            "app_ver_int".getBytes(),
-            CompareOp.EQUAL,
-            Bytes.toBytes(3020000));
-    filters.addFilter(filter);
-
-    for (int i = 0; i < qualifiers.length; i++) {
-        scan.addColumn(Bytes.toBytes("base"), qualifiers[i]);
-    }
-    // filters.addFilter(new FirstKeyOnlyFilter());
-
-    scan.setFilter(filters);
-    ResultScanner scanner = hTable.getScanner(scan);
-
+          ....
 }}}
 
-出现问题，由于filter里面的字段在addColumn的时候是没用的，filter就失效了
+2. hadoop任务是程序包的核心，借用网上两张图说明一下map和reduce的流程[[BR]]
+我们的做法是写一个实现Tool接口的基类，其他的任务继承这个基类，有些公共的方法就不用每个重复
+{{{
+public abstract class JobBase implements Tool
+}}}
+
+每个任务的核心是map和reduce，有些类可以使用系统现有的，有些可以项目公用，不过更多的需要每个job里面自己定制，借网上的两张图说明一下map和reduce的流程