Changes between Initial Version and Version 1 of update2012


Ignore:
Timestamp:
08/22/2012 03:47:36 PM (14 years ago)
Author:
liaojiaohe
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • update2012

    v1 v1  
     1由于公司里面的Hadoop和Hbase版本比较旧，有很多新功能和性能上的改善都不能在上面实现 
     2 
     3近期决定先升级Hadoop和HBase系统 
     4Hadoop 由0.20.2升级为1.0.3 
     5HBase 由0.90.5升级为0.94.1 
     6 
     7升级步骤：（省略1万字） 
     8 
     9程序兼容性测试： 
     10在HBase bulk load入库测试的时候遇到一个bug，现在文件不断复制到hbase的目录（正常同一个HDFS系统只是移动文件） 
     11直到RPC request的数量被占满（缺省是10个），实际会复制了10份，而且应为现在storfile的大少缺省是10G，入库的功能很缓慢，并占用大量空间。 
     12[https://issues.apache.org/jira/browse/HBASE-6529  HBASE-6529]  
     13这个bug 应该在0.94.2版本修正