wiki:update2012

Version 3 (modified by liaojiaohe, 14 years ago) (diff)

--

由于公司里面的Hadoop和Hbase版本比较旧,有很多新功能和性能上的改善都不能在上面实现

近期决定先升级Hadoop和HBase系统 Hadoop 由0.20.2升级为1.0.3 HBase 由0.90.5升级为0.94.1

升级步骤:(省略1万字)

程序兼容性测试:

定向广告重新编译后主干运行没有问题

广告分析系统:
程序要修改HFileOutputFormat.java文件 在HBase bulk load入库测试的时候遇到一个bug,现在文件不断复制到hbase的目录(正常同一个HDFS系统只是移动文件)
直到RPC request的数量被占满(缺省是10个),实际会复制了10份,而且应为现在storfile的大少缺省是10G,入库的功能很缓慢,并占用大量空间。
 HBASE-6529 这个bug 应该在0.94.2版本修正

经过测试后,hadoop版本和hbase的版本与旧版兼容性比较好,如果里面有引用hbase和zookeeper的jar,要升级一下,增加protobuf-java的jar