Changes between Version 2 and Version 3 of concept
- Timestamp:
- 08/16/2012 03:00:45 PM (14 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
concept
v2 v3 1 1 2 2 == 现在流行的分布式计算系统一般包括: == 3 分布式文件系统:如HDFS,Marp,Ceph, 4 其他的分布式文件系统和HADOOP集合的不是很好,适合做图片服务器或者网盘一类的应用没有深入去看 5 计算框架:如离线处理HADOOP(MAPREDUCE),支持在线处理的Storm,迭代式计算框架Spark,流式处理框架S4等 3 分布式文件系统:如HDFS,Marp,Ceph,[[BR]] 4 其他的分布式文件系统和HADOOP集合的不是很好,适合做图片服务器或者网盘一类的应用没有深入去看[[BR]] 5 6 计算框架:如离线处理HADOOP(MAPREDUCE),支持在线处理的Storm,迭代式计算框架Spark,流式处理框架S4等[[BR]] 7 6 8 分布式数据库:主要是K-V数据库,如HBASE,HyperTable 7 9 … … 10 12 == 下一步:资源统一管理与调度平台 == 11 13 考虑到资源利用率,运维成本,数据共享等因素,公司一般希望将所有这些框架部署到一个公共的集群中,让它们共享集群的资源,并对资源进行统一使用,资源统一管理与调度平台应运而生。 12 资源统一管理和调度平台应该支持多种计算框架,有扩展性,容错性和资源的高利用率,典型代表是Mesos和YARN(下一代的HADOOP) 13 14 [[Image(mesos.png)]]Mesos的架构图可以比较清楚说明资源统一管理与调度平台 14 资源统一管理和调度平台应该支持多种计算框架,有扩展性,容错性和资源的高利用率,典型代表是Mesos和YARN(下一代的HADOOP)[[BR]] 15 16 Mesos的架构图可以比较清楚说明资源统一管理与调度平台[[BR]] 17 18 [[Image(mesos.png)]][[BR]] 15 19 16 20 17 由于现有系统的不成熟,有些公司也自己做了一下系统来监控和调度Hadoop的任务,从淘宝公布的资料来看,他们应该有一套,毕竟机器多了,监控很重要。 21 由于现有系统的不成熟,有些公司也自己做了一下系统来监控和调度Hadoop的任务,从淘宝公布的资料来看,他们应该有一套,毕竟机器多了,监控很重要。[[BR]] 18 22 19 [[Image(taobao_data.gif)]] 23 [[Image(taobao_data.gif)]] [[BR]] 20 24 21 其中prom下面对应的就是hbase,MyFox对应的是Mysql等关系型数据库,通过TDDL解决数据自动切分,迁移等功能 22 在监控换管理方面,我们通过这个[/wiki/concept/yunti.pdf pdf]文件了解一个大概。 25 26 其中prom下面对应的就是hbase,MyFox对应的是Mysql等关系型数据库,通过TDDL解决数据自动切分,迁移等功能[[BR]] 27 28 在监控换管理方面,我们通过这个[/wiki/concept/yunti.pdf pdf]文件了解一个大概。
![(please configure the [header_logo] section in trac.ini)](http://www1.pconline.com.cn/hr/2009/global/images/logo.gif)