Changes between Version 2 and Version 3 of concept


Ignore:
Timestamp:
08/16/2012 03:00:45 PM (14 years ago)
Author:
liaojiaohe
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • concept

    v2 v3  
    11 
    22 == 现在流行的分布式计算系统一般包括: == 
    3       分布式文件系统:如HDFS,Marp,Ceph, 
    4       其他的分布式文件系统和HADOOP集合的不是很好,适合做图片服务器或者网盘一类的应用没有深入去看 
    5       计算框架:如离线处理HADOOP(MAPREDUCE),支持在线处理的Storm,迭代式计算框架Spark,流式处理框架S4等 
     3      分布式文件系统:如HDFS,Marp,Ceph,[[BR]] 
     4      其他的分布式文件系统和HADOOP集合的不是很好,适合做图片服务器或者网盘一类的应用没有深入去看[[BR]] 
     5 
     6      计算框架:如离线处理HADOOP(MAPREDUCE),支持在线处理的Storm,迭代式计算框架Spark,流式处理框架S4等[[BR]] 
     7 
    68      分布式数据库:主要是K-V数据库,如HBASE,HyperTable 
    79 
     
    1012== 下一步:资源统一管理与调度平台 == 
    1113      考虑到资源利用率,运维成本,数据共享等因素,公司一般希望将所有这些框架部署到一个公共的集群中,让它们共享集群的资源,并对资源进行统一使用,资源统一管理与调度平台应运而生。 
    12  资源统一管理和调度平台应该支持多种计算框架,有扩展性,容错性和资源的高利用率,典型代表是Mesos和YARN(下一代的HADOOP) 
    13        
    14 [[Image(mesos.png)]]Mesos的架构图可以比较清楚说明资源统一管理与调度平台 
     14 资源统一管理和调度平台应该支持多种计算框架,有扩展性,容错性和资源的高利用率,典型代表是Mesos和YARN(下一代的HADOOP)[[BR]] 
     15 
     16 Mesos的架构图可以比较清楚说明资源统一管理与调度平台[[BR]] 
     17 
     18     [[Image(mesos.png)]][[BR]] 
    1519 
    1620 
    17 由于现有系统的不成熟,有些公司也自己做了一下系统来监控和调度Hadoop的任务,从淘宝公布的资料来看,他们应该有一套,毕竟机器多了,监控很重要。 
     21 由于现有系统的不成熟,有些公司也自己做了一下系统来监控和调度Hadoop的任务,从淘宝公布的资料来看,他们应该有一套,毕竟机器多了,监控很重要。[[BR]] 
    1822 
    19 [[Image(taobao_data.gif)]]  
     23     [[Image(taobao_data.gif)]] [[BR]] 
    2024 
    21 其中prom下面对应的就是hbase,MyFox对应的是Mysql等关系型数据库,通过TDDL解决数据自动切分,迁移等功能 
    22 在监控换管理方面,我们通过这个[/wiki/concept/yunti.pdf  pdf]文件了解一个大概。 
     25 
     26 其中prom下面对应的就是hbase,MyFox对应的是Mysql等关系型数据库,通过TDDL解决数据自动切分,迁移等功能[[BR]] 
     27 
     28 在监控换管理方面,我们通过这个[/wiki/concept/yunti.pdf  pdf]文件了解一个大概。