• 揭秘腾讯大数据之平台综述篇
    2014-11-17
    2014年4月12日,在腾讯分享日的大数据分论坛上,腾讯首次对外展现了自己的大数据平台,受到了外界的普遍关注,后续,我们将为大家更清晰地展现腾讯大数据平台的方方面面。本篇为综述篇,针对整体情况做
  • 腾讯大数据之集群资源管理技术分享系列之一:综述篇
    2014-11-17
    服务于腾讯大数据的资源调度与管理平台Gaia支撑最大的单集群即将达到8800台,达到业界顶级水平。本文将从集群管理系统的技术背景、业务价值、大数据支持等几个方面展开,综述性的介绍集群管理系统。
  • TDW千台Spark千亿节点对相似度计算
    2014-11-17
    本文将介绍腾讯TDW使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例,通过实验对比,我们优化后的性能是MapReduce的6倍以上,是GraphX的2倍以上。
  • 协同过滤算法在MapReduce与Spark上实现对比
    2014-11-15
    本文将介绍基于物品的协同过滤推荐算法案例在TDW Spark与MapReudce上的实现对比,相比于MapReduce,TDW Spark执行时间减少了66%,计算成本降低了40%。
  • LHOTSE-一站式任务调度
    2014-11-14
    当前最为常用的任务调度即是Crontab调度,按时间先后顺序来调起各个处理单元,但由于业务数据处理耗时的不确定性,仅靠时间先后来保证整个流程是不明智的,因此就呼唤更为复杂的、有着严格任务依赖顺序
返回顶部
在线咨询