你好,游客 登录 注册 发布搜索
rss订阅 手机访问 
云计算技术
Eclipse构建普通的MapReduce项目-详细步骤及常见问题
前面的任务中我们已经搭建了一个伪分布模式的Hadoop运行环境。小讲知道,我们绝大多数同学都习惯在Eclipse中做Java开发,这个课程就是教大家如果搭建一个基于Eclipse IDE的Hadoop开发环境。
日期:12/30/2016 20:51:38 作者: 点击:68
基于ngx_lua的动态服务路由方案
在更新服务的时候,怎么能做到让自己的服务不断掉,又拍云做更新的时候,不允许有失败,如果说因为我们的失败而导致请求失败,即使你的请求非常少,首先从口碑上就很不好;另外一个原因:如果造成了事故,是要赔钱的。这也是我们做动态服务路由的重要原因。
日期:12/30/2016 14:02:59 作者: 点击:55
Spark的调度策略详解
Spark的调度策略
  Spark目前有两种调度策略,一种是FIFO即先来先得,另一种是FAIR即公平策略。所谓的调度策略就是对待调度的对象进行排序,按照优先级来进行调度。调度的排序接口如下所示,就是对两个可调度的对象进行比较。
  private[spark] trait SchedulingAlgorithm {
  def comparator(s1: Schedulable, s2: Schedulable): Boolean
 ...
日期:12/30/2016 13:41:46 作者: 点击:47
VMplay虚拟云智能交互技术助力手机App云上体验
日前,以“移动引领互联,科技成就应用”为主题的VMplay媒体公开日活动在北京史家花园酒店举行。VMplay创始人兼CEO艾奇伟在会上提出,VMplay就是要让用户无需下载App就能体验到原生应用,VMplay的做法是将移动操作系统云化,这样用户便可直接在云平台上体验原生App了。
日期:12/29/2016 21:50:42 作者: 点击:42
2017春运抢票软件哪个好,教你看懂刷票原理!
距离春节尚有一个多月,回家之情却从未如此急切,究其原因,主要是因为买不到票。
日期:12/28/2016 11:07:38 作者:谢幺 点击:32
VirtualAPK:滴滴 Android 插件化的实践之路
一、前言
  在 Android 插件化技术日新月异的今天,开发并落地一款插件化框架到底是简单还是困难,这个问题不同人会有不同的答案。但是我相信,完成一个插件化框架的 Demo 并不是多难的事儿,然而要开发一款完善的插件化框架却并非易事,尤其在国内,各大 ROM 厂商都对 Android 系统做了一定程度的定制,这更进一步加剧了 Android 本身的碎片化问题。
  ...
日期:12/26/2016 14:06:43 作者: 点击:36
使用bcache为Ceph OSD加速的具体实践
本文为Ceph中国行•武汉站上,杉岩数据高级研发工程师花瑞做的内容分享,闲言少叙,直接上干货。
日期:12/23/2016 08:58:19 作者: 点击:41
几十万Docker容器如何撑起阿里双11
扯犊子:双11,女人们疯狂的时候,也是电商网站技术人员接受考验的时候。2016双11,阿里完成了1207亿的成交额,交易峰值17.5万单每秒。阿里技术大咖们做了什么样部署和准备?且看阿里平台架构部负责人林昊为你解密!
日期:12/21/2016 13:47:49 作者:林昊(毕玄) 点击:52
滴滴 iOS 动态化方案 DynamicCocoa 的诞生与起航
滴滴出行客户端 App 架构团队在对 React Native、Weex 进行调研尝试后发现并不适用于滴滴现有业务,由此自研了 iOS 动态化方案——DynamicCocoa,在这篇文章中,作者详细分享了它的背景以及具体功能实现。
日期:12/19/2016 12:34:41 作者: 孙源 点击:71
用VR做数据可视化的正确姿势是什么?
数据可视化是少数几个 VR“布道者”非常喜欢说道的利用虚拟现实可能产生变革的领域之一。但是究竟应该如何做呢?现今的数据可视化领域又有什么问题呢?本文对传统的数据可视化的几个具体问题进行挖掘,讨论理解抽象信息方面的难题,并探讨VR如何改变这一切。
日期:12/15/2016 14:04:05 作者: 点击:70
如何解决分布式系统可管理性问题?
文 | 韩伟 腾讯互娱研发部高级工程师
  上期我们邀请腾讯互娱研发部高级工程师韩伟给大家分享了关于分布式系统的一些基础知识,了解了分布式系统产生的背景以及它是如何提高系统承载量的。回顾往期请看《分布式系统,你真的了解吗?》
  今天我们将继续跟随韩伟的分享,来进一步学习解决分布式系统可管理性有哪些基本手段。
  韩伟现就职于腾讯互娱研发...
日期:12/08/2016 15:20:51 作者: 点击:57
Spark计算过程分析
基本概念
  Spark是一个分布式的内存计算框架,其特点是能处理大规模数据,计算速度快。Spark延续了Hadoop的MapReduce计算模型,相比之下Spark的计算过程保持在内存中,减少了硬盘读写,能够将多个操作进行合并后计算,因此提升了计算速度。同时Spark也提供了更丰富的计算API。
  MapReduce是Hadoop和Spark的计算模型,其特点是Map和Reduce过程高度可并行...
日期:12/08/2016 11:53:50 作者: 点击:58
Hbase葱岭探秘-原理与架构
Hbase是什么
  Hbase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它...
日期:12/07/2016 16:30:28 作者: 点击:64
你距离被Facebook认可的数据分析师,还差点什么?
经常有小伙伴在各种渠道问我,数据分析师怎么入门?应该读什么书?如何能成为被大公司认可的数据分析师?
日期:12/06/2016 13:59:13 作者: 点击:43
基于Tensorflow和TF-Slim图像分割示例
引言
  在上一篇文章里(如何用TensorFlow和TF-Slim实现图像分类与分割),我们介绍了如何截取图片的中央区域,然后用标准的分类模型对图片的类别进行预测。随后,我们又介绍了如何将网络模型改为全卷积模式,对整张图片进行预测。我们通过这种方法可以得到原始图片的一张降采样预测图 —— 降采样是由于网络结构含有最大池化层。这种预测图可以被视为一...
日期:12/05/2016 14:11:57 作者: 点击:45