你好,游客 登录 注册 发布搜索
背景:
阅读新闻

深圳泽云:独创的RQR技术实现硬盘阵列秒级重建

[日期:2014-08-06] 来源:CSDN  作者: [字体: ]

  面对互联网时代海量信息的存储和管理,泽云科技将国际化技术研发与本地化市场支持相结合,凭借在存储领域多年的研发经验和技术积累,推出了ZS全系列存储产品,包括视频监控存储、通用数据存储、集群存储以及私有云存储。泽云科技对传统RAID算法进行优化,开发了业内领先的RQR技术,大幅缩短阵列重建时间,增加了系统对磁盘故障的容忍度;并且开发出新兴的集群高可用存储、SSD优化等业界科技前沿的存储技术。

  泽云科技在数据中心、云存储、大数据、监控存储等领域具备独特的解决方案,广泛应用于政府、医疗卫生、教育科研、广播电视、能源电力、交通运输等各行各业。以下是笔者对深圳泽云科技系统工程师明溪源的采访实录。

  深圳泽云科技系统工程师 明溪源

  CSDN:能否介绍一下您及泽云科技,技术特点及团队结构?

  泽云科技:

  a.我是泽云科技的一名系统工程师,主要负责存储系统运维工作。

  b.泽云科技专注研发新一代高性能存储系统,提供服务器存储应用解决方案,泽云科技存储在2014年第一季度取得突破性进展,其中视频监控存储性能全国第一。

  c.泽云科技的技术特点是对视频监控存储系统的深度开发,我们有业界特有的视频监控文件系统VFS,它可以大幅度提升视频监控存储系统的性能。

  d.泽云科技的的研发人员均出自知名存储厂商或者国内外著名IT企业,拥有强大的研发实力;核心销售人员具有多年的存储产品以及视频监控行业市场经验。

  CSDN:与业界其他类似产品相比,泽云科技的ZS全系列存储产品的特点、优势表现在哪些方面?

  泽云科技:

  1. 视频监控文件系统VFS:增加硬盘的寿命,大量的随机写变成顺序写,减少磁头的寻道。单台设备支持更多接入视频路数,最高达3200Mbps,行业最高。

  2. 秒级重建技术RQR:国内首创秒级重建技术。当硬盘读写出现坏道错误时,能迅速修复,支持多块磁盘同时发生坏块。支持监控级硬盘。

  3. VRAID技术:RAID5中多块硬盘损坏,数据仍能读出,目前行业内仅有极少数厂家有此项技术。

  4. 磁盘迁移:可避免由于磁盘被错误插拔而导致的数据丢失。主机系统发生异常而需要更换系统盘时 数据和阵列配置不丢失。

  5. 局部重建:重建数据减少。磁盘被人为误拔出后1分钟之内插回系统,或者磁盘出现闪断的时候,阵列不需要进行全盘重建,只需要重建磁盘不在位时刻起,修改过的数据即可。

  6. MetroUI:图形界面集中图形化管理,支持一键式快速配置以及多平台登录管理。操作简单,响应快捷流畅,支持一键配置和一键维护。

  CSDN:对于存储系统,主要瓶颈就是读写速度,尤其是大数据时代,泽云在这方面有什么独特之处?

  泽云科技:对于存储系统读写问题,泽云科技VFS文件系统对读操作进行了优化。在读方面,视频监控数据写入时,硬盘几乎没有读操作;在写方面,VFS将大量随机写变为顺序写,减少磁头寻道,同时利用条带刷机制控制硬盘的写入频率,在大幅度提升系统性能的同时保证系统的稳定性。

  CSDN:你们的主要客户有哪些?客户部署你们的存储产品,有哪些好处?

  泽云科技:泽云科技的主要客户是视频监控系统集成商与工程商,部署泽云科技存储产品,主要的好处有如下四方面:

  第一,在业界具有竞争力的价格

  第二,技术优势,如VFS文件系统以及秒级重建,可以让客户在投标中更为主动

  第三,开放的API,泽云愿意与客户进行深度合作,取长补短,共同研发出更具有竞争力的产品

  第四,专业的售前以及售后服务,包括项目开局、现场指导以及原厂的后期维护

  CSDN:有没有一些应用案例和大家分享一下?

  泽云科技:泽云科技目前正在与某安防行业前五的厂商进行合作,通过双方的对接开发,对方的视频监控转发服务与存储服务模块成功合入泽云科技存储产品中,配合VFS使用。目前这款产品已经通过公安部的认证检测。

  CSDN:能否详细给我们谈谈泽云科技RQR技术?其在企业私有云存储方面有什么优势?

  泽云科技:RQR(Raid Quick Repair)技术的核心是为了解决视频监控存储中硬盘故障和RAID重建的问题。对硬盘及RAID算法的优化,是一个厂家的核心技术所在,据IDC权威数据,存储系统的硬件故障90%以上是由硬盘故障引起。

  故障硬盘中,只有12%是完全的物理损坏,其余88%是硬盘系统的软件错误告警(实际可能是逻辑损坏或者某个坏道损坏),只要通过软件方式进行修复和补偿,仍然属于可用硬盘。但对于这88%的告警,传统存储系统会产生告警,并将“坏盘”从RAID组踢出,整个RAID组进入全盘重建。传统RAID组进行整盘重建的时间是比较长的,如下图统计数据显示:

  从上图可以看出,1TB的数据,无业务压力情况下,重建时间要20小时以上,如果采用4TB硬盘,重建时间需要80小时,超过3天时间。对一个RAID而言,重建时间越长,风险越大,因为在RAID重建时,会占用大量的计算资源,同时极大降低RAID组的读写性能(会产生严重的数据丢包)。如果在重建过程中,有新的硬盘故障产生,整个RAID组都会崩溃。在此情况下,传统存储技术面临一个两难命题:硬盘故障后必须进行数据重建,降低数据丢失的风险;但由于重建时间过长,且严重影响性能,又对数据安全带来新的风险,针对这个问题,RQR技术提供了解决方案:

  如下图所示:将硬盘以条块为单位进行细分,当某块硬盘出现条块损坏时,RQR算法会立即将条带的数据迁移到其他条带,同时并对条带进行修复,如果是逻辑损坏,则修复后,释放空间,继续使用;如果是物理损坏,则将损坏的条带屏蔽。整个重建修复及屏蔽过程,都在10s内完成。

  RQR技术,在企业私有云方面,将为客户带来以下价值:

  1、避免RAID进入长时间的重建中,保证系统的性能稳定和存储数据的安全性,当阵列重建时,再次出现掉盘现象,阵列将损坏;

  2、能够识别硬盘是物理损坏还是逻辑损坏,能够对逻辑损坏或者微小的物理损坏进行修复,减少90%以上的硬盘告警率,降低由于硬盘告警带来的维护频次,从而降低维护成本,降低由硬盘更换维护本身带来的系统风险。

  3、RQR容忍硬盘的条带及坏道故障,能够提供硬盘的有效利用时间,节约硬盘投入成本;传统系统,只要有告警,就要更换硬盘。

  CSDN:泽云科技下一步有什么计划,方便透露吗?

  泽云科技:泽云科技下一步的计划是为客户提供全套的视频监控系统解决方案。

  CSDN:能谈谈大数据时代的商业存储吗?

  泽云科技:研究表明,大数据处理的数据中,超过80%的数据都为非结构化数据,而非结构化数据,主要就是指不能存储在数据库中,而需要存放在文件系统中的数据,主要包括各类文档、图片以及视频等数据信息,由于泽云科技主要的研发方向在视频监控存储领域,那么我主要谈谈大数据中的视频数据所需要的商业存储。目前,视频监控安防行业正在发生巨大的变化,在大数据时代,这个变化的趋势就是高清化、智能化,那么这就对存储系统带来两个问题,第一,对于高清化,视频监控存储系统的容量十分关键,而目前市面上的4T硬盘已经慢慢开始普及,那么作为存储厂商,需要解决大容量硬盘与磁盘阵列之间的兼容问题、优化问题;第二,对于大数据时代的智能化,视频数据将具有智能分析功能,具体包含车牌识别、人脸识别、视频诊断、视频压缩等功能,而这对数据存储的要求也将有重大的变革,已经不仅仅是读写速度的问题,还包含检验信息记录、文件系统设计等多方面问题。

  CSDN:能谈谈海量存储未来的发展趋势吗?

  泽云科技:由于数据信息的指数型快速增长,海量存储无疑是未来的趋势,我个人认为,未来海量存储的趋势仍是将存储系统与传统的服务器脱离,构建NAS与SAN。但是,未来硬盘的单盘容量可能会继续增大,届时,如何解决超大容量硬盘与RAID之间的性能矛盾会是海量存储面临的新问题。

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       云计算 云先锋 泽云视 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款