华为云存储:华为的创新与演进之路

物联网、大数据、云计算及移动社交网络……这些强大的信息产业狂潮正以风卷残云之势引领现代企业的业务发展方向。

物联网不仅让信息通过网络实现无处不在的传递,也使人们与身边的万物发生最直接的联接;而移动化、社交化使这种全球性的联接变得更加紧密,并渗透到人们的衣食住行;大数据分析与数据挖掘使海量信息的汇聚变得更有价值,支持企业更有针对性的创新发展。

而以平台化、资源共享、弹性按需为特征的云计算,作为信息产业创新的关键支撑者,不仅能为万物互联提供必需的资源与平台支持,更让企业、个人能以更优的性价比,更方便地使用强大的计算能力、几乎无限的存储空间、更敏捷的网络资源以及更开放的生态环境兼容能力。

因此基于“全面云化”的应用创新,已然成为企业“数字化转型”的必然选择。在云计算时代,计算、存储等能力以服务的方式按需提供给企业,企业只需关注自身业务应用,那么未来的企业基础架构要如何演进,以快速响应云时代的需求?

在2013年,Gartner曾对企业基础架构提出了“软件定义一切”的未来趋势,现在看来,这个预言正在成为现实。

从2002年投入存储技术与产品研发以来,华为对于云架构下的分布式存储系统构建早已形成自有思路,并在产品技术创新上不断探索。

分布式文件存储标杆

华为2009年发布第一款分布式文件存储,是较早使用分布式集群架构进行海量非结构化数据存取的产品之一,其文件系统CFS成为第一个正式商用的日志文件系统,最大支持24节点扩展,专门面向大规模文件数据处理需求。

2013年5月,在美国国际IT信息技术展览会(Interop)上,华为发布新一代分布式文件存储系统。产品不仅采用全对称横向扩展架构,实现了存储性能与容量的跨越式提升;同时在数据存储基础上叠加了对大数据分析的支持,成为了业界首个融合“存储、分析和归档”的存储产品。通过免除跨设备数据装载、迁移,在提升大数据处理全流程效率的同时,降低整体拥有成本;同年9月,在标准性能评估机构SPEC的SPEC sfs2008基准测试中,产品以500万OPS的成绩再次刷新文件存储性能纪录,领先同类产品3倍多。

一直以来,“聚焦客户业务场景的产品设计”成为引领华为存储产品创新设计的基准原则,华为在分布式存储开发道路上不断刷新成绩。在2015年,华为分布式文件存储凭借独有的InfoTurbo性能优化技术,成为业内首个满足6层4K超高清视频节目制作的NAS存储系统。同年9月,华为联合QLogic将25Gb以太网技术应用于其分布式文件存储系统,率先实现这一技术从标准到产品的转化,并为100Gb以太网技术的落地打下基础。

810

华为分布式文件存储

随着云计算技术兴起,华为分布式文件存储的发展开始向软件定义方向延伸,硬件平台也从专有硬件向通用硬件方向发展。通过在平台架构、性能、扩展性、大数据等方向持续的技术创新,华为分布式文件存储在媒体广电、高性能计算、视频监控等场景不断赢得客户信赖,例如在深圳广电部署的业界首个媒体云融合新闻中心分布式文件存储池,在韩国落地的业界首个4层4K超高清视频制作分布式存储池,与权威基因研究机构华大基因构建的HPC分布式存储池。

软件定义块存储新势力

基于在传统SAN存储领域数十年的雄厚技术积累,华为在2012年发布了第一款基于软件定义的分布式块存储系统,包含纯软件产品FusionStorage Block及超融合一体机产品FusionCube两种形态,采用分布式哈希数据路由、分布式缓存、全局负载均衡及多重数据保护等诸多存储技术,专门针对云计算基础设施对块数据存储需求而设计。DHT分布式路由算法实现数据的高效寻址和存储,消除了传统集中式元数据管理方式带来的系统性能瓶颈问题,使得在系统大规模横向扩展的情况下,仍然能提供线性增长的强大数据吞吐能力。

2013年,华为支撑自身运营的全球化信息中心云存储平台开始切换到FusionStorage Block上,截至目前,已经部署超过1.4万个标准x86服务器节点,超过600PB容量,高效支撑超过45万虚拟机和数十套数据库系统应用,覆盖产品研发、财务、销售运作等云开发、云运营场景。

2014年,浙江电信携手华为实现基于FusionStorage Block的国内运营商首个PB级SDS项目落地,2015年,华为FusionStorage Block在某全球500强商业银行开发测试云环境中部署超过4PB容量的大规模SDS集群;同时,华为FusionStorage Block支撑香港Infocast证券交易机构、德国电信、西班牙电信等海内外客户,构建基于云架构的分布式存储平台。截止目前,华为FusionStorage Block已获得超过200家典型行业客户的认可。

海量对象存储利器

在对象存储领域,华为在2012年云计算大会(HCC)上发布全分布式对象存储系统,成为首个支持EB级扩展的海量存储解决方案,基于ARM架构的低功耗、高密存储节点,领先的P2P分布式存储引擎技术,以及业界首创面向海量数据存储的SmartDisk智能硬盘技术支撑构建海量对象存储平台,对外提供S3、NFS和CIFS等多种访问接口,支撑企业海量对象资源池、云网盘、云备份及公有云对象存储应用服务。

凭借多项业界领先的创新技术,华为对象存储获得2014年东京Interop“数据中心和存储类特别大奖”,目前,华为对象存储已服务于欧洲核子研究中心CERN、Vodafone、西班牙电信、新加坡StarHub以及凤凰卫视等行业客户,支撑客户全球化云运营与数字化转型。

下一步 软件定义云存储

云计算的核心理念与最大价值在于“软件定义”,同样,最大的挑战也在“软件定义”,它强调企业以全新的模式管理数据中心存储、计算与网络等基础架构资源。这种模式摒弃了传统基础架构烟囱式的系统构建方式,看重资源的集约共享、弹性按需使用,更强调以最经济的投资最大化应用和数据价值。

对于数据存取的载体——存储系统而言,更是如此,可是企业上层应用纷繁复杂,往往导致数据存取问题与需求多种多样:

1.数据类型的复杂多样,例如结构化、非结构化数据、半结构化数据共存,传统块存储、文件存储和对象存储烟囱式、孤岛化构建方式导致资源利用不均衡;

2.数据存取效率需求多样与不确定,例如热数据、冷数据如何更有效管理;

3.数据的阶段性存储需求量不确定,需要存储系统能在考虑经济性的情况下,满足数据爆发式增长的资源需求。

同时,不同企业的“云转型”策略与演进步调也不尽相同,这体现在是该选择私有云、混合云还是公有云架构,作为其起点平台,实现企业“华丽转身”,所谓“华丽转身”,要由传统基础架构“平滑”演进到云。

存储系统作为数据载体,如何支撑企业向云的演进呢?以满足数据敏捷存储需求为特征的软件定义存储,成为企业管理新型云应用以及庞大数据的不二之选。

软件定义存储是未来存储的方向,“消除资源孤岛、极简化硬件平台、自动化资源管理、业务驱动的弹性资源供给”——是“全面云化”基础架构对敏捷存储系统的新诉求,无疑也是华为存储下一步的演进方向。

在基于分布式架构的块存储、文件存储及对象存储领域,华为存储持续技术积累并保持创新能力,其天然具备的“海量、弹性”等云技术基因,为其产品解决方案下一步跨越式演进作好了充分准备。