海量数据的处理_海量数据的传统存储存在的挑战及解决方法

在西方神话中，诺亚建造了一艘方舟，带着各种生物逃离洪水，安全度过“世界末日”。2016年，一个名为——的国家基因库在中国起航，携带着人类和其他生物的基因样本和代码。

它的发展不仅让我们了解了世间万物的过去，也影响了未来。在未来的基因时代，或许去医院看病只能被基因当做“身份证”和病历；或许实现大熊猫“吸猫”的自由；古代的恐龙和猛犸象回到了现代。

但要这样的未来，我们需要一些坚实的“砖块和石头”来铺路。

像“生命银行”一样，通过服务器和数据中心存储、读取、合成和共享大量与生命相关的科学数据，不仅保存了生物遗传资源和物种多样性，实现了生物遗传信息的数字化，还为物种多样性提供了新的保障，为精准医疗提供了大数据支持。

然而，随着物种和信息资源的爆炸式增长，传统存储在海量数据面前面临诸多挑战。主要表现在以下几个方面：

第一，成本高。传统的存储设备并不通用。随着业务需求的增长，未来设备投资加上后期维护、升级、扩容的成本会非常高。

第二，性能低下。单个节点的I/O性能瓶颈难以逾越，容量和性能不易扩展，难以支撑海量数据的高并发、低延迟场景。

第三，安全隐患多。在数据传输过程中，存在着泄露、篡改、被数据流攻击等风险隐患。

根据面临的挑战，柯荣联创与东芝合作，为国家基因库推出了低成本、高速稳定、安全且存储空间充足的分布式存储方案。

该方案采用柯荣联合打造的超大存储产品946SE2C-R1K66JBOD(4U60 disk)服务器，以及配套的2U12磁盘平台作为管理节点，内含高速稳定的东芝企业级硬盘，完美替代原有系统中存在的高成本、低带宽、高风险的存储模式。

东芝全新的高性能低功耗16TB SATA硬盘，结合柯荣具有智能优化引擎的分布式文件存储系统，在消除协议处理和转换“瓶颈”的同时，显著提升数据流的全链路速度，单节点大于3GB/s，实现微秒级延迟的分布式存储极速性能，业内罕见。

至于存储空间，采用全对称分布式存储架构，在线扩展到EB级存储容量，支持多节点在线平滑扩展。I/O客户端数量、I/O带宽和存储容量根据用户需求高度可扩展，规模非常可扩展。

当然，为了应对高并发场景，存储架构、存储管理软件、存储核心算法中的核心技术都采用了独特的共享锁机制，实现数据写入或读取时的最大I/O并发，轻松承载“千万超高并发访问数万超高并发节点，实现百亿超高文件存储”。

基于“软硬件架构网络”的高可靠存储平台，具有自调优能力，无论复杂程度，无论大文件、小文件还是混合负载场景，都能提供一致的快速存储，确保零数据丢失、零业务中断。

上面提到的东芝企业级容量硬盘，容量超强，适用于海量存储需求的存储系统和数据中心。其中，MG系列包含业界首款9盘存储设备，提供高达18TB的传统磁记录容量，目前正在努力攻克30TB大关！

氦封设计还可以提高存储密度，降低气动阻力，从而降低运行功耗，有助于优化总拥有成本(TCO)，满足基因库未来对高速、稳定、安全存储系统性能和充足存储空间的要求。

东芝和柯荣联创也将保持长期紧密的合作关系。未来，他们将共同开发更多创新的存储技术，帮助国家基因库贯穿数据到价值的价值链，提供更智能、更高效、更便捷的存储技术支持。

原标题：福利|东芝携手柯荣帮助升级国家基因库存储！

文章来源：【微信微信官方账号：东芝硬盘】欢迎添加关注！请注明文章出处。回顾唐子红