云存储技术原理与特点有哪些应用场景

专业大数据挖掘分析——助力小微企业发现价值

电话+V： 152079-09430 ，欢迎咨询云存储技术原理与特点有哪些应用场景，[大数据挖掘与分析]，[大数据应用场景建设]，[大数据接口共享]，[大数据去除冗余]，[大数据精准推送]，[大数据广告价值]，[助力小微企业成长更上台阶]

16年云存储历程，亚马逊云科技如何应对数据存储挑战

提到灵活的云上资源与存储，业界必然会想到亚马逊云科技的王牌级存储产品AmazonS3。从2006年推出S3到现在的16年间，亚马逊云科技一直在存储技术上投入研发，比如仅2021一年，就发布了130多项存储领域的新服务和功能特性。亚马逊云科技对于存储成本和性能的优化，为业界提供了重要的参考范本。

连续16年，让存储成本持续下降，怎么做到？

在存储技术上，想要提升数据存储和调用性能，降低存储介质成本，通常利用各类存储介质特点，依据数据重要级去分级存储，这一直是存储技术中重要的一项。亚马逊云科技的王牌存储产品AmazonS3在16年间价格降低7倍（以S3标准频繁访问层AmazonS3StandardFrequentAccess为例），2021年底，AmazonS3的标准非频繁访问层和单区非频繁访问层的存储价格又降低了31%！

压缩存储成本空间的底气，是亚马逊云科技分层存储技术背后的设计逻辑。

数据量爆发，庞杂的数据其实可细分为各种类型，例如实时交易平台数据、业务监控数据、机器学习推理所涉及数据，以及社交媒体产生数据、音视频与图像数据，另外还要容灾备份、开发测试数据以及历史归档数据等等。亚马逊云科技为这些数据定义了“数据的温度”，依据数据调用的频率，分为热数据、温数据、冷数据和冻数据。

图：海量数据和多种数据访问需求

2018年亚马逊云科技就推出了AmazonS3智能分层功能，面向未知访问模式的海量数据。AmazonS3可以自动为数据进行冷热分层，实现至多68%的成本节省。

另外，亚马逊云科技数据分层存储已经拓展到文件存储AmazonEFS。AmazonEFS提供四种存储等级，可节省高达72%的存储成本。

现在，AmazonS3智能分层已经涵盖了AmazonS3家族的几乎所有存储类别，实现数据全生命周期的智能化存储与使用。用户可以将AmazonS3智能分层作为默认的存储层级，用以构建包括数据湖、机器学习等各种云端应用。

存储走向场景细分，亚马逊云科技积累存储全线产品

说到存储的应用场景，数字化深入各行业，也催生了多种多样的业务场景。依据云计算的发展进程，我们可以将业务场景分为云上原生的场景，以及传统的企业业务场景。

如网站托管、数据湖、数字营销、云相册、音视频分享、电商平台、社交媒体等应用，这些云原生现代化应用，客户可以使用云原生Serverless文件存储AmazonEFS，获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。

另外，例如ERP/CRM、数据库、自动驾驶、生命科学、混合云、模拟仿真、气象分析、EDA、视频渲染等更为复杂多样化的企业级应用，亚马逊云科技提出“专门构建”的思路去提供云端存储产品和服务。

针对企业级工作负载，亚马逊云科技提供了AmazonEBSIO2BX和AmazonFSx系列服务。AmazonEBSIO2BX是为运行在线下数据中心SAN存储上的应用而设计。AmazonFSx家族是为各类企业应用而专门构建的共享文件存储。FsX=FileXSystem，详细来说，AmazonFSx家族已经有以下多个存储产品：

AmazonFSxforWindowsFileServer，2018年11月推出，支持WindowsServer工作负载。

全新一代AmazonFSxforLustre，2021年11月发布，面向HPC计算密集型工作负载，帮助客户快速完成高性能计算，如基因测序，新药研发，自动驾驶模拟仿真，半导体设计等任务。

（1）AmazonFSxforLustre与当前一代相比，提供5倍的吞吐量（每TB高达1GB/秒)。

（2）AmazonFSxforLustre支持与S3的数据更新双向同步，在S3或Lustre任一侧更新数据，都可以在另外一侧实现自动快速同步。

AmazonFSxforOpenZFS，2021年11月发布，面向大数据分析Linux工作负载。针对那些以往把数据放在ZFS或者其它Linux文件服务器、而不希望改变架构的云迁移客户。通过它，可以让ZFS或其他基于Linux的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式，提供高达1百万IOPS，而延迟仅有几百微秒，非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。

AmazonFSxforNetAppONTAP，2021年9月发布，方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的NetAppONTAP文件存储服务，无需修改其应用、工具、流程或工作流，即可将其在NAS设备上运行的应用迁移至亚马逊云科技。AmazonFSxforNetAppONTAP让客户可使用其已经熟悉的NAS工作流来部署、管理应用和数据，同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性，以及与亚马逊云科技其它服务之间的无缝集成。

通过对场景的细分与对应存储需求的研究，亚马逊云科技已经覆盖了从块存储、对象存储，到文件存储、备份、容灾，以及数据传输和边缘处理的全线存储产品和服务，堪称云巨头亚马逊云科技在存储技术领域的“全家桶”式产品矩阵。

强大产品矩阵，覆盖场景全面，不是一句简单的宣传口号。举个例子，亚马逊云科技存储产品“全家桶”所覆盖的场景，甚至已经拓展到了地球以外的国际空间站中。今年亚马逊云科技已经向国际空间站部署了AmazonSnowcone服务，设备内含有固态硬盘，为国际空间站端到端的数据下载和分析事件从20小时缩短到20分钟。

这应该算是极端的一种边缘场景了，毕竟和地球上的场景比起来，国际空间站的边缘场景中，硬件要尽一切可能轻，经受发射时极端震动和重力，以及在微重力下安全连接主航天器电力、冷却和网络系统。

图：在国际空间站“服役”的AmazonSnowcone

从存储技术层面看，这款AmazonSnowcone是专为运行边缘计算工作负载而设计，所有工作负载均受多层加密保护。在本地收集和处理数据后，通常会将设备运回亚马逊云科技数据中心，以便处理后的数据可以存储在云中并进一步处理。或者，也可以使用AmazonDataSync将数据从Snowcone设备复制回亚马逊云科技数据中心。

除了极端的边缘场景，以能源电力场景下的金风慧能案例为例。

总结