HDD VS SSD 谁才是生成式AI时代的更优解?

围绕机械硬盘和固态硬盘的争议延续了多年,尤其是随着云计算、生成式AI等技术的相继火热,这种讨论又有着进一步蔓延的态势。一方观点认为,受NAND单位容量价格波动等因素的影响,长期看HDD的市场空间仍会下降,甚至某家全闪存储厂商曾喊出,“HDD到2028年就会消失”,另一方观点则认为,互联网、云计算等领域的企业依然会大规模部署HDD来存储海量数据,后者的经济高效、耐用可靠的特性仍具有很大的吸引力。在笔者看来,前一种论调未免有些激进,从市场的库存变化、企业的成本控制(包括部署成本、迁移成本等),以及超大规模客户的态度来看,HDD还有着不小的想象空间。

1956年,IBM研制出首个电脑磁盘存储设备,采用了Winchester架构为基础,这也是机械硬盘长期以来的基本设计原理。时至今日,HDD已走过数十年的历程,有过长达十余年的数倍增长,也经历过不少动荡期,但始终是市场的主流选择。Gartner预计,2022-2026年HDD容量CAGR(复合年增长率)在16%左右,如果是在专业或企业应用、数据中心的环境中,其CAGR能达到22%。显然,全球数据圈的爆发对大容量存储的需求是空前的。

IDC预测,2027年,全球产生的数据量将达到291ZB,而在2023年,该数据为129ZB,相当于2022-2027年复合年增长率为22.4%。到2025年末,还会有超过80%的企业存储使用HDD。可以说,机械硬盘仍是大型数据中心和企业多数业务数据存储的“最佳场所”。从ChatGPT到Sora、多模态AI,模型参数从千亿级攀升至万亿级,微软、AWS、谷歌等科技巨头都在豪掷百亿、千亿美元构建GPU、建设超大规模数据中心,来自各类终端、云、边缘的信息汇聚为EB级的数据,供企业持续训练和使用。这些大模型的训练和推理主要发生在云端,而机械硬盘在公有云存储的占比则达到了90%。

不过,无论是机械硬盘从LMR走到PMR、SMR,还是固态硬盘从2D NAND到3D NAND、技术创新的迭代速度都已放缓。为此,颗粒厂商、硬盘厂商都在探索扩充容量、加快读写的新方式。例如,希捷在硬盘磁头上引入了创新的激光技术;推出了HAMR(热辅助磁记录)技术,不断提高磁盘的密度;利用双磁臂技术提高性能和IOPS,实现更快的读写速度。今年年初,希捷还发布了Mozaic 3+(魔彩盒3+)平台,使得单碟片面密度达到3TB+,并公布了单碟4TB+和5TB+的路线图。第一季度,希捷的部分客户已经收到银河Exos 30TB Mozaic 3+硬盘的供货。

当然,如果有充足的预算和时间,或者赶上SSD价格大跳水,选择固态硬盘也是一件好事。但遗憾的是,企业有越来越多的新技术、新场景、新业务需要投入资源,并且经过了一段时间的库存影响,SSD又重新回到了涨价轨道,有机构预计2024年第二季度NAND闪存合约价格会增长约13-18%,其中企业级SSD合约价格将环比增长20-25%。2022年,每TB的SSD价格约为机械硬盘的6.7倍,即使是2023年SSD大降价的时候也是4.4倍,特别是在经过谷底之后的价格反弹,企业采购者会更加敏感。根据希捷科技基于多家市场研究机构的整理结论,预计至少到2027年,企业级SSD和企业级HDD之间的每TB价格差异都会保持在6:1的溢价水平,甚至更高。在数据中心TCO的整体预算中,相近容量的条件下,SSD的采购成本要远远超出HDD。

可以看到,机械硬盘在每TB成本上对比SSD有着巨大的优势。到2025年,预计硬盘供应紧张的情况仍会延续。

在产品供应方面,NAND的加速供货并不能直接拉高SSD实际采购量。根据希捷对IDC报告的分析,2023年NAND的数据存储市场空间是333EB,到2027年会达到963EB,而机械硬盘在2027年的出货容量是2.7ZB。如果NAND产业要产出963EB,需要在2025-2027年投入729亿美元,这意味着每TB闪存输出的投资约为76美元,要是再把机械硬盘存储的数据全部迭代到SSD,还要额外投入2060亿美元。

此时,如果要满足2027年时接近4ZB的数据存储量,NAND产业要投入2789亿美元,而根据IDC的预估,全球客户给HDD供应的预算为250亿美元-270亿美元,也就是说,为了获得1美元的回报,需要投资10美元。显然,这种投资是不切实际的。

从企业的业务场景来看,SSD的确带来了性能上的优势,但也并非适用于所有场景。考虑到不同的数据类型、不同的计算需求、不同的应用属性,企业在计算、网络、存储上都会使用混合架构和介质,像存储系统就会包含高带宽内存、SSD、HDD、磁带、光盘等,针对特定的工作负载进行部署和优化,其中不仅涉及成本和性能,还有稳定性、可恢复性等因素。举例来说,分析、文件服务、对象存储、文件管理系统、网页托管等90%的负载占据了中等容量及以上的存储空间,而这些只需要标准时间数据传输即可,如电子商务交易系统、VDI、在线游戏平台等需要实时数据传输的负载只有10%,这些数据由较低容量就能满足,像科学模拟、实时图形渲染、AI训练等负载仅占1%,这些需要超实时数据传输。这样看来,适合SSD承载的更多是10%的业务应用。

事实上,有时混合存储系统可以提供比全闪存更好的体验,也能够满足很多企业和云存储的需求。此前,希捷科技就打造了基于英伟达高速InfiniBand网络的混闪存储方案,为不同规模的AI计算集群提供高性价比的标准化存储。该方案的存储单元采用了内置NVMe固态硬盘和希捷机械硬盘高速存储相互配合的混闪模式,既能提供超高的性能,也能提供更优的性价比。其中,希捷的机械硬盘提供了大文件所需的高带宽性能,并且应用了成熟、通用的文件系统,以达到整体方案的高可用性。希捷预测,到2028年机械硬盘的EB前景将增长近250%。

可以看到,从价格、供应和工作负载来看,市场对机械硬盘的长期需求仍然是迫切的。更重要的是,机械硬盘的持续创新也有助于帮助希捷在可持续发展的道路上越走越远。一方面,硬盘容量从8TB增长至20TB、24TB,单个磁头损坏后的可用性大幅提升,避免了不必要的资源消耗,另一方面,随着存储面密度等创新,在存储容量大幅增加的同时,也显著降低了采购和运营成本。例如,从16TB的垂直磁记录(PMR)硬盘升级到希捷银河Exos 30TB Mozaic 3+技术硬盘,容量在相同的空间内实现翻倍,该平台使用与PMR硬盘基本相同的材料组件,每TB功耗降低40%,新一代产品每TB减少了55%的碳排放。

此外,希捷还在2021年成为“循环硬盘计划”(Circular Drive Initiative, CDI)的创始成员之一。2023财年,希捷通过其循环计划延长了约119万块机械硬盘和固态硬盘的使用寿命,通过翻新和重新部署这些硬盘,避免了超过553公吨的电子垃圾进入填埋场。根据希捷设立的双碳目标,将在2030年使用100%可再生能源为制造和研发(R&D)设施供电,到2040年实现碳中和。“我们也推出了‘硬盘容量重生’技术,以及‘可变容量点’的概念,这些举措能够帮助硬盘更好地满足可持续发展的需求。”希捷科技中国区产品线管理负责人农天使说。

希捷(SEAGATE)NAS硬盘20TB 企业级 256MB 7200转 CMR垂直 SATA 希捷酷狼PRO 机械硬盘 550年负载 数据恢复服务¥ 4599 京东 购买