打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制


3楼猫 发布时间:2024-10-16 03:01:24 作者:黄昏百分百 Language

大家好,我是黄昏百分百,前段时间某云盘出现了灾难级事故,另一个数字网盘也受到黑客攻击无法访问并被传跑路,短时间连续网盘事故,确确实实的给我们提了一个醒:数据安全十分重要,我们不能把自己的数据安全都寄托在网盘上,拥有自己的私有云,拥有自己的私有云,并对数据进行科学,合理的备份十分重要。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第0张

因此,今天我就用QNAP的TS-466C NAS与希捷硬盘来为大家聊一聊硬盘各种RAID组的区别、高速缓存的区别、以及经典的3-2-1数据备份原则具体应该如何应用。

那么废话不再多说,我们开车吧。

NAS与硬盘介绍

工欲善其事必先利其器,在正式开始应用3-2-1数据备份之前,我们先来介绍一下本次使用的NAS与硬盘吧。

NAS:QNAP TS-466C

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第1张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第2张

▲TS-466C型号名中第一位数字4代表其拥有4个3.5英寸SATA机械硬盘位,是QNAP威联通的全新4盘位NAS旗舰,另外,它还拥有2个M.2 2280 SSD插槽,其SSD既可作为机械硬盘的加速缓存,也可以作为独立的超快储存空间使用,因此,其实际上是一款拥有6盘位的NAS。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲QNAP TS-466C搭载了Intel 奔腾银牌N6005 处理器,4核心4线程,基本频率2.0GHz,最大频率3.3GHz,TDP 10W,是一款性能比较强劲且能效比非常优秀的CPU,十分适合NAS使用。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这款CPU还内置了intel UHD核芯显卡,拥有32个执行单元,最高支持4K 60Hz的视频输出,因此QNAP为TS-466C配备了一个同样支持4K 60Hz视频输出的HDMI 2.0接口。当然随着目前智能电视等的普及,这个视频输出接口的使用频率是越来越低了。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲网络方面,QNAP TS-466C搭载了双2.5G网口,支持链路聚合,最高能够提供5Gbps的有线连接速度,与目前主流路由器的接口配置相匹配。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲除此之外,QNAP TS-466C还提供了3个USB 接口,其中前后各有一个USB 3.2 Gen2(10Gbps)接口,背部还有一个USB 2.0接口。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲QNAP TS-466C标配8GB DDR4笔记本内存,受限于CPU,其以2933MHz频率运行,同时其还预置了一个DDR4笔记本内存插槽用于升级,intel官方标称N6005 处理器CPU最高支持16GB内存容量,实测至少支持24GB(8GB+16GB)内存容量,估计32GB也没问题。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲另外,拆下QNAP TS-466C的外壳,便可看到其两个M.2 SSD插槽,两个插槽均为PCIe 3.0x4规格。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲考虑到NAS中的SSD均为24小时使用,且很多朋友会直接选择发热量更高的PCIe 4.0规格SSD使用,威联通为其配备了两个铝制散热装甲,以保障SSD能够长久稳定运行。

SSD:希捷酷玩520&希捷酷鱼530

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这里我使用了两块希捷的PCIe 4.0的SSD,分别是希捷酷玩520 1T版与希捷酷鱼530 1T版,两款固态均拥有180 万小时 MTBF 以及高达 600 的TBW,十分适合NAS使用,这里我们简单介绍一下这两款SSD的其它关键参数:

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲希捷酷玩520采用了定制版的群联Phison PS5016-E16主控,东芝96层堆叠BiCS4 3D TLC NAND颗粒,同时采用了两颗海力士的DDR4内存颗粒组成了1G缓存。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这款SSD采用了静态SLC和动态SLC混合结构,性能表现十分优异。实测其顺序读取速度为5107MB/s,顺序写入速度4834MB/s,随机读写855/959k IOPS。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲希捷酷鱼530采用了群联的Phison PS5027-E27T主控,东芝162层堆叠BiCS6 3D NAND TLC NAND颗粒,采用了HMB无缓方案。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲实测希捷酷鱼530读取速度为7314MB/s,顺序写入速度6250MB/s,绝对处于目前PCIe 4.0 SSD的第一梯队。

HDD:希捷 酷狼NAS硬盘 4Tx4

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲在机械硬盘方面,我同样选择了专业硬盘厂家希捷的酷狼NAS硬盘,这款硬盘是专为NAS应用场景打造的,主要有以下核心竞争力:

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

  • 最高支持8盘位

  • 3年内原厂数据恢复服务一次

  • CMR传统磁记录

  • 7*24小时全天候运行

  • 180TB/年用户工作负载

  • 支持IHM希捷酷狼健康管理软件

  • 支持AgileArray智能阵列技术

  • 3年质保

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲希捷酷狼硬盘采用了传统磁记录方式(CMR),相较于成本较低、擦除+覆写数据的操作需要磁头写入两次数据的叠瓦式磁记录方式(SMR)而言,CMR硬盘更不易爆缓存,因此即使面对长时间、大容量的文件写入也不会有明显的速度波动,且CMR寻道时间更短,因此更适合频繁读写。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲希捷酷狼硬盘支持最高8盘位的RAID支持,轻松满足非企业级NAS2-4-6-8盘位的容量,其所采用的AgileArray智能阵列技术拥有先进的电源管理技术,专为多用户环境和高强度工作而设计优化网络存储,支持在多盘位环境中实现双面平衡和RAID优化,从而提供可靠性和系统的可扩展性。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲NAS的使用场景基本都是7*24全天候运行,且多块硬盘靠的很近,无论是共振还是积热都会影响硬盘的性能与寿命。为了满足这种苛刻的使用场景,希捷酷狼硬盘内置了RV旋转振动传感器,并与磁盘的动态飞行高度技术相结合,可纠正外部振动,避免不同硬盘间因震动而彼此影响,在多硬盘系统中提供始终如一的高性能和可靠性。

希捷酷狼硬盘优秀的振动控制还能够有效控制噪音与发热,进一步提高硬盘稳定性,使其适合,同时,它拥有180TB/年的用户工作负载,简单来说,每块硬盘每年提供3600部50GB的蓝光原盘文件写入量负载,平均故障间隔时间(MTBF)100万小时,轻松满足家庭用户甚至中小企业的需要。

各种RAID、储存池、卷的区别

如何选择合适的RAID建立储存池

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲通常情况下,不同传输协议的硬盘间无法组建RAID,本次使用的QNAP TS-466C共有用4个SATA硬盘,因此,我们可以从JBOD、RAID 0、RAID 1、RAID 5、RAID 6、RAID 10间选择。简单总结下,数据不重要,想要提高读写性能则选择RAID 0,数据很重要,则请从RAID1、RAID 5、RAID 6、RAID 10选择。新手的话,直接选择静态卷、RAID 5即可。选择好RAID或者单盘模式,也就建立好了储存池了。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲紧接着便是不同卷类型的介绍了,一个储存池可以拥有多个卷,这点可以简单理解为一块硬盘可以拥有多个分区。

QNAP QTS系统可在静态卷、精简卷、厚卷间选择,如果硬盘容量较小,则使用精简卷比较合适,而如果像我这样使用4个4TB组建的JBOD(硬盘首尾相连,组建一个超大储存池),则会超过精简卷的最大空间,因此我个人建议选择使用厚卷。

精简卷、厚卷因为需要提供快照,Qiter等功能的技术支持,其需要预留一定的储存空间闲置,性能也会有约20%的下降,而静态卷不会有空间利用率的损耗,也不会降低读写性能,但是,其不支持快照等高级储存池功能。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲在配置卷容量这里,我最终选择的是厚卷,为了使用快照等功能对数据进行备份,我们要为储存池预留闲置空间,这里个人建议开始时不要超过容量红线。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲而在磁盘运行状况的菜单中便集成了希捷IronWolf Health Management软件,直译就是酷狼健康管理软件,其内包括了硬盘健康方面的预防与干预功能。可以直接对硬盘进行固件升级,同时还可以使用IHM软件中的Seagate Clean功能执行数据自检(DST),进而自动修复损坏扇区。另外,IHM软件还可以查看NAS的工作负荷,让用户进一步了解硬盘的健康度,做到数据的即时备份与硬盘的及时更换,进一步提升数据储存的安全可靠。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲同时QNAP QTS系统还可以对其上的SSD进行健康检测,让用户能够在SSD寿命将尽前提早更换SSD,避免数据损失。

SSD作为高速缓存或储存池使用

紧接着,我们聊一下SSD在NAS中的使用方法。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲首先SSD可以为NAS提供高速缓存,在储存与快照总管中,选择左侧储存菜单栏里的高速缓存加速选项便可开始进行配置。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲顾名思义,SSD高速缓存加速其实就是利用SSD固态硬盘作为缓存中介,利用SSD高随机读写、高顺序读写速度的特性提升NAS储存池整体性能的一种技术。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这里我们可以同时看到希捷酷玩520 1T版与希捷酷鱼530 1T版我们可以选择将单盘设置为高速缓存,也可以使用两个SSD组成RAID,为储存池提供高速缓存。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲QNAP QTS系统支持将SSD高速缓存设置为只读、读写、只写三种缓存类似,其中只要有写入的应用场景,那么则建议在受保护的RAID类型(RAID 1、RAID 5、RAID 6、RAID 10)间选择,其实放在两盘位就只能选择RAID 1了,这有这样,在某一个SSD损坏的时候,才不会造成数据丢失。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲而如果是只读类型的高速缓存,则可以选择设置RAID 0来进一步提升性能。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲再之后,我们会进行细节配置,SSD预留空间建议默认即可,而如果你的整个储存池拥有虚拟化或者数据库应用,则建议选择随机I/O,而如果是文件服务或者流媒体服务,则选择所有I/O更好。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

创建SSD高速缓存时会删除SSD上的所有数据,且删除高速缓存SSD之前需要在管理页面停用并删除SSD高速缓存,这点很重要!

我最终的选择是使用希捷酷玩520 1T版单盘只读高速缓存,这是因为有缓盘在高占用的情况下性能下降要比无缓盘更轻,而高速缓存可以说是时刻待命中的工作方式。而希捷酷鱼530 1T版则被我做成了纯SSD缓存池,未来用作虚拟化应用。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲建立完了SSD高速缓存之后,我们便可在高速缓存加速选项中开启或关闭服务,系统也会自动统计高速缓存的命中率历史记录。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲而SSD除了作为SSD高速缓存之外,还可以独立作为储存池或者与HDD放在一起,组成自动分层的Qtier储存池使用。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲Qtier是威联通家的独门绝技了,它将SSD固态硬盘以及HDD机械两种不同的硬盘合并为一个灵活的自动分层存储池,经常访问的数据会被自动移到读写最快的SSD固态硬盘中,不常用的文件会被移到较慢且容量较大的HDD机械硬盘中,从而提升数据处理任务的效率。相较于SSD高速缓存而言,不仅没有损失SSD的储存空间,还提供了类似的强劲性能与高“命中率”,而代价则是一旦开启了Qtier功能则无法禁用,也就无法单独拆下SSD来做其它用途了。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这里再附上威联通官方对Qtier,全SSD,SSD快取三种SSD主流用法的对比,供大家参考。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲这是我最后组建完毕的QNAP TS-466C的储存状况,我用了4块希捷 酷狼NAS硬盘 4T组成了JBOD并用希捷酷玩520 1T版做了单盘只读高速SSD缓存,而希捷酷鱼530 1T版做了SSD单盘用于后续虚拟化等应用。

快照与3-2-1备份机制

紧接着,我们来聊一聊快照与3-2-1备份机制。

快照如何保护用户数据

快照 (Snapshot)是Linux系统中一种强大的数据备份和恢复工具,类似于游戏中的存档,可以记录NAS在某一时间点的所有状态,换句话说,就是给此时此刻的NAS拍了一张照片,快照也因此得名,方便用户在意外删除或修改文件时,能够快速恢复数据。

快照主要可分为写时复制(Copy-On-Write,COW)和写时重定向(Redirect-On-Write,ROW)等多种方式。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲QNAP的QTS系统采用了区块快照技术,简单来说,这种记录方式只会记录数据更改,更加节约空间,且用户既可以彻底恢复全部文件到快照时间点,也可以恢复个别文件或文件夹,大幅提升的数据保存、恢复的效率。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲用户既可以主动快照存档,也可以设置定时自动存档,如每天一次,每周一次,同时,对于特别重要的数据节点,也可以在主动快照时勾选永久保存此快照版本。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲而将快照文件备份到另一台异地的NAS,也是3-2-1备份机制中重要的组成部分,紧接着,我们就来好好聊一聊3-2-1备份机制吧。

3-2-1备份机制简介

3-2-1数据保护策略是数据安全领域的一项经典准则,它在企业级数据保护方案中扮演着基础角色。即便在个人用户层面,这一原则同样适用,为数据安全和灾难恢复提供了坚实的保障。

具体来说,3-2-1规则建议我们对关键数据至少保留三个备份,并且这些备份应该存储在两种以上的存储介质上,其中至少一个备份需要放置在远离原始数据存储地点的位置。这样做的目的是为了防范任何单一事件导致数据的全面丢失。

首先,拥有三个数据备份意味着除了原始数据外,还应有两份额外的备份,它们可以位于不同的服务器、网络附加存储设备、硬盘或云存储服务中。这样的安排确保了即使发生意外,数据也不会全部丢失。一般而言,本地NAS+网盘+移动硬盘即可提供3个数据备份。

其次,使用两种或以上的存储介质,比如一个内置硬盘和一个外接存储设备,可以减少因存储介质故障而导致的数据丢失风险。每种存储介质都有其特定的故障模式,多样化的存储介质可以降低这种风险。这里重点提及一句,平时放在SSD上储存的数据,一定要备份一份在HDD上,HDD损坏后找回数据的可能性,要比SSD大非常多。

最后,异地备份是保护数据免受物理灾害如火灾、洪水或盗窃影响的关键。确保至少有一份备份存放在远离原始数据存储地点的位置,可以大大提高数据的安全性。这里有两种方法,一种便是刚才已经提到的通过异地NAS进行快照备份或同步,另一种则是将数据储存在移动硬盘中,加密后定期邮寄到异地保管。

遵循3-2-1数据备份原则,可以帮助用户在数据保护方面节省大量的时间和资源,确保数据的完整性和可用性。

以QNAP HBS3为例,说下多重备份怎么做

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲威联通的Hybrid Backup Sync 3(HBS3)是目前市面上功能最为齐全,整合度最高的NAS数据备份、同步软件之一。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲使用威联通的Hybrid Backup Sync 3(HBS3)软件,用户可以轻松地实现数据的备份、恢复和同步。这款应用集成了多种备份选项,包括通过USB一键备份、Time Machine备份以及远程备份技术如RTRR。用户可以便捷地将威联通网络存储系统(NAS)上的数据备份或同步到另一台威联通NAS、远程服务器或者云服务。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲而如果选择将文件备份到远程的NAS服务器或云盘中,可以直接在HBS3软件上设置同步作业,其支持自动同步到远程NAS、Rsync、FTP、CIFS/SMB等远程服务器,或者备份到百度网盘、Amazon S3、腾讯云、阿里云、WebDAV、Google Drive、Microsoft OneDrive、华为云、Dropbox等诸多云空间中,这里就不一一列举了。

功能更为强大的QuTS hero系统

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲威联通主要有两套系统,分别是今天我演示的民用级QTS系统,以及商用级的QuTS hero系统,目前威联通已经官宣TS-466C、TS-464C2、TBS-464、HS-264、TS-664这5款NAS均支持升级到QuTS hero 5.2系统。

打造私有云,详细聊聊RAID、储存池、卷、高速缓存、3-2-1备份机制-第3张

▲QuTS hero拥有更强大的快照系统、更专业的权限管理,更齐全的快取功能,同时支持在线数据压缩,在线重复数据删除,系统断电保护等功能,且其数据安全性也比QTS更好。其中压缩去重功能我最为喜欢,我很多视频或工程文件调用的素材都是同一个,能省下不少空间。举个最简单的例子,如果多开10个10G 大小的相同虚拟机,QTS会占用100G,QuTS hero则仅会占用10G并且不影响任何一个虚拟机工作。

不过,QuTS hero采用了专业储存常用的ZFS文件系统,而非QTS使用的Ext4文件系统,因此切换系统的同时需要切换文件系统,直接后果便是NAS中的数据会全部丢失,因此升级前务必进行完全备份。

目前QNAP TS-466C已经发布了内测版QuTS hero系统,如果后续有时间会为各位进行演示,个人建议NAS新玩家还是等正式版的QuTS hero系统发布后再进行升级。

总结

不仅国内的云盘有数据泄漏,数据丢失,运营商跑路的风险,国外云盘同意有类似的风险,所以NAS或其它设备搭建私有云,将自己的重要数据储存在私有云上十分重要。

同时,遵循3-2-1规则对重要数据进行多介质、异地备份是保护重要数据十分重要,它基本上能够保证数据的万无一失。

工欲善其事必先利其器,选择合理的数据保存设备同样十分重要,本次使用的QNAP TS-466C是经过市场腥风血雨考验的老牌NAS厂商新旗舰,性能与稳定性上自然不用担心,最近更是得到了QNAP商用系统QuTS hero的下放,可玩性得到了大幅提升。

而希捷的酷狼硬盘更是专为NAS使用场景打造的CMR盘,安静、发热低、稳定性强,还拥有IHM希捷酷狼健康管理软件与AgileArray智能阵列技术的加持,可以说十分可靠。而希捷酷玩520与希捷酷鱼530也都是国际一线存储品牌的主流产品,无论是主控与颗粒的来源,还是硬盘固件的调校都可圈可点,同样适合在NAS中使用。

好了,以上便是本文的全部内容,希望对你有所帮助,我是黄昏百分百,我们下次见。


© 2022 3楼猫 下载APP 站点地图 广告合作:asmrly666@gmail.com