50TB的服务器，保证数据安全和读取速度用RAID6还是RAID1？

wowangru · 发表于 2021-3-17 11:59:41

本帖最后由 wowangru 于 2021-3-17 12:01 编辑

准备配置一台50TB的服务器，优先保证保证数据安全和读取速度，用RAID6还是RAID1好点呢？
读取速度要足够快，每天会整盘读取一次，读取速度要求高，数据库读取。
打算用4或者3TB的SATA硬盘组阵列，2TB也可以但是经济性不高， RAID5 坏一个盘可以重建，好像重建成功几率小，一旦重建失败阵列所有数据全部彻底嗝屁。RAID10 因为用到条带是不是代表同卷的两个盘坏掉所有盘的数据都丢失？这种情况绝对不能出现的。

安全性：硬盘损坏（硬盘多了大概率损坏），数据不能丢失，可以接受局部数据丢失。哪个盘坏损失哪个盘的数据，绝对不能整个阵列嗝屁。RAID1是不是能做到盘坏了，即使没法重建其他好盘的数据还能用呢？
速度：读取速度要快，读取的数据库，单次读取几十上百MB，写入速度不关心。

本地阵列24小时在运行，额外会加一个异地冷备份。数据量大网盘备份成本太高。
另外RAID6重建一个盘需要多久呢？
请各位前辈指点下。

armok. · 发表于 2021-3-17 12:10:41

肯定是raid6。

raid1 如果坏的硬盘在不同的两一边，数据就丢失了。非常不安全。

wowangru · 发表于 2021-3-17 12:26:42

armok. 发表于 2021-3-17 12:10
肯定是raid6。

raid1 如果坏的硬盘在不同的两边，数据就丢失了。非常不安全。

RAID1整个阵列会全挂掉？那还不如不用阵列呢，不用阵列分盘储存，就算坏一半还有一半能用，如果两份储存和RAID1一样50%利用率还能恢复。

armok. · 发表于 2021-3-17 12:30:12

wowangru 发表于 2021-3-17 12:26
RAID1整个阵列会全挂掉？那还不如不用阵列呢，不用阵列分盘储存，就算坏一半还有一半能用，如果两份 ...

所以要使用raid6。

我们论坛的服务器，同时3个硬盘损坏才会丢失数据。

这基本是不可能的事情。

wowangru · 发表于 2021-3-17 12:44:14

armok. 发表于 2021-3-17 12:30
所以要使用raid6。

我们论坛的服务器，同时3个硬盘损坏才会丢失数据。

假如50个以上盘，3个盘坏的几率还是有的，比如发现一个盘坏， raid重启开始重建，重建过程中又发现一个盘坏（这个盘其实很久前就已经坏了因为数据长时间没有读取一直没有发现），接着重建又发现一个坏盘，和第二个坏盘类似。

，倒霉比较爱扎堆。

整盘坏可能性不大，如果是sata硬盘。局部坏道可能性比较高，因为有校验，是不是出现坏道就代表整盘数据不再可靠，需要重新计算。
有没有一种利用备份重建时哪里数据坏了能补哪里的方法。有没有能实现 RAID6加镜像。软件恢复时能自动从镜像处读取坏道信息。这样同一个盘同样的位置出现坏道的几率几乎不可能，但是两个盘都有坏道几率还是挺大。

armok. · 发表于 2021-3-17 12:58:30

wowangru 发表于 2021-3-17 12:44
假如50个以上盘，3个盘坏的几率还是有的，比如发现一个盘坏， raid重启开始重建，重建过程中又发现一个 ...

50个盘，你可以使用10个做hotspare，同时损坏13个硬盘才会丢失数据。

另外使用8T硬盘，50T也只是6个硬盘而已。

wowangru · 发表于 2021-3-17 13:20:40

armok. 发表于 2021-3-17 12:58
50个盘，你可以使用10个做hotspare，同时损坏13个硬盘才会丢失数据。

另外使用8T硬盘，50T也只是6个硬 ...

热备好像不储存用户数据。 RAID5情况下，假如有个盘的数据出现比特反转或者坏道，但是一直没有用到这块数据，系统不知道这块盘有问题。另外一个盘读取时发现错误，开始重建，热备盘启用。但是重建过程中发现了之前那个损坏的盘。结果应该是重建失败。整个阵列崩溃。我就搞不懂RAID卡为何不能忽略重建失败。哪怕局部数据的丢失也行啊，其他没丢失的数据能用。

wowangru · 发表于 2021-3-17 13:36:53

RAID5的概率

Doding · 发表于 2021-3-17 13:37:09

wowangru 发表于 2021-3-17 13:20
热备好像不储存用户数据。 RAID5情况下，假如有个盘的数据出现比特反转或者坏道，但是一直没有用到这块 ...

RAID5重建时要通过剩余的盘和校验数据计算恢复，大容量有可能还会有强制的CRC校验，重建过程中无法计算出原数据，就不知道该写回去什么，也就重建失败了，大容量的RAID不要用RAID5，尤其不要用SATA硬盘做RAID5，看一下硬盘的URE，10几T的总数据量，就有超过50%的概率重建失败。

要安全不能只靠RAID，要做好热备和增量冷备份。

wowangru · 发表于 2021-3-17 13:48:48

Doding 发表于 2021-3-17 13:37
RAID5重建时要通过剩余的盘和校验数据计算恢复，大容量有可能还会有强制的CRC校验，重建过程中无法计算出 ...

感觉RAID还不如不做阵列，直接挂多盘使用，然后在做个备份。好歹挂一部分还剩一部分。

wowangru · 发表于 2021-3-17 14:10:09

现在有没有RAID61? 先做RAID6 然后两个完全一样的RAID6组一个RAID1， RAID重建失败可以从镜像拷贝扇区数据继续重建。

wowangru · 发表于 2021-3-17 14:21:52

原来有RAID60 就是RAID6加镜像

dreampet · 发表于 2021-3-17 14:32:54

wowangru 发表于 2021-3-17 13:20
热备好像不储存用户数据。 RAID5情况下，假如有个盘的数据出现比特反转或者坏道，但是一直没有用到这块 ...

普通硬盘，或者超过1T容量硬盘，不建议使用RAID5。 RAID6 最好也是使用企业级硬盘，并且使用不同厂家、不同批次的硬盘。

使用热备盘无法避免URE问题，但好处是，当某个硬盘出现问题时，可以第一时间重建，避免两个硬盘先后损坏而没有及时重建的情况。

dreampet · 发表于 2021-3-17 14:33:49

wowangru 发表于 2021-3-17 14:21
原来有RAID60 就是RAID6加镜像

与其使用RAID60，不如使用双机柜RAID6，做数据热备份

wowangru · 发表于 2021-3-17 15:32:45

dreampet 发表于 2021-3-17 14:33
与其使用RAID60，不如使用双机柜RAID6，做数据热备份

这样两个RAID6柜，当一个raid6挂掉如何重建呢？用另外一个raid6柜？还是两个RAID6能实现互补重建？

biying · 发表于 2021-3-17 15:56:55

wowangru 发表于 2021-3-17 14:10
现在有没有RAID61? 先做RAID6 然后两个完全一样的RAID6组一个RAID1， RAID重建失败可以从镜像拷贝扇区数 ...

我现在是用truenas来实现，在服务器里用另外的大容量硬盘来做增量备份，然后通过网络还有异地备份。

wowangru · 发表于 2021-3-17 16:09:48

本帖最后由 wowangru 于 2021-3-17 16:15 编辑

biying 发表于 2021-3-17 15:56
我现在是用truenas来实现，在服务器里用另外的大容量硬盘来做增量备份，然后通过网络还有异地备份。 ...

两个RAID6 失效的概率还是有的。但是两个RAID6同样的区域出故障的几率几乎为0。本地2个RAID6如果能互补重建才完美，独立的两个RAID6并不绝对保险。个人觉得两个RAID6 互补重建（非独立），加热备，加上异地备份，安全性应该才最高。

另外还有个问题，如果阵列卡坏了怎么办？换卡后很多需要重建阵列。

cctv02 · 发表于 2021-3-17 17:31:59

玩玩CEPH吧

dreampet · 发表于 2021-3-17 17:38:34

wowangru 发表于 2021-3-17 15:32
这样两个RAID6柜，当一个raid6挂掉如何重建呢？用另外一个raid6柜？还是两个RAID6能实现互补重建？ ...

RAID 不是备份，而是扩容，还是要把他当成硬盘，允许他损坏，只是损坏的概率变得很低。
因此，使用两台不同的电脑，配置相同的存储容量，通过软件将内容实时镜像同步。
这样，任意一台电脑的阵列重建失败，甚至电脑损坏都不影响你数据的安全性

dreampet · 发表于 2021-3-17 17:40:00

cctv02 发表于 2021-3-17 17:31
玩玩CEPH吧

CEPH目前还不成熟，如果你不熟悉CEPH的代码，不建议上。
我前年弄了一个70T的CEPH池，差点导致灾难性后果

Doding · 发表于 2021-3-17 18:00:11

wowangru 发表于 2021-3-17 16:09
两个RAID6 失效的概率还是有的。但是两个RAID6同样的区域出故障的几率几乎为0。本地2个RAID6如果能 ...

对于大容量硬盘重建的可靠性，RAID10比RAID6强一些，但也不是万无一失。RAID10只要不是同一组镜像的两块盘同时坏，重建基本问题不大。数据重要，要用双机热备才更可靠。

另外，数据重要不建议用SATA盘，和SAS盘的读取错误率不是一个数量级的。

wowangru · 发表于 2021-3-17 20:10:32

dreampet 发表于 2021-3-17 17:38
RAID 不是备份，而是扩容，还是要把他当成硬盘，允许他损坏，只是损坏的概率变得很低。
因此，使用两台不 ...

如果电脑1阵列重建失败。然后从电脑2拷贝数据，电脑2拷贝的时候读取一些很久没用的数据才发现硬盘有坏道，然后电脑2重建，又发现很久没用的数据有坏道。

。除非两个电脑能实现数据互补重建。如果是两个独立的阵列，是独立重建，遇到这种情况只能拿去数据恢复了

armok. · 发表于 2021-3-17 20:33:48

wowangru 发表于 2021-3-17 16:09
两个RAID6 失效的概率还是有的。但是两个RAID6同样的区域出故障的几率几乎为0。本地2个RAID6如果能 ...

RAID6失败的概率可以是0。3个硬盘同时损坏才会丢失数据。硬盘不会一下就坏的，一个一个坏，坏3个需要很长时间。如果这么长的时间都没去维护和发现，只能说死有余辜，不值得同情。

阵列卡坏了换一张就行，其它型号其它品牌也可以，开机可以自动导入阵列信息。

dreampet · 发表于 2021-3-17 20:36:53

wowangru 发表于 2021-3-17 20:10
如果电脑1阵列重建失败。然后从电脑2拷贝数据，电脑2拷贝的时候读取一些很久没用的数据才发现硬盘有坏 ...

你要这么钻牛角尖的话，100个阵列都不可靠

wowangru · 发表于 2021-3-17 21:02:24

dreampet 发表于 2021-3-17 20:36
你要这么钻牛角尖的话，100个阵列都不可靠

，我想我们认识到的严重性有差异。归根可能是我以为硬盘读到坏道就会掉线。其他硬盘数据如果长时间未维护或者读取，可能存在潜在坏道或者比特反转，盘彻底连接不上是立马能发现，但是坏道或者比特反转可能一直存在但是未发现。因为缺少第一个离线盘上的所有数据，对离线硬盘进行重建时一旦有坏道又会继续离线。如果出现坏道不离线，仅仅是重建坏道处的数据会很容易，重建整个盘的数据会很困难。如果不离线同样的位置出现坏道几率几乎为0，但是离线后其他盘必须确保所有数据绝对完整，否则重建失败。我查了热备好像刚好能解决这个问题。坏道盘不离线的情况下重建，因为几乎不可能同样的位置出现坏道。

wowangru · 发表于 2021-3-17 21:11:39

armok. 发表于 2021-3-17 20:33
RAID6失败的概率可以是0。3个硬盘同时损坏才会丢失数据。硬盘不会一下就坏的，一个一个坏，坏3个需要很长 ...

3个盘都坏几乎不可能，我担心的是3个盘逐渐出现坏道，但又因为长时间没使用坏道处的数据，坏道一直存在但是未被发现，这种概率就非常高了。第一个盘有坏道离线。代表离线盘的所有数据没了，其他盘不仅仅要恢复离线盘坏道的数据，而是要恢复整个离线盘的数据，这时候就的要求其他盘数据绝对完整，即使的RAID6如果再次出现一个盘有坏道，如果再次离线，剩下的盘就一个字节都不能错了。否则重建失败。

我第一次建这样安全性比较高的数据库，有些条件有误解，比较较真啰唆，各位见谅。

以上可能性极大，我推理的条件是有坏道就会离线，重建是在盘离线的情况下进行，重建时遇到其他盘有坏道又会离线。如果这个条件不成立，不离线的情况下能重建，因为硬盘离线就代表得重建整个盘，那么对剩余数据完整性要求就极高，只重建错误的数据，不重建整个盘，，那么我的担心就是多余的。

ackyee · 发表于 2021-3-17 21:38:46

群晖重要文件夹每周自动备份到第二块硬盘

wowangru · 发表于 2021-3-17 21:43:12

ackyee 发表于 2021-3-17 21:38
群晖重要文件夹每周自动备份到第二块硬盘

我之前遇到过一次情况，有个文件夹丢失了，整个目录没了，由于长时间没用，也不知道是哪天出的问题，我一直不知道。后来自动备份软件备份时用缺失的目录把备份挡给覆盖了。。，因为备份盘快满了，我把软件备份历史记录也删除了。，后来才发现丢了文件，

amfan · 发表于 2021-3-17 21:49:16

还有种方案上存储，费用高但可靠，考虑一下？

wowangru · 发表于 2021-3-17 21:50:58

amfan 发表于 2021-3-17 21:49
还有种方案上存储，费用高但可靠，考虑一下？

请讲费用可以一定程度放开

amfan · 发表于 2021-3-17 21:58:04

wowangru 发表于 2021-3-17 21:50
请讲费用可以一定程度放开

就是成熟的存储产品，主流是dell emc品牌，huawei也有做，双控+盘柜组合冗余，可靠性比raid好多了，真正在生产中存数据的设备，搜索了解一下

wowangru · 发表于 2021-3-17 22:21:01

amfan 发表于 2021-3-17 21:58
就是成熟的存储产品，主流是dell emc品牌，huawei也有做，双控+盘柜组合冗余，可靠性比raid好多了，真正 ...

我研究下，这个也是RAID结构，不过好像多了一些软件功能。确实比RAID卡进步了

ackyee · 发表于 2021-3-18 08:52:19

wowangru 发表于 2021-3-17 21:43
我之前遇到过一次情况，有个文件夹丢失了，整个目录没了，由于长时间没用，也不知道是哪天出的问题， ...

...这么坑爹
不过群晖的自动备份功能挺好用的，多个备份的相同文件好像并不会重复占用多份空间

armok. · 发表于 2021-3-18 08:58:17

amfan 发表于 2021-3-17 21:58
就是成熟的存储产品，主流是dell emc品牌，huawei也有做，双控+盘柜组合冗余，可靠性比raid好多了，真正 ...

我认为raid6+hotspare 已经是刀枪不入了。

当然，额外的备份肯定是需要的，数据必须至少2个备份。

你说的方案，着火怎么办？还不是整他机给毁了？

xyz543 · 发表于 2021-3-18 09:24:30

50TB？！．．．这已经超越人类的脑容量了都！
在 198x 年因部队采购需求看了美 N.C.R 工作站系统的目录介绍，目录内说是他们当时单一套工作站最大可扩充到 40TB，也就是一般正常的一个人脑记忆的容量说。
这个在当时还真是难以想像的。

wowangru · 发表于 2021-3-18 10:57:52

armok. 发表于 2021-3-18 08:58
我认为raid6+hotspare 已经是刀枪不入了。

当然，额外的备份肯定是需要的，数据必须至少2个备份。

异地备份绝对少不了。我想试下云盘备份一份，阿里和百度10T 一年才500元。比买硬盘划算，还不用管理

wowangru · 发表于 2021-3-18 10:59:06

xyz543 发表于 2021-3-18 09:24
50TB？！．．．这已经超越人类的脑容量了都！
在 198x 年因部队采购需求看了美 N.C.R 工作站系统的目录介绍 ...

82年的陈年往事都拿来了，现在有用PB单位

amfan · 发表于 2021-3-18 11:25:23

armok. 发表于 2021-3-18 08:58
我认为raid6+hotspare 已经是刀枪不入了。

当然，额外的备份肯定是需要的，数据必须至少2个备份。

说到火灾，1.机房里有灭火气体，2.还有灾备机房存储呢（虽然绝大多数根本没启用）

真正按标准做机房环境是可以避免这些意外的，当然代价也是指数级上升的。

yxzt · 发表于 2021-3-18 15:08:19

不知道金融系统的数据是怎么保证的

wowangru · 发表于 2021-3-19 21:52:48

yxzt 发表于 2021-3-18 15:08
不知道金融系统的数据是怎么保证的

肯定多异地备份少不了

50TB的服务器，保证数据安全和读取速度用RAID6还是RAID1？

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源

浏览过的版块