磁性存储介质上影响数据一致性的问题会出现在闪存上吗

Gridsah

磁性存储介质上，常见的问题，比如 URE, 静默错误等。

机械硬盘上的 URE 通常是因为某个扇区上的部分磁极发生了翻转，或者扇区出现物理损坏，导致的最直接的后果就是某个扇区无法读取。

静默错误 (Silent Data Corruption) 是指硬盘上存储的数据发生了损坏，但只有在读到损坏的数据时才被发现，或者直接读到了损坏的数据但程序认为数据没有损坏。

在正常使用的闪存介质上，比如固态硬盘上，会有 URE, 静默错误之类的影响数据一致性的问题吗？有多频繁？

(假设 SSD 状况良好；长期运行在中低负载下；主控+颗粒使用主流方案，或使用企业级 SSD)

ztg328

nand的ecc不就是干着活的吗，比硬盘高多了

Gridsah

ztg328 发表于 2023-11-19 09:09
nand的ecc不就是干着活的吗，比硬盘高多了
(引用自2楼)

我查到机械硬盘的每个扇区都带crc校验，但crc只能检错，不能纠错。机械硬盘读到crc异常的数据就多次尝试重读，一直crc校验错误，最后报ure。然后这块盘可能就被raid踢出阵列了。

固态硬盘带ECC，组raid的话似乎没有这个问题？

vtte

论可靠性机械硬盘比固态硬盘高多了，我实测30多年前的机械硬盘数据轻松读出，甚至二十多年前冷备份的光盘和磁带都完好无损，而TLC、QLC的固态硬盘断电两年后再读取，有好几个盘都不认了。
而且机械硬盘就算损坏还有开盘修复的可能，而固态硬盘损坏后恢复数据的可能性极小。

lhj200304

vtte 发表于 2023-11-19 10:12
论可靠性机械硬盘比固态硬盘高多了，我实测30多年前的机械硬盘数据轻松读出，甚至二十多年前冷备份的光盘和 ...
(引用自4楼)

固态硬盘是不是隔几个月通一次电会比较好，这样还会掉数据吗？

Gridsah

vtte 发表于 2023-11-19 10:12
论可靠性机械硬盘比固态硬盘高多了，我实测30多年前的机械硬盘数据轻松读出，甚至二十多年前冷备份的光盘和 ...
(引用自4楼)

额，我知道机械硬盘这种磁介质的存储比闪存更靠谱。我想知道的是，它们在寿命周期内，哪个更容易保持数据一致性，即，少发生或不发生静默错误。兄弟，你跑题了。

Nuker

闪存的原理就是电荷存储在场效应管的栅极，你们觉得可靠性怎么样呢？

wye11083

Gridsah 发表于 2023-11-19 11:33
额，我知道机械硬盘这种磁介质的存储比闪存更靠谱。我想知道的是，它们在寿命周期内，哪个更容易保持数据 ...
(引用自6楼)

想多了啊。闪存大家都会添加各种纠错的，只要一直通着电数据就不会丢失（当然别踩默雷了）。机械硬盘是存在突然暴毙的，而且受振动温度湿度影响较大。

你如果为了存冷数据，那么肯定只能选机械。热数据，以及一直通电的机器，或者经常通电，选ssd提高响应速度。ssd的响应是机械的100倍以上，带来的是显著的效率提升。

Gridsah

wye11083 发表于 2023-11-19 14:11
想多了啊。闪存大家都会添加各种纠错的，只要一直通着电数据就不会丢失（当然别踩默雷了）。机械硬盘是存 ...
(引用自8楼)

现在讨论的不是数据丢失和性能问题，是数据一致性问题。

数据一致性就是，我把数据放在硬盘上，不论何时，每一次读取的结果必须完全相同。

最常见的影响数据一致性的问题就是你说的不必讨论的静默错误。

wye11083

Gridsah 发表于 2023-11-19 15:02
现在讨论的不是数据丢失和性能问题，是数据一致性问题。

数据一致性就是，我把数据放在硬盘上，不论何时 ...
(引用自9楼)

data integrity 是由固件通过各种算法保证的，能理解？理解不了当我没说。

Gridsah

wye11083 发表于 2023-11-19 15:42
data integrity 是由固件通过各种算法保证的，能理解？理解不了当我没说。
(引用自10楼)

看我问题，“ 在正常使用的闪存介质上，比如固态硬盘上，会有 URE, 静默错误之类的影响数据一致性的问题吗？有多频繁？”

你的描述和我的问题没关系啊，我问的是固件里面保证数据一致性的算法在实践中的应用表现怎么样，你说的是固件里面有保证数据一致性的算法，和我的问题有关吗？

Gridsah

Nuker 发表于 2023-11-19 13:27
闪存的原理就是电荷存储在场效应管的栅极，你们觉得可靠性怎么样呢？
(引用自7楼)

闪存颗粒里面，栅极管内的电子无法被稳定地约束，所以各厂商达成共识，在主控里面加了 ecc 算法来修正数据。

我现在的看法是，存储严肃数据的话，企业级 SSD 应该比较稳，毕竟那么贵.... 但家用级就不好判定，毕竟 SSD 普及没几年。

wye11083

Gridsah 发表于 2023-11-19 21:58
看我问题，“ 在正常使用的闪存介质上，比如固态硬盘上，会有 URE, 静默错误之类的影响数据一致性的问题 ...
(引用自11楼)

只要rp不太差，现在的ssd都可以做到1e-17以下的ure，可以忽略不计。

企业级ssd是通过缩短retention大幅提高循环寿命，按jedec标准，emlc在25度下只需要满足90天保持就行了，商用级则需要保持1年。温度升高时数据储存寿命以指数倍降低，比如emlc允许90度下保持几分钟不丢数据。

因此脱离使用场合讲ber，ure，没有任何意义。机械不喜欢长期通电，ssd不喜欢长年不通电。

Gridsah

wye11083 发表于 2023-11-20 00:52
只要rp不太差，现在的ssd都可以做到1e-17以下的ure，可以忽略不计。

企业级ssd是通过缩短retention大幅 ...
(引用自13楼)

> 在正常使用的闪存介质上，比如固态硬盘上，会有 URE, 静默错误之类的影响数据一致性的问题吗？有多频繁？
> (假设 SSD 状况良好；长期运行在中低负载下；主控+颗粒使用主流方案，或使用企业级 SSD)

第二行描述了使用工况.... (状况良好，即工作在数据中心之类的，尽量理想的环境中；长期中低负载，长期通电，且负载不高....

数据保持时间这个指标我还是第一次注意到。即使URE按照保守一点的1e-16也比HDD的1e-15表现要好，看来我可以放心把我的2条PM983a组raid1来存重要数据。

在尽量理想的工况下，企业级SSD长期上电，似乎比企业级HDD长期上电更可靠？