Kurze Antwort

Es ist unmöglich, einen langen Zeitrahmen wegen der Entropie zu garantieren (auch Tod genannt!). Digitale Daten zerfallen und sterben, genau wie jede andere Sache im Universum. Aber es kann verlangsamt werden.

Es gibt derzeit keine ausfallsichere und wissenschaftlich erprobte Möglichkeit, 30 + Jahre kalte Datenarchivierung zu garantieren. Einige Projekte zielen darauf ab, dies zu tun, wie das [[5]}Rosetta Discs-Projekt des Long Now Museums, obwohl sie immer noch sehr kostspielig und mit geringen Datenmengen sind dichte (etwa 50 MB).

In der zwischenzeit, sie können verwenden wissenschaftlich bewiesen elastische optische medien für kalt lagerung wie Blu-ray Discs HTL typ wie Panasonic, oder archiv grade DVD+R wie Verbatim Gold Archiv, und halten sie in luft-engen boxen in eine weiche spot (vermeiden hohe temperatur) und aus dem licht.

Auch sei REDUNDANT: Mache mehrere Kopien deiner Daten (mindestens 4) und berechne Hashes, um regelmäßig zu überprüfen, ob alles in Ordnung ist, und alle paar Jahre sie sollten Ihre Daten auf neue Datenträger umschreiben. Verwenden Sie auch viele Fehlerkorrekturcodes, mit denen Sie Ihre beschädigten Daten reparieren können!

Lange Antwort

Warum sind Daten mit der Zeit beschädigt? Die Antwort liegt in einem Wort: Entropie. Dies ist eine der primären und unvermeidlichen Kräfte des Universums, die Systeme immer weniger geordnet werden lässt. Data Corruption ist genau das: eine Störung in Bit-Reihenfolge. Also mit anderen Worten, das Universum hasst deine Daten.

Der Kampf gegen Entropie ist genau wie der Kampf gegen den Tod: Es ist unwahrscheinlich, dass Sie jemals Erfolg haben. Aber Sie können Wege finden, den Tod zu verlangsamen, genau wie Sie die Entropie verlangsamen können. Sie können Entropie auch austricksen, indem Sie die Korruption reparieren (mit anderen Worten: Sie können die Korruption nicht stoppen, aber Sie können reparieren, nachdem sie geschehen sind, wenn Sie vorher Maßnahmen ergriffen haben!). Genau wie alles über Leben und Tod, gibt es keine magische Kugel, noch eine Lösung für alle, und das Beste bei Lösungen müssen Sie sich direkt an der digitalen Kuration Ihrer Daten beteiligen. Und selbst wenn Sie alles richtig machen, ist nicht garantiert, dass Ihre Daten sicher sind, Sie maximieren nur Ihre Chancen.

Nun zu den guten Nachrichten: Es gibt jetzt recht effiziente Möglichkeiten, Ihre Daten zu behalten, wenn Sie kombinieren gute Qualität Speichermedien und gute Archiv - /Kurationsstrategien: Sie sollten für Fehler entwerfen.

Was sind gute Kuration strategien? Lassen Sie uns eines klarstellen: Die meisten Informationen, die Sie finden, beziehen sich auf Backups, nicht auf Archivierung. Das Problem ist, dass die meisten Leute ihr Wissen über Backups Strategien Archiv übertragen, und damit viele Mythen sind jetzt häufig zu hören. In der Tat sind das Speichern von Daten für einige Jahre (Backup) und das Speichern von Daten für eine möglichst lange Zeit über Jahrzehnte hinweg (Archivierung) völlig unterschiedliche Ziele und erfordern daher unterschiedliche Tools und Strategien.

Zum Glück gibt es ziemlich viele Forschungs - und wissenschaftliche Ergebnisse, daher rate ich, sich eher auf diese wissenschaftlichen Arbeiten als auf Foren oder Zeitschriften zu beziehen. Hier werde ich einige meiner Lesungen zusammenfassen.

Lassen Sie uns klären, wonach Sie suchen (aus Ihrer Frage):

• Langzeitarchivierung: Sie möchten Kopien Ihrer sensiblen, nicht reproduzierbaren "persönlichen" Daten aufbewahren. Archivierung unterscheidet sich grundlegend von einem Backup, wie hier gut erklärt: Backups sind für dynamische technische Daten, die regelmäßig aktualisiert werden und daher in Backups aktualisiert werden müssen (dh OS, arbeitsordner Layout, etc.), in der Erwägung, dass Archive static Daten, die Sie würde wahrscheinlich nur einmal schreiben{[12]) und einfach nur Lesen von Zeit zu Zeit. Archive sind für intemporale Daten, in der Regel persönlich.

• Cold storage: Sie möchten die Pflege Ihrer archivierten Daten so weit wie möglich vermeiden. Dies ist eine große Einschränkung, da das Medium Komponenten und eine Schreibmethode verwenden muss, die sehr lange stabil bleiben zeit, ohne Manipulation von Ihrem Teil und ohne Verbindung zu einem Computer oder einer Stromversorgung.

Um unsere Analyse zu erleichtern, lassen Sie uns zuerst Kaltspeicherlösungen und dann langfristige Archivstrategien studieren.

Kalte Speichermedien

Wir haben oben definiert, was ein gutes Kühlmedium sein sollte: Es sollte Daten für eine lange Zeit ohne Manipulation aufbewahren (deshalb heißt es "kalt": Sie können es einfach in einem Schrank aufbewahren und Sie tun sie müssen es nicht an einen Computer anschließen, um Daten zu verwalten).

Papier mag wie das widerstandsfähigste Speichermedium auf der Erde erscheinen, weil wir oft sehr alte Manuskripte aus alten Zeiten finden. Papier leidet jedoch unter großen Nachteilen: Erstens ist die Datendichte sehr gering (kann nicht mehr als ~100 KB auf einem Papier speichern, selbst mit winzigen Zeichen und Computerwerkzeugen), und es verschlechtert sich im Laufe der Zeit, ohne dass es überwacht werden kann: Papier leidet wie Festplatten unter stiller Beschädigung. Aber während Sie stille Korruption auf digitalen Daten überwachen können, können Sie nicht auf Papier. Zum Beispiel können Sie nicht garantieren, dass ein Bild die gleichen Farben über nur ein Jahrzehnt behält: Die Farben werden abgebaut, und Sie haben keine Möglichkeit, die ursprünglichen Farben zu finden. Natürlich können Sie Ihre Bilder kuratieren, wenn Sie ein Profi bei der Bildwiederherstellung sind, aber dies ist sehr zeitaufwendig, während Sie mit digitalen Daten diesen Kurations-und Wiederherstellungsprozess automatisieren können.

Hart Laufwerke (Festplatten) sind bekannt bis haben eine durchschnittliche Lebensdauer von 3 bis 8 Jahren: Sie werden nicht nur im Laufe der Zeit abgebaut, sie sind garantiert schließlich sterben (dh: unzugänglich). Die folgenden Kurven zeigen diese Tendenz, dass alle Festplatten mit einer erstaunlichen Rate sterben:

Die Kurve zeigt die Entwicklung der Festplattenausfallrate angesichts des Fehlertyps (auch für jedes technische Gerät anwendbar):

Kurve zeigt HDD ausfallrate, alle fehlertypen zusammengeführt:

Quelle: Backblaze -

Sie können sehen, dass es 3 arten von Festplatten relativ zu ihrem ausfall: die schnell sterben diejenigen (zB: herstellungsfehler, schlechte qualität HDDs, kopf ausfall, etc.), die konstanten Sterberaten (gute Herstellung, sie sterben aus verschiedenen "normalen" Gründen, dies ist bei den meisten Festplatten der Fall) und schließlich die robusten, die etwas länger leben als die meisten Festplatten und schließlich bald nach den "normalen" sterben " (zB: glückliche Festplatten, nicht zu viel verwendet, ideale Umgebungsbedingungen usw..). So sind Sie garantiert, dass Ihre Festplatte stirbt.

Warum HDDs so oft sterben? Ich meine, die Daten werden auf eine Magnetplatte geschrieben, und das Magnetfeld kann Jahrzehnte dauern, bevor es verblasst. Der Grund, warum sie sterben, ist, weil das Speichermedium (Magnetplatte) und die Lesehardware (Elektronikplatine+Drehkopf) sind gekoppelt: Sie können nicht dissoziiert werden, Sie können nicht einfach die Magnetscheibe extrahieren und die [[11]} lesen Sie es mit einem anderen Kopf, denn zuerst ist die elektronische Platine (die die physischen Daten in digitale umwandelt) für fast jede Festplatte unterschiedlich (sogar von der gleichen Marke und Referenz, es hängt von der ursprünglichen Fabrik ab), und der interne Mechanismus mit dem Spinnkopf ist so kompliziert, dass es heutzutage für einen Menschen unmöglich ist, einen Spinnkopf perfekt auf Magnetplatten zu platzieren, ohne sie zu töten.

Außerdem ist bekannt, dass HDDs im Laufe der Zeit entmagnetisieren, wenn sie nicht verwendet werden (einschließlich SSD). Sie können also nicht einfach Daten auf einer Festplatte speichern, in einem Schrank speichern und denken, dass sie Daten ohne elektrischen Anschluss speichern: Sie müssen Ihre Festplatte mindestens einmal pro Jahr oder pro Paar Jahre an eine elektrische Quelle anschließen. Daher eignen sich Festplatten eindeutig nicht gut für die Kühllagerung.

Magnetbänder: sie werden oft als die Go-to für Backups Bedürfnisse beschrieben, und durch Erweiterung für die Archivierung. Das Problem mit Magnetbändern ist, dass sie SEHR empfindlich: die magnetischen oxid partikel können leicht verschlechtert werden durch sonne, wasser, luft, kratzer, entmagnetisiert durch zeit oder jede elektromagnetische gerät oder nur fallen mit der zeit, oder druck-durch. Deshalb werden sie normalerweise nur in Rechenzentren von Profis verwendet. Es wurde auch nie bewiesen, dass sie Daten länger als ein Jahrzehnt aufbewahren können. Warum werden sie oft für Backups empfohlen? Weil sie früher billig waren: Damals kostete die Verwendung 10x bis 100x billiger. bänder als Festplatten und Festplatten waren tendenziell viel weniger stabil als jetzt. Magnetbänder werden daher in erster Linie für Backups empfohlen, da kostengünstig ist, nicht wegen der Ausfallsicherheit, was uns am meisten interessiert, wenn es um die Archivierung von Daten geht.

CompactFlash und Secure Digital (SD) Karten sind bekanntermaßen sehr robust und robust, in der Lage, katastrophale Bedingungen zu überstehen.

Die speicherkarten in den meisten kameras sind praktisch unzerstörbar, fand Digital Camera Shopper Magazin. Fünf Speicherkartenformate überlebten, gekocht, zertrampelt, gewaschen und in Kaffee oder Cola getaucht.

Wie jedes andere magnetbasierte Medium ist es jedoch auf ein elektrisches Feld angewiesen, um die Daten aufzubewahren, und wenn die Karte keinen Saft mehr hat, können Daten völlig verloren gehen. Somit passt es nicht perfekt für die Kühllagerung (da Sie gelegentlich die gesamten Daten auf der Karte neu schreiben müssen, um das elektrische Feld aufzufrischen), aber es kann eine gute sein medium für backups und kurz-oder mittelfristige Archivierung.

Optische Medien: Optische Medien sind eine Klasse von Speichermedien, die zum Lesen der Daten auf Laser angewiesen sind, z. B. CD, DVD oder Blu-ray (BD). Dies kann als eine Entwicklung des Papiers gesehen werden, aber wir schreiben die Daten in einer so winzigen Größe, dass wir ein präziseres und widerstandsfähigeres Material als Papier benötigt, und optische Platten sind genau das. Die zwei größten Vorteile optischer Medien sind, dass das Speichermedium vom Lesen entkoppelt ist hardware (dh wenn Ihr DVD-Reader ausfällt, können Sie immer einen anderen kaufen, um Ihre Festplatte zu lesen) und dass er auf Laser basiert, was ihn universell und zukunftssicher macht (dh solange Sie wissen, wie man einen Laser herstellt, können Sie ihn immer optimieren, um die Bits einer optischen Festplatte durch Emulation zu lesen, genau wie es CAMILEON für das Domesday BBC-Projekt getan hat ).

Wie jede Technologie bieten neue Iterationen nicht nur eine größere Dichte (Lagerraum), sondern auch eine bessere Fehlerkorrektur und eine bessere Belastbarkeit gegen Umweltverfall (nicht immer, aber im Allgemeinen wahr). Die erste Debatte über die Zuverlässigkeit von DVDs fand zwischen DVD-R und DVD+R statt, und selbst wenn DVD-R heutzutage noch üblich ist, werden DVD+R als zuverlässiger und präziser erkannt. Es gibt jetzt DVD-Discs in Archivqualität, die speziell für die Kühllagerung hergestellt wurden und behaupten, dass sie mindestens ~20 Jahre ohne Wartung aushalten können:

Verbatim Gold Archiv DVD-R [...] bewertet wurde, wie die meisten zuverlässige DVD-R in eine Gründliche long-term stress-test durch den angesehenen deutschen c 'T Magazin (c' T 16/2008, Seiten 116-123) [...] erreichen einer Mindesthaltbarkeit von 18 Jahren und einer durchschnittlichen Haltbarkeit von 32 bis 127 Jahren (bei 25 ° C, 50% Luftfeuchtigkeit). Keine andere Disc kam diesen Werten nahe, die zweitbeste DVD-R hatte eine Mindesthaltbarkeit von nur 5 Jahren.

Von LinuxTech.net.

Darüber hinaus spezialisierten sich einige Unternehmen auf sehr langfristige DVD archivieren und vermarkten Sie sie ausgiebig, wie die M-Disc von Millenniata oder die DataTresorDisc, behaupten, dass sie Daten über 1000 Jahre aufbewahren können, und verifiziert durch einige (nicht unabhängig) Studien (von 2009) unter weniger wissenschaftlichen anderen.

Das alles scheint sehr vielversprechend! Unglücklicherweise gibt es nicht genug unabhängige wissenschaftliche Studien, um diese Behauptungen zu bestätigen, und die wenigen verfügbaren sind nicht so begeistert:

Luftfeuchtigkeit (80% RF) und temperatur (80°C) beschleunigte Alterung auf mehreren DVDs über 2000 Stunden (etwa 83 Tage) Test mit regelmäßiger Überprüfung der Lesbarkeit der Daten:

Übersetzt von der französischen Institution für digitales Datenarchiv (Archives de France), Studie aus dem Jahr 2012.

Die erste Grafik zeigt DVD mit einer langsamen Degradationsentwicklung. Die zweite DVD mit raschen Abbau-Kurven. Und die dritte ist für spezielle" sehr langfristige " DVDs wie M-Disc und DataTresorDisc. Wie wir sehen können,, ihre Leistung passt nicht ganz zu den Ansprüchen, da sie niedriger oder mit Standard-DVDs ohne Archivqualität vergleichbar ist!

Anorganische optische Discs wie M-Disc und DataTresorDisc haben jedoch einen Vorteil: Sie sind für den Lichtabbau ziemlich unempfindlich:

Beschleunigte Alterung mit Licht (750 W / m2) während 240 Stunden:

Dies sind großartige Ergebnisse, aber eine DVD in Archivqualität wie das Verbatim Gold Archival erzielt auch die gleiche Leistung, und außerdem ist Licht das die meisten steuerbaren Parameter für ein Objekt: es ist ganz einfach, DVD in einer geschlossenen Box oder Schrank zu setzen, und damit jede mögliche Auswirkungen von Licht überhaupt zu entfernen. Es wäre viel nützlicher, eine DVD zu bekommen, die sehr widerstandsfähig gegen Temperatur und Feuchtigkeit ist als Licht.

Dasselbe Forschungsteam untersuchte auch den Blu-ray-Markt, um festzustellen, ob es eine Marke mit einem guten Medium für die langfristige Kühllagerung geben würde. Hier ist Ihr Befund:

Feuchtigkeit und Temperatur beschleunigte Alterung auf mehreren Blu-ray-Marken, unter den gleichen Parametern wie für DVDs:

Licht beschleunigte alterung auf mehrere BluRays marken, gleiche parameter:

Übersetzt aus dieser Studie von Archives de France, 2012.

Zwei Zusammenfassungen aller Befunde (auf Französisch) hier und hier.

In Ordnung, die beste Blu-ray disc (von Panasonic) durchgeführt, ebenso zu den besten archival grade DVD in Feuchte+Temperatur test, während Sie praktisch bewusstlos an der Stelle, an licht! Und diese Blu-ray-Disc ist nicht einmal archiviert. Darüber hinaus verwenden Blu-ray-Discs einen verbesserten Fehlerkorrekturcode als DVDs (die selbst eine verbesserte Version im Vergleich zu CDs verwenden), wodurch das Risiko des Datenverlusts weiter minimiert wird. Daher scheinen einige BluRay-Discs eine sehr gute Wahl für die Kühllagerung zu sein.

Und tatsächlich beginnen einige Unternehmen mit der Arbeit an archivierten, hochdichten Speicher-Blu-ray-Discs wie Panasonic und Sony, kündigt, dass sie sie können 300 GB bis 1 TB Speicher mit einer durchschnittlichen Lebensdauer von 50 Jahren anbieten. Auch große Unternehmen wenden sich optischen Medien für die Kühllagerung zu (weil es viel weniger Ressourcen verbraucht, da sie sie ohne Stromversorgung kühl lagern können), wie zum Beispiel Facebook, das ein Robotersystem entwickelt hat, um Blu-ray-Discs als "Kühllager"zu verwenden für Daten, auf die ihr System selten zugreift.

Lange Jetzt archival Initiative: Es gibt andere interessante Leads wie das [[5]}Rosetta Disc Project des Long Now Museums, bei dem es sich um ein Projekt handelt, mikroskopisch skalierte Seiten der Genesis in allen Sprachen der Erde zu schreiben, in die die Genesis übersetzt wurde. Dies ist ein großartiges Projekt, das als erstes ein Medium anbietet, mit dem 50 MB für eine wirklich sehr lange Kältespeicherung gespeichert werden können (da es in Kohlenstoff geschrieben ist), und mit zukunftssicherem Zugriff, da Sie nur eine Lupe benötigen, um auf die Daten zuzugreifen (keine seltsamen Formatspezifikationen noch technologischer Aufwand, wie der violette Strahl der Blu-ray zu handhaben, braucht nur eine Lupe!). Diese werden jedoch immer noch manuell erstellt und kosten schätzungsweise etwa 20 US-Dollar, was für ein persönliches Archivschema, denke ich, etwas zu viel ist.

Internetbasierte Lösungen: Ein weiteres Medium zum Speichern Ihrer Daten ist das Internet. Allerdings sind Cloud-Backup-Lösungen nicht eine gute Passform, für die primäre Sorge als die Cloud-Hosting-Unternehmen können nicht so lange leben, wie Sie möchten behalten Sie Ihre Daten. Andere Gründe sind die Tatsache, dass die Sicherung schrecklich langsam ist (da sie über das Internet übertragen wird) und die meisten Anbieter verlangen, dass die Dateien auch auf Ihrem System vorhanden sind, um sie online zu halten. Zum Beispiel werden sowohl CrashPlan und Backblaze dauerhaft Dateien löschen, die nicht mindestens einmal auf Ihrem Computer in den letzten 30 Tagen gesehen werden, so dass, wenn Sie Backup-Daten hochladen möchten, die Sie nur auf externen Festplatten speichern, müssen Sie Ihre USB-Festplatte mindestens einmal pro Monat anschließen und synchronisieren mit Ihrer Cloud, um den Countdown zurückzusetzen. Einige Cloud-Dienste bieten jedoch an, Ihre Dateien unbegrenzt (solange Sie natürlich bezahlen) ohne Countdown wie SpiderOak aufzubewahren. Seien Sie also sehr vorsichtig mit den Bedingungen und der Nutzung der von Ihnen gewählten Cloud-basierten Sicherungslösung.

Eine Alternative zu Cloud-Backup-Anbietern besteht darin, Ihren eigenen privaten Server online zu mieten und wenn möglich einen mit automatischer Spiegelung/Sicherung Ihrer Daten bei Hardwarefehlern auf ihrer Seite zu wählen (einige sogar garantieren Sie gegen Daten in ihren Verträgen verloren, aber natürlich ist es teurer). Dies ist eine großartige Lösung, erstens, weil Sie immer noch Ihre Daten besitzen, und zweitens, weil Sie die Hardwarefehler nicht verwalten müssen, liegt dies in der Verantwortung Ihres Hosts. Und wenn Ihr Host eines Tages aus dem Geschäft geht, können Sie Ihre Daten immer noch zurückbekommen (wählen Sie einen seriösen Host, damit er nicht über Nacht heruntergefahren wird, sondern Sie vorher benachrichtigt, vielleicht können Sie darum bitten, dies in den Vertrag aufzunehmen) und rehost anderswo.

Wenn Sie sich nicht darum kümmern möchten, Ihren eigenen privaten Online-Server einzurichten, und wenn Sie es sich leisten können, bietet Amazon einen neuen Datenarchivierungsdienst namens oder an. Der Zweck ist genau, Ihre Daten langfristig kalt zu speichern. Es bietet 11 9s Haltbarkeit pro Jahr und Jahr, was dem anderen S3-Angebot entspricht, jedoch zu einem viel niedrigeren Preis. Der Haken ist, dass der Abruf nicht kostenlos ist und einige Minuten dauern kann (Standardabruf vom Gletscher Archiv) bis 48 Stunden (Massenabruf aus Glacier Deep Archive).

Mängel von Cold Storage: Es gibt jedoch einen großen Fehler in jedem Cold Storage-Medium: Es gibt keine Integritätsprüfung, da Cold Storage-Medien die Integrität der Daten NICHT automatisch überprüfen können (sie können lediglich Fehlerkorrekturschemata implementieren, um einen Teil des Schadens nach der Beschädigung zu" heilen"), aber es kann nicht verhindert oder automatisch verwaltet werden!) weil, im Gegensatz zu einem Computer, gibt es keine Verarbeitungseinheit zum Berechnen/Journalisieren / Überprüfen und Korrigieren des Dateisystems. Während Sie mit einem Computer und mehreren Speichereinheiten automatisch die Integrität Ihrer Archive überprüfen und bei Bedarf automatisch auf eine andere Einheit spiegeln können, wenn in einem Datenarchiv eine Beschädigung aufgetreten ist (sofern Sie mehrere Kopien desselben Archivs haben).

Langzeitarchivierung

Selbst mit den besten derzeit verfügbaren Technologien können digitale Daten nur für wenige kalt gespeichert werden jahrzehnte (ungefähr 20 Jahre). Auf lange Sicht können Sie sich also nicht nur auf Cold Storage verlassen: Sie müssen eine Methodik für Ihren Datenarchivierungsprozess einrichten, um sicherzustellen, dass Ihre Daten in Zukunft abgerufen werden können (auch bei technologischen Veränderungen) und dass Sie das Risiko minimieren, Ihre Daten zu verlieren. Mit anderen Worten, Sie müssen der digitale Kurator Ihrer Daten werden, Beschädigungen reparieren, wenn sie auftreten, und bei Bedarf neue Kopien erstellen.

Es gibt keine narrensicheren Regeln, aber hier sind einige etablierte Kuratierungsstrategien und insbesondere ein magisches Werkzeug, das Ihnen die Arbeit erleichtert:

• Redundanz - / Replikationsprinzip: Redundanz ist das einzige Werkzeug, das die Auswirkungen der Entropie rückgängig machen kann, welches ist ein Prinzip, das auf Informationstheorie basiert. Um Daten zu behalten, müssen Sie diese Daten duplizieren. Fehlercodes sind genau eine automatische Anwendung des Redundanzprinzips. Sie müssen jedoch auch sicherstellen dass Ihre Daten redundant sind: mehrere Kopien derselben Daten auf verschiedenen Discs, mehrere Kopien auf verschiedenen Medien (so dass, wenn ein Medium aufgrund von intrinsischen Problemen ausfällt, es wenig Chancen gibt, dass die anderen auf verschiedenen Medien auch gleichzeitig ausfallen würden) usw. Insbesondere sollten Sie immer mindestens 3 Kopien Ihrer Daten haben, auch 3-modulare Redundanz im Engineering genannt, damit Sie, wenn Ihre Kopien beschädigt werden, eine einfache Mehrheit abgeben können, um Ihre Daten zu reparieren dateien von Ihren 3 Kopien. Denken Sie immer an den Kompass-Rat des Seemanns:

Es ist sinnlos, zwei Kompasse mitzubringen, denn wenn einer schief geht, kann nie wissen, welches richtig ist oder ob beide falsch sind. Immer nehmen ein Kompass, oder mehr als drei.

• Fehlerkorrekturcodes: Dies ist das magische Werkzeug, das Ihnen das Leben erleichtert und Ihre Daten sicherer macht. Fehlerkorrekturcodes (ECCs) sind ein mathematisches Konstrukt, das generieren Sie Daten, die zur Reparatur Ihrer Daten verwendet werden können. Dies ist effizienter, da ECCs viel mehr Ihrer Daten mit viel weniger Speicherplatz reparieren kann als einfache Replikation (dh mehrere Kopien Ihrer Dateien erstellen), und sie können sogar verwendet werden, um zu überprüfen, ob Ihre Datei beschädigt ist, und sogar Suchen Sie, wo sich diese Beschädigungen befinden. Tatsächlich ist dies genau eine Anwendung des Redundanzprinzips, jedoch auf clevere Weise als die Replikation. Diese Technik ist weitgehend verwendet in jede long range Kommunikation heute, wie 4G, WiMax, und sogar die NASA-space-Kommunikation. Unglücklicherweise, obwohl ECCs in der Telekommunikation allgegenwärtig sind, sind sie nicht in der Dateireparatur, vielleicht weil es ein bisschen komplex ist. Es gibt jedoch einige Software, wie die bekannte (aber jetzt alte) PAR2, DVD, (die das Hinzufügen von Fehlerkorrekturcodes auf optischen Datenträgern anbietet) und pyFileFixity (die ich teilweise entwickle, um PAR2-Einschränkungen zu überwinden und PAR2-Fehler zu vermeiden). Sicherheitsfragen). Es gibt auch Dateisysteme, die optional Reed-Solomon implementieren, wie ZFS für Linux oder ReFS für Windows, die technisch eine Verallgemeinerung von RAID5 darstellen.

• Überprüfen Sie die Integrität Ihrer Dateien regelmäßig: Hash Ihre Dateien, und überprüfen Sie sie von Zeit zu Zeit (dh einmal pro Jahr, aber es hängt von dem Speichermedium und Umgebungsbedingungen). Wenn Sie feststellen, dass Ihre Dateien beschädigt wurden, ist es an der Zeit, mit den von Ihnen generierten ECCs zu reparieren wenn Sie dies getan haben, und/oder eine neue neue Kopie Ihrer Daten auf einem neuen Speichermedium zu machen. Das Überprüfen von Daten, das Reparieren von Beschädigungen und das Erstellen neuer Kopien ist ein sehr guter Kurationszyklus, der sicherstellt, dass Ihre Daten sicher sind. Insbesondere die Überprüfung ist sehr wichtig, da Ihre Dateien Kopien stillschweigend beschädigt werden können, und wenn Sie dann die Kopien kopieren, die manipuliert wurden, werden Sie mit völlig beschädigten Dateien am Ende. Dies ist bei Kaltspeichermedien wie optischen noch wichtiger festplatten, die die Integrität der Daten NICHT automatisch überprüfen können (sie implementieren bereits ECCs, um ein wenig zu heilen, aber sie können nicht automatisch neue Kopien überprüfen oder erstellen, das ist Ihre Aufgabe!). Um Änderungen an Dateien zu überwachen, können Sie die rfigc.py skript von pyFileFixity oder anderen UNIX-Tools wie md5deep. Sie können auch den Gesundheitszustand einiger Speichermedien wie Festplatten mit Tools wie Hard Drive Sentinel oder Open Source überprüfen smartmontools - .

• Speichern Sie Ihre Archivmedien an verschiedenen Orten (mit mindestens einer Kopie außerhalb Ihres Hauses!), um für das wirkliche Leben katastrophale Ereignisse wie Überschwemmungen oder Feuer zu vermeiden. Zum Beispiel kann eine optische Disc bei Ihrer Arbeit oder ein Cloud-basiertes Backup eine gute Idee sein, um diese Anforderung zu erfüllen (auch wenn Cloud-Anbieter jederzeit heruntergefahren werden können, solange Sie andere Kopien haben, sind Sie sicher, die Cloud-Anbieter dienen nur als Offsite archiv im Notfall).

• In bestimmten Behältern mit kontrollierten Umgebungsparametern aufbewahren: Für optische Medien lichtgeschützt und in einer wasserdichten Box aufbewahren, um Feuchtigkeit zu vermeiden. Bei Festplatten und SD-Karten in antimagnetischen Hülsen aufbewahren, um Reststrom zu vermeiden, um das Laufwerk zu manipulieren. Sie können auch in einem luftdichten und wasserdichten Beutel/Karton aufbewahren und in einem Gefrierschrank aufbewahren: Langsame Temperaturen verlangsamen die Entropie und Sie können die Lebensdauer erheblich verlängern dauer eines solchen Speichermediums (stellen Sie einfach sicher, dass kein Wasser ins Innere gelangt, sonst stirbt Ihr Medium schnell ab).

• Verwenden gute qualität hardware und überprüfen sie sie vorher (zb: wenn sie kaufen eine SD karte, test die ganze karte mit software wie HDD Scan zu überprüfen, dass alles in ordnung ist, bevor schreiben ihre daten). Dies ist besonders wichtig für optische Laufwerke, da ihre Qualität die Qualität Ihrer gebrannten Discs drastisch verändern kann, wie gezeigt nach der Studie von Archives de France (ein schlechter DVD-Brenner produziert DVDs, die viel weniger halten).

• Wählen Sie sorgfältig Ihre Dateiformate: nicht alle Dateiformate sind widerstandsfähig gegen Korruption, einige sind sogar deutlich schwach. Beispielsweise, .jpg-Bilder können völlig kaputt und unlesbar sein, indem nur ein oder zwei Bytes manipuliert werden. Gleiches gilt für 7zip-Archive. Das ist lächerlich, also seien Sie vorsichtig mit dem Dateiformat der Dateien, die Sie archivieren. Als Faustregel gilt, einfacher Klartext ist der beste, aber wenn Sie komprimieren müssen, verwenden Sie nicht feste Zip und für Bilder, verwenden JPEG2(noch nicht Open-Source...). Weitere Informationen und Bewertungen von pro digital Kuratoren hier, hier und hier.

• Speichern Sie neben Ihren Datenarchiven alle Software und Spezifikationen, die zum Lesen der Daten benötigt werden. Denken Sie daran, dass sich die Spezifikationen schnell ändern und Ihre Daten in Zukunft möglicherweise nicht mehr lesbar sind, selbst wenn Sie auf die Datei zugreifen können. Daher sollten Sie offen bevorzugen quellformate und Software, und speichern Sie den Quellcode des Programms entlang Ihrer Daten, so dass Sie immer das Programm aus dem Quellcode anpassen können von einem neuen Betriebssystem oder Computer zu starten.

• Viele andere Methoden und Ansätze sind verfügbar hier, hier und in verschiedenen Teilen des Internets.

Schlussfolgerung

Ich rate, das zu verwenden, was Sie haben können, aber respektieren Sie immer das Redundanzprinzip (machen Sie 4 Kopien!), und überprüfen Sie immer regelmäßig die integrität (Sie müssen also vorher eine Datenbank mit MD5/SHA1-Hashes erstellen) und im Falle einer Beschädigung neue Kopien erstellen. Wenn Sie dies tun, können Sie Ihre Daten technisch so lange aufbewahren, wie Sie möchten, unabhängig von Ihrem Speichermedium. Die Zeit zwischen jeder Überprüfung hängt von der Zuverlässigkeit Ihrer Speichermedien ab: Wenn es sich um eine Diskette handelt, überprüfen Sie alle 2 Monate, ob es sich um eine Blu-ray-HTL handelt, überprüfen Sie alle 2/3 Jahre.

Jetzt im optimalen, rate ich für die Kühllagerung Blu-ray zu verwenden HTL discs oder archiv grade DVD discs gespeichert in wasser-engen opaque boxen und gespeichert in einem frischen ort. Darüber hinaus können Sie SD-Karten und Cloud-basierte Anbieter wie SpiderOak verwenden, um die redundanten Kopien Ihrer Daten oder sogar Festplatten zu speichern, wenn sie für Sie zugänglicher sind.

Verwenden Sie viele Fehlerkorrekturcodes, sie werden Ihren Tag retten. Sie können auch mehrere Kopien dieser ECCs-Dateien erstellen (aber mehrere Kopien Ihrer Daten sind wichtiger als mehrere Kopien von ECCs, weil ECCs-Dateien selbst reparieren können!).

Diese Strategien können alle mit den Tools implementiert werden, die ich entwickle (Open Source): pyFileFixity. Dieses Tool wurde tatsächlich von dieser Diskussion gestartet, nachdem festgestellt wurde, dass es kein kostenloses Tool zum vollständigen Verwalten der Dateifixierung gab. Bitte beachten Sie auch die Readme-Datei und das Wiki des Projekts, um weitere Informationen zur Dateifixierung und digitalen Kuration zu erhalten.

Abschließend hoffe ich wirklich, dass mehr F & E sein wird setzen Sie auf dieses problem. Dies ist ein großes Problem für unsere derzeitige Gesellschaft, da immer mehr Daten digitalisiert werden, jedoch ohne die Garantie, dass diese Informationsmasse mehr als ein paar Jahre überleben wird. Das ist ziemlich deprimierend, und ich denke wirklich, dass dieses Problem viel mehr in den Vordergrund gestellt werden sollte, damit dies für Konstrukteure und Unternehmen zu einem Marketingpunkt wird, um Speichergeräte herzustellen, die für zukünftige Generationen halten können.

/EDIT: Lesen Sie unten für eine praktische Kuration routine - .

Schnelles Follow-up zu meine vorherige Antwort über, dies wird prägnanter und erweitert mit zusätzlichen (aber nicht von primärer Bedeutung) Informationen und Referenzen, die ich nicht hinzufügen kann in der ersten Antwort wegen der 30K Längenbeschränkungen.

Da die Langzeitarchivierung ein Kurationsprozess ist, möchten Sie hier einige andere Dinge beachten, um Ihren Prozess effizienter und weniger Zeit (und Ressourcen) zu gestalten) Konsum:

• Deduplizierung: Da die einzige Möglichkeit, eine langfristige Archivierung sicherzustellen, eine bewusst entworfene Redundanz ist, möchten Sie unnötige redundante Daten vermeiden (z. B. Kopien von Dateien, die Sie von Ihrem USB-Stick auf Ihre Archivfestplatte abgerufen haben, aber Sie haben bereits eine Kopie von Ihrem Hauptcomputer!). Unerwünschte redundante Daten, die normalerweise als Duplikate bezeichnet werden, sind schlecht, sowohl in Bezug auf die Speicherkosten (sie benötigen mehr Speicherressourcen, aber Sie haben eine harte zeit, sie bei Bedarf zu finden), für Ihren Prozess (was ist, wenn Sie verschiedene Versionen derselben Datei haben? Wie können Sie wissen, welche Kopie die richtige ist?) und für Ihre Zeit (es summiert sich auf die Übertragungszeiten, wenn Sie die Sicherung auf alle Ihre Archive synchronisieren). Aus diesem Grund bieten professionelle Archivdienste normalerweise eine automatisierte - Deduplizierung an: Dateien, die genau ähnlich sind, erhalten denselben Inode und benötigen keinen zusätzlichen Speicherplatz. Das ist, was SpiderOak tut für Beispiel. Es gibt automatisierte Tools, die Sie verwenden können, und ZFS (Linux) - oder ReFS (Windows) - Dateisysteme können dies automatisch für Sie tun.

• Priorisierung / Kategorisierung: Wie Sie sehen können, ist die Langzeitarchivierung ein zeitaufwändiger Prozess, der regelmäßig durchgeführt werden muss (um die Vernunft zu überprüfen, Archive über Medien hinweg zu synchronisieren, neue Archive auf neuen Medien zu erstellen, um sterbende zu ersetzen, Dateien mit Fehlerkorrekturcodes zu reparieren usw.). Versuchen Sie, die Zeit zu minimieren, die Sie kostet definieren Sie verschiedene Schutzschemata in Abhängigkeit von der Priorität Ihrer Daten basierend auf den Kategorien . Wenn Sie Ihre Computerdaten auf eine Ihrer externen Festplatten verschieben, die Sie für die Langzeitarchivierung verwenden, platzieren Sie sie direkt in einem Ordner, der die Backup-Priorität definiert: "unwichtig", "persönlich", "wichtig", "kritisch". Dann können Sie verschiedene Backup-Strategien für jeden Ordner definieren: Reservieren Sie den vollen Schutz (zB Backup auf 3 Festplatten + Cloud + Fehler korrigieren von Codes + BluRays) nur für die kritischsten Daten, die Sie Ihr ganzes Leben lang behalten möchten (der kritische Ordner), dann ein mittlerer Schutz für "wichtige" Daten (z. B. Sicherung auf 3 Festplatten + Cloud) und dann "persönlich" werden nur auf mindestens zwei externe Festplatten kopiert, und "unwichtig" erhält keine Kopie (oder möglicherweise auf einer Festplatte, wenn die Synchronisierung nicht zu lang ist...). Normalerweise werden Sie sehen, dass "unwichtig" die meisten Daten enthält, dann" persönlich "weniger, dann" wichtig " viel weniger und "critical" wird ziemlich klein sein (weniger als 50 GB für mich). Zum Beispiel, in" critical " werden Sie Ihren Hausvertrag und Ihre Ehe und Geburten Bilder setzen. Dann sind in" wichtig " Dokumente, die Sie nicht verlieren möchten, wie juristische Dokumente, einige wichtige Fotos und Videos von denkwürdigen Ereignissen usw. In "personal" legen Sie alle Ihre persönlichen Fotos, Videos aus Ihren Ferien und Arbeitsdokumenten ab, dies sind Dokumente und Medien, die Sie aufbewahren möchten, aber Sie werden nicht vor Bedauern sterben, wenn Sie verlieren sie (und das ist gut, weil in der Regel dieser Ordner ist riesig, so dass Sie wahrscheinlich einige Dateien auf lange Sicht verlieren...). "Unwichtig" ist alles, was Sie aus dem Internet oder verschiedenen Dateien und Medien herunterladen, die Sie haben, die Sie nicht wirklich interessieren (wie Software und Spiele und Filme). Die Quintessenz ist, dass: Je mehr Dateien Sie langfristig archivieren möchten, desto schwieriger (und zeitaufwendiger) wird es, also versuchen Sie, die Dateien, die diese spezielle Behandlung erhalten, auf einem Minimum.

• Metadaten sind ein kritischer Punkt: Selbst bei guten Kurationsstrategien gibt es normalerweise eine Sache, die nicht geschützt ist: die Metadaten. Metadaten enthalten die Informationen über Ihre Dateien, zum Beispiel: der Verzeichnisbaum (ja, das sind nur ein paar Bytes, wenn Sie das verlieren, erhalten Sie Ihre Dateien insgesamt)!), den Dateinamen und die Erweiterung, den Zeitstempel (dies kann für Sie wichtig sein) usw. Dies scheint keine große Sache zu sein, aber stellen Sie sich Folgendes vor: Was wäre, wenn morgen werden alle Ihre Dateien (einschließlich Dateien, die mit Software und anderen Dingen geliefert werden) in einem flachen Ordner abgelegt, ohne ihren Dateinamen oder ihre Erweiterung. Können Sie die benötigten Dateien von den Milliarden von Dateien auf Ihrem Computer durch manuelle Inspektion wiederherstellen? Denken Sie nicht, dass dies ein ungewöhnliches Szenario ist, es kann so leicht passieren, als ob Sie einen Stromausfall oder einen Absturz mitten in einer Kopie bekommen: Die zu schreibende Partition kann vollständig zerstört werden (der berüchtigte Typ RAW). Um dies zu überwinden daher sollten Sie vorbereitet sein und Ihre Daten für die Datenwiederherstellung vorbereiten: Um sicherzustellen, dass Sie die Metadaten behalten, können Sie die Dateien mit ihren Metadaten mithilfe von nicht festen Archiven wie ZIP DEFLATE oder oder agglomerieren (aber nicht tar). Einige Dateisysteme bieten automatisierte Metadaten-Redundanz, wie DVDisaster (für optische Discs) und ZFS/ReFS (für Festplatten). Im Falle eines Metadaten-Absturzes können Sie dann versuchen, Ihre Partitionen mithilfe von TestDisk oder GetDataBack wiederherzustellen (zulassen partielle Verzeichnisbaumwiederherstellung) oder IsoBuster (für optische Datenträger), um den Verzeichnisbaum und andere Metadaten wiederherzustellen. Falls dies alles fehlschlägt, können Sie mit PhotoRec auf Filescraping zurückgreifen: Dadurch werden alle Dateien extrahiert, die es erkennt, aber in völliger Unordnung und ohne den Dateinamen oder Zeitstempel werden nur die Daten selbst wiederhergestellt. Wenn Sie wichtige Dateien gezippt haben, können Sie die Metadaten innerhalb der Zip-Datei wiederherstellen (auch wenn die ZIP-Datei selbst keine Metadaten mehr enthält, zumindest im Inneren die Dateien besitzen weiterhin die richtigen Metadaten). Sie müssen jedoch alle Dateien manuell einzeln manuell überprüfen, was zeitaufwändig ist. Um sich vor dieser Möglichkeit zu schützen, können Sie zuvor eine Integritätsprüfsummendatei mit pyFileFixity oder PAR2 generieren und diese Integritätsprüfsummendatei nach dem Filescraping verwenden, um die Dateien je nach Inhalt automatisch zu erkennen und umzubenennen (dies ist die einzige Möglichkeit, die Wiederherstellung von Filescraping-Metadaten zu automatisieren, da filescraping kann technisch nur Inhalte wiederherstellen, nicht die Metadaten).

• Testen Sie Ihre Dateiformate und Kurationsstrategien für sich selbst: Anstatt den Worten von Artikeln zu vertrauen, welcher Formattyp besser ist als der andere, können Sie es selbst mit [[45]}pyFileFixity versuchen filetamper.py oder einfach selbst, indem Sie ein paar Hexadezimalzeichen in einigen Dateien ersetzen: Sie werden sehen, dass die meisten Dateiformate mit nur 3 verschiedenen Bytes zusammenbrechen können. Also du sie sollten Ihre Dateiformate sorgfältig auswählen: Bevorzugen Sie einfache Textdateien für Notizen und verwenden Sie widerstandsfähige Dateiformate für Medien (an denen noch gearbeitet wird, z. B. MPEG-4-Code zur Fehlerkorrektur, ffmpeg implementiert ihn, ref wird hinzugefügt) oder generieren Sie Ihre eigenen Fehlerkorrekturcodes.

• Lesen Sie statistische Studien, glauben Sie Behauptungen nicht: Wie ich in der vorherigen Antwort sagte, werden die ganze Zeit extravagante Behauptungen über die Langlebigkeit von Speichermedien erhoben. jede wissenschaftliche Tatsache,und Sie sollten besonders vorsichtig sein. In der Tat gibt es nichts im Gesetz, was den Hersteller daran hindert, sich mit gefälschten und nicht überprüfbaren Behauptungen über Langlebigkeit zu rühmen. Ziehen Sie es vor, sich auf statistische Studien zu beziehen, wie z. B. den Jahresbericht von BackBlaze über Festplattenausfallraten.

• Nehmen Sie long garantiert Speichermedium. Eine Garantie kann Ihre Daten nicht zurückbringen, aber sie informiert Sie darüber, wie der Produzent die Fehlerrate von auswertet sein Produkt (weil es sonst zu viel kosten würde, wenn die Rate während der Garantiezeit zu hoch ist).

Ein Update des von mir verwendeten Schemas: Ich wende die oben beschriebene Priorisierungsstrategie an und habe meinem Schema den Cloud-Sicherungsdienst SpiderOak hinzugefügt, da er einen Plan mit unendlichem Speicher hat und vollständig verschlüsselt ist, sodass ich das alleinige Eigentum an meinen Daten behalte. Ich benutze NICHT als mein einziges Backup-Medium für alle meine Daten, es ist nur eine zusätzliche Schicht.

Also hier ist mein Aktuelles Schema:

• 3 Festplatten Kopien regelmäßig überprüft und synchronisiert und an zwei verschiedenen Orten gespeichert und 1, die immer auf mich (Ich benutze es Müll zu speichern und schnelle Backups zu tun).
• SpiderOak mit unendlichem Speicherplan
• BluRay-Discs für wirklich wirklich vernünftige Daten, aber nicht zu groß (ich beschränke die Daten, die ich auf diesen Discs speichern kann, auf 50 GB)
• pyFileFixity und DVDisaster für Ordner, die ich wirklich in der langen halten wollen laufen.

Meine tägliche Routine ist wie folgt: Ich habe immer eine tragbare 2,5-USB-Festplatte, mit der ich unwichtige Dinge aufbewahren kann (Dateien von meinem Computer auf die Festplatte verschieben) oder wichtige Dinge sichern kann (Dateien auf die Festplatte kopieren, aber eine Kopie auf meinem Computer aufbewahren). Für wirklich kritische Sachen aktiviere ich zusätzlich die Online-Sicherung in SpiderOak (ich habe einen Ordner auf meinem Computer mit kritischen Sachen, also muss ich nur kritische Dateien dorthin verschieben und es wird automatisch von SpiderOak synchronisiert). Für WIRKLICH kritische Dateien, ich berechne auch eine Fehlerkorrekturdatei mit pyFileFixity.

Zusammenfassend speichere ich sie also für kritische Dinge auf: der tragbaren Festplatte, der SpiderOak Cloud und meinem Computer, sodass ich jederzeit 3 Kopien habe mit nur zwei schnellen Aktionen (auf tragbare Festplatte kopieren und in den SpiderOak-Ordner verschieben). Wenn eine Kopie beschädigt wird, kann ich eine Mehrheitsabstimmung durchführen, um sie mit pyFileFixity zu beheben. Es ist ein sehr kostengünstiges Schema (sowohl im Preis als auch in der Zeit), aber sehr effizient und implementiert alle Kernprinzipien der digitalen Kuration (dreifache Redundanz, verschiedene Kopien an verschiedenen Orten, verschiedene Medien, Integritätsprüfung und ECC von SpiderOak).

Dann synchronisiere ich alle 3 bis 6 Monate meine tragbare Festplatte mit meiner zweiten Festplatte zu Hause und dann alle 6 bis 12 Monate synchronisiere ich meine tragbare Festplatte mit meiner dritten Festplatte, die sich in einem anderen Haus befindet. Dies bietet den zusätzlichen Vorteil der Rotation (wenn ich in 6 Monaten merke, dass in meinem letzten Backup etwas schief gelaufen ist und ich gelöscht habe kritische Dateien, ich kann sie von einem der beiden Heim-FESTPLATTEN erhalten).

Schließlich habe ich mit DVDisaster einige sehr kritische Dateien auf BluRay-Discs geschrieben (und zusätzliche ECC-Dateien mit pyFileFixity, aber ich bin mir nicht sicher, ob dies notwendig war). Ich lagere sie in einer luftdichten Schachtel in einem Schrank. Ich überprüfe sie nur alle paar Jahre.

Sie sehen also, mein Schema ist nicht wirklich eine große Belastung: Täglich dauert es ein paar Minuten, Dateien auf eine tragbare Festplatte und in meinen SpiderOak-Ordner zu kopieren, und dann habe ich einfach synchronisieren Sie alle 6 Monate mit der einen oder anderen Heimfestplatte. Dies kann bis zu einem Tag dauern, je nachdem, wie viele Daten synchronisiert werden müssen, aber es ist durch Software automatisiert, so dass Sie nur einen Computer die Software laufen lassen müssen und Sie etwas anderes tun (Ich benutze ein 100$ Netbook kaufte ich nur, um das zu tun, so kann ich auf meinem Hauptcomputer zur gleichen Zeit arbeiten, ohne sich Gedanken über Absturz meines Computers in der Mitte einer Kopie, die schrecklich sein kann und zerstören Sie Ihre Festplatte, die geschrieben wird). Die Fehlerkorrekturcodes und die BluRay-Schemata werden nur selten für wirklich kritische Daten verwendet, daher ist es etwas zeitaufwendiger, aber selten.

Dieses Schema kann (wie immer) verbessert werden, zum Beispiel durch die Verwendung von ZFS/ReFS auf den Festplatten: Dies würde eine automatisierte Reed-Solomon Fehlerkorrektur implementieren Codeschutz und Integritätsprüfung (und dittoblocks !) ohne manuelle Interaktion meinerseits (im Gegensatz zu pyFileFixity). Obwohl ZFS kann (im Moment) nicht unter Windows-Betriebssystemen ausgeführt werden, es gibt ReFS, die eine ähnliche Fehlerkorrektursteuerung auf Dateisystemebene ermöglichen. Es könnte auch eine gute Idee sein, diese Dateisysteme auf externen Festplatten zu verwenden! Eine tragbare Festplatte mit ZFS / ReFS mit automatisierter RS-Fehlerkorrektur und Deduplizierung sollte großartig sein! (und ZFS scheint ziemlich schnell zu sein also sollte das Kopieren schnell sein!).

Eine letzte Anmerkung: Seien Sie vorsichtig mit Behauptungen über ECC-Fähigkeiten von Dateisystemen wie in diese Liste, da sie für die meisten nur auf die Metadaten (wie APFS) oder auf RAID-1-Spiegelung (btrfs) beschränkt ist. Meines Wissens bieten nur ZFS und ReFS echte Fehlerkorrekturcodes (und keine einfache Spiegelung) von Metadaten und Daten, wobei ZFS derzeit am weitesten fortgeschritten ist (obwohl es ab 2018 noch etwas experimentell ist), insbesondere weil ReFS-Laufwerke nicht bootfähig sein können.

/ UPDATE 2020: Es entstehen neue Lösungen, die sich noch in frühe experimentelle Phase, verwenden einen dezentralen Ansatz, der oft auf unveränderlichen Blockchains basiert, und sind sehr interessant zu erforschen, obwohl sie wahrscheinlich für die meisten von ihnen derzeit nicht verwendbar sind (ich würde mich nicht darauf verlassen, dass sie kritische Daten sichern, aber sie könnten als sekundäre Sicherung verwendet werden, wenn Sie sich abenteuerlich fühlen):

• Perkeep (Vergleich mit anderer Software). Ein ähnliches Projekt ist Upspin. Beide werden ab Anfang aktiv entwickelt 2020.
• Sia -
• Syncthing kann Backups Mirroring zwischen mehreren Geräten erleichtern, es ist kostenlos und Opensource
• libchop für Entwickler
• bitdust (Wiederaufbau noch nicht bereit, so vorsichtig sein!)

Es gibt keine einfache Lösung. Die Archivwartung ist ein Prozess, kein einmaliger Auftrag. Alle drei derzeit verfügbaren Archivmedientypen haben ihre eigenen Vor-und Nachteile, diese Argumente gelten jedoch für alle Medientypen:

1. Niemand hat DVDs oder Festplatten aus offensichtlichen Gründen 30 oder 100 Jahre lang gespeichert. Es gibt also keine Erfolgsbilanz und niemand weiß, wie die Medien altern werden. Künstliche Alterungstests beweisen nicht viel, und Sie verlassen sich auf Hersteller-Tests, (nicht unparteiisch).

2. Sie müssen die Medien in der kontrollierten Umgebung für beste Ergebnisse (konstante Temperatur/Luftfeuchtigkeit, schwaches Licht usw.) speichern.). Ansonsten verkürzt sich die Medienlebensdauer erheblich.

3. Sie müssen die Hardware und Software pflegen, die die Medien liest (z. B. sind SATA-Schnittstellen in 30 Jahren möglicherweise nicht mehr ohne weiteres verfügbar).

Meiner Meinung nach ist die einzige praktikable Lösung für Heimanwender oder kleine Unternehmen dieser:

1. Verwalten Sie mehrere Kopien aller Daten auf verschiedenen Datentypen (sowohl Festplatten als auch DVDs)
2. Verwalten Sie mehrere Kopien aller Daten an mehreren Orten (zu Hause und im Safe Ihrer Bank).
3. Kopieren Sie alle Daten immer wieder auf neue Medien (z. B. alle 2 Jahre auf eine neue Festplatte und neue DVDs kopieren. Wenn die Datendichte zunimmt, benötigen Sie wahrscheinlich auch weniger Festplatten.
4. Bewahren Sie nach Möglichkeit Papierkopien für alle kritischen Daten auf (z. B. Drucken Sie diese aus jährliche allgemeine ledger für ihr unternehmen, drucken wertvollsten familienfotos, etc.)

Ich würde Mikrofilm gehen. Ich weiß nicht, ob es noch hergestellt, aber ich wäre überrascht, wenn er es nicht war. Silber-based negative letzten hundert Jahre, wenn gespeichert richtig. Natürlich ist das eine große Investition und wird einen ganzen Raum für Fotografie und Betrachtung einnehmen, und das zählt nicht Lagerung. Das ist also nur, wenn Sie wirklich 100 Jahre+ ohne Wartung meinen.

Wenn nicht - und wahrscheinlich sind Sie es nicht, es sei denn, Sie möchten eine Zeitkapsel erstellen -, verwenden Sie einfach HDD-Backups und kopieren Sie das Ganze stuff über neue Medien in alle 10-15 Jahre. Wirklich, es gibt keine bessere Versicherung gegen die Alterung des Mediums, als das Ganze über alle 10 Jahre oder so zu kopieren. Besser als Mikrofilm, besser als Tontafeln, besser als Steinobelisken, die im Wüstensand vergraben sind.

Bis zu 5 TB (oder mehr?) sie können bis zu 30 Jahre sicher auf einem Magnetband aka Bandlaufwerk speichern. Diese Zeit ist bewiesen. Blue-ray recordables sicher speichern Sie Ihre Sachen bis zu 30 Jahren auch, aber es ist kapazität ist um 100 GB.

Wenn Sie mehr Geld haben, würden Sie es auf schwarz/weiß 35mm Film speichern. Es wird angenommen, dass Daten (abhängig von der Dichte) für die nächsten 700 Jahre wiederhergestellt werden können. (Deutscher Link zu Wikipedia)

Ich empfehle eine Nickelscheibe mit einem Durchmesser von drei Zoll, deren Informationen mikroskopisch auf ihre Oberfläche geätzt sind.

Http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/

Für diese Art von Zeitspanne ist alles, was sich bereits auf Papier befindet (oder leicht gedruckt werden kann, ohne Informationen zu verlieren), am besten in dieser Form zu speichern. Achten Sie nur auf das Papier und den Toner, den Sie für die Hardcopy verwenden.

Wie für andere kenne ich kein aktuell verwendetes digitales Medium, das für diese Zeiträume dauern würde. Wenn Sie Zeit (und damit Geld) damit verbringen, Ihre Sammlung aufzufrischen, ist ein Magnetband möglicherweise eine praktikable Option - aber selbst dann benötigen Sie eine gewisse Redundanz, da sie können nur herausfinden, dass ein einzelnes Band schlecht geworden ist (oder es könnte sein, dass das Bandlaufwerk nur zufällig das Band beim Lesen manipuliert).

Und selbst wenn Sie die tatsächlichen Medien dazu bringen können, den Test der Zeit zu bestehen, würden Sie immer noch mit der Frage konfrontiert sein, ob ein Programm die Medien in 30 Jahren lesen könnte, geschweige denn in 100 Jahren.

Es stimmt, dass gängige CD-Rs und DVD-Rs nicht zuverlässig genug sind, um wichtige Daten zu archivieren. Aber Sie können DVDs bekommen, die nicht so schnell zerfallen:

Https://www.google.com/search?q=archival+dvd-r -

Habe ich gelesen, dass "M-Disc" - erstellt eine DVD, welche einen besonderen Schriftsteller noch lesbar ist auf generische DVD-Leser. Sie behaupten eine schätzbare Lebensdauer von 1000 Jahren und behaupten, dass sie nicht genau getestet werden kann. Lange exposition gegenüber der sonne, kratzer, mehrere nutzung etc und die disc ist 100% verwendbar. Ich wäre an Feedback von jedem interessiert, der auf dieses System gestoßen ist.

Hier ist ein Auszug von Dell, die vielleicht die Installation der M-Disc-Laufwerk in ihren neuen Laptops/Pcs

M-DISC Ready treibt Laserätzdaten in ein anorganisches gesteinsähnliches Material ein, um Datenverlust zu vermeiden und sicherzustellen, dass Ihre Dateien sicher sind und bis zu 1000 Jahre gespeichert werden können, behauptet das Unternehmen.

Im Gegensatz zu allen anderen beschreibbaren DVDs, die organische Farbstoffe verwenden, um Daten zu speichern, werden M-Discs mit der Zeit nicht verblassen oder abgebaut.

Sie müssen verschiedene Technologien, Orte und Medien mischen, um eine lange Lebensdauer Backups zu erreichen:

• Brennen auf DVD-Bluray mit niedriger Geschwindigkeit. Halten Sie sie bei schwachem Licht, niedriger Temperatur, niedriger Luftfeuchtigkeit, frei von Kratzern.
• Bewahre eine Kopie in einer RAID 1, Raid5, Raid6 oder Raid10 Einheit auf.
• Bewahren Sie eine weitere Kopie auf einer externen Festplatte auf
• Bewahren Sie eine Kopie in der cloud (carbonite, crashplan)
• Halten Sie eine Kopie auf M-Disc-Technologie( Mdiscs und Mdisc Brenner) sind nicht verfügbar unter Amazon.com zu sehr guten Preisen. Hersteller gibt an, dass sie Daten für 1000 Jahre halten können.

Wie bereits erwähnt, gibt es eine neue Technologie namens M-Disc. Sie sind sehr zuverlässig: http://www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ Wir haben begonnen, sie zum Sichern von Images von Festplatten von Produktionsmaschinen zu verwenden. Es gibt bereits Blu-Rays auf dem Markt. Einzige Nachteil ist, dass Sie langsamer sind als klassische B-RDs.

Wenn Sie eine Methode zur Lösung dieses Problems haben möchten, sollten Sie das Feld Digital Presevation studieren.

Http://en.wikipedia.org/wiki/Digital_preservation

Digitale Konservierung ist die Methode, digitales Material am Leben zu erhalten, damit es nutzbar bleibt, da technologische Fortschritte die ursprüngliche Hardware - und Softwarespezifikation überflüssig machen (Wikipedia)

Es gibt auch ein Referenzmodell: OAIS http://en.wikipedia.org/wiki/Open_Archival_Information_System

Es gibt einige Open Source und kommerzielle Lösungen, um es zu multiplizieren. Bibliotheken und Archive nutzen diese Technologien, um digitalisierte Bücher über einen längeren Zeitraum aufzubewahren.

Ihre Antwort ist einfach:

Https://wiki.openstack.org/wiki/Cinder

Openstack ist ein System eines nahezu "unsterblichen" Speichers, da Sie Fehlerknoten auch mit uns unbekannten Zukunftstechnologien aktualisieren oder durch neue ersetzen können. Ihre Daten leben mindestens 2, bis zu 5 stellen gleichzeitig in diesem system, so komplette speicher notizen können fehlschlagen und sie daten ist immer noch vorhanden. Skalen bis 50 PB (verifiziert) - 110 PB. Grundsätzlich fügt es eine SW-Ebene auf Ihrer Hardware hinzu und dies macht Ihren Speicher unendlich lebendig. Es überwindet unsere aktuelle Schallmauer von Raid-Sets mit seinen Einschränkungen der Wiederaufbauzeiten von sehr großen Raid-Sets. Die Kosten betragen etwa 50% der herkömmlichen Raid-Speichersysteme. Ich kenne ein System von FUJITSU, das dies als Referenzarchitektur aufweist: CD10000

Praktische Langzeitdatenspeicherung mit der aktuellen Technologie des Jahres 2014:

...und genau das mache ich.

Holen Sie sich zwei der Multi-Terabyte-Laufwerke, zum Beispiel zwei Laufwerke mit je 3 Terabyte. Rufen Sie eine TB-1 und die andere TB-2 an. Sichern Sie alles auf TB-1. Nach einem Jahr Sicherung auf TB-1 formatieren Sie TB-2 neu und kopieren Sie TB-1 auf TB-2. Dann für das nächste Jahr, sichern Sie alles auf TB-2. Nach diesem Jahr formatieren Sie TB-1 neu und kopieren TB-2 in TB-1, wodurch der zweijährige Zyklus beginnt wieder.

Die Neuformatierung stellt die magnetische Stärke der Sektormarkierungen wieder her. Und das Kopieren stellt die magnetische Stärke der Daten wieder her.

Das gleiche Prinzip kann auf Bandsicherung und CD-Sicherung oder auf die meisten anderen Sicherungen angewendet werden. Aber CDs sind so unbequem, weil sie in weniger als einem Jahr schlecht werden können, und Sie brauchen so viele von ihnen, um alles zu sichern. Das Brennen von Kopien aller Backup-CDs alle 5 Monate ist also einfach zu viel Arbeit. Bisher kann ich mein ganzes Leben auf einem speichern multi-terabyte-Festplatte.