Zum Inhalt springen
Ultraleicht Trekking

fotos wiederfinden - wie macht ihr das?


Gast

Empfohlene Beiträge

vor 22 Stunden schrieb Jever:

Zu zeitaufwendig. Ein volles Backup meiner Bilddaten dauert auch mit Gigabitnetzwerk 10 Stunden (70 MB/Sekunde). Bei meiner derzeitigen Verbindung mit 2MB/Sek Upstream käme ich auf rund 350 Stunden Laufzeit für ein Onlinebackup. 15 Tage am Stück den Rechner laufen lassen möchte ich nur ungern.

Für die gesparten 5 Euro/Monat kaufe ich mir dann lieber alle zwei Jahre eine neue Festplatte.

Du hast ja nur den einmaligen Initialaufwand. Danach lädst du ja nur noch die Dateien hoch, die sich geändert haben oder die neu hinzukommen. Das dauert dann meist auch nicht lange.

Mein System sieht folgendermaßen aus:

  • Auf meinem Rechner habe ich in einem Raid 1 die Bilddateien gespeichern.
  • Auf einem Externen NAS wird das dann gespiegelt.
  • Das Backup auf dem NAS spiegelt sich dann nochmal auf eine Dropbox oder Google Drive.

So habe ich meine Dateien auch noch, wenn die Bude abfackelt. Da nur geänderte oder neue Dateien synchronisiert werden ist das Datenvolumen absolut verträglich. (Zumal es bei uns mittlerweile Gigabit Up- und Downstream für nen schmalen Taler gibt)

@wanderrentner Ich hoffe, dass du möglichst bald die meisten Daten wiederfindest.

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 21 Minuten schrieb Dennis:

Du hast ja nur den einmaligen Initialaufwand. Danach lädst du ja nur noch die Dateien hoch, die sich geändert haben oder die neu hinzukommen. Das dauert dann meist auch nicht lange.

Ich habe testweise einige dieser dateibasierten Backupsysteme ausprobiert, und keines war in der Lage, innerhalb von 2-3 Stunden den Inhalt meiner lokalen Datenplatte (2.5 TB, 120k Bilddateien sowie 120k "Changelogdateien") mit einem über das Netz verbundenen Backupserver zu vergleichen, geschweige denn anschließend noch die Differenzen auszugleichen.

Bevor wir also hier die Backupmethoden diskutieren, sollte abgeklärt werden, um welche Datenmengen udn um wieviele Dateien wir hier reden. Es macht geschwindikeitstechnisch bereits einen großen Unterschied, ob eine 1GB-Datei oder 1000 1MB-Files abgeglichen werden müssen, und die Anforderungen sind komplett anderer Natur, wenn wir einerseits von 50GB Datenvolumen oder 2-3 TB reden.

Wie stellst Du bei deiner Methode zudem sicher, daß nicht eine ungewollte Änderung zu spät erkannt und über das Netz repliziert wird? Hier reicht ein lokales Löschen eventuell bereits aus (Virus, Trojaner), um ein Löschen der Datei auf dem Server auszulösen (1:1 Spiegelung der Dateien), oder durch Ransomware werden die lokalen Dateien modifiziert, anschließend fehlerhaft auf den Server kopiert und so beide Datenbestände zerstört.

Bei meiner Methode (wöchentliches differentielles Backup, die letzten 10 Versionen behalte ich) verfüge ich über eine Datenhistory der letzten 2 Monate, was mir ausreichend Zeit gibt, etwaige Fehler zu finden und zu korrigieren. Als "Last Line of Defense" besitze ich zudem über ein Backup, welches offline gelagert wird und nicht älter als 2 Monate ist, so daß sich ein etwaiger Schaden in Grenzen hält.

Bezüglich Netzzugang: nicht jeder sitzt in einer Gegend, in der er preiswert an eine unlimitierte 1GB-Verbindung herankommt, welche diese Geschwindigkeit im Upstream bietet. Bei mir würde ein solches Upgrade Zusatzkosten von 600 CHF/Jahr verursachen (Onlinespiecherkosten noch nicht inbegriffen), die ich dann doch lieber in lokale Hardware investiere. Sobald ich Panik bezüglich Feuer bekommen sollte, wandert der Server eben in den Luftschutzbunker im Keller.

 

Bearbeitet von Jever
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 17 Minuten schrieb Jever:

Wie stellst Du bei deiner Methode zudem sicher, daß nicht eine ungewollte Änderung zu spät erkannt und über das Netz repliziert wird? Hier reicht ein lokales Löschen eventuell bereits aus (Virus, Trojaner), um  ein Löschen auf dem Server auszulösen, oder durch Ransomware werden die Dateien modifiziert und anschließend fehlerhaft auf den Server kopiert.

Bei meiner Methode (wöchentliches differentielles Backup, die letzten 10 Versionen behalte ich) verfüge ich über eine Datenhistory der letzten 2 Monate, was mir ausreichend Zeit gibt, etwaige Fehler zu finden und zu korrigieren. Als "Last Line of Defense" besitze ich zudem über ein Backup, welches offline gelagert wird und nicht älter als 2 Monate ist, so daß sich ein etwaiger Schaden in Grenzen hält.

Bei meinem NAS kann ich die Dateiversionionierung im Prinzip so lange laufen lassen, wie ich Speicherplatz habe. Bei Dropbox beträgt der Versionsverlauf 30 bis 120 Tage (Je nach Version).

 

vor 17 Minuten schrieb Jever:

Bevor wir also hier die Backupmethoden diskutieren, sollte abgeklärt werden, um welche Datenmengen udn um wieviele Dateien wir hier reden. Es macht geschwindikeitstechnisch bereits einen großen Unterschied, ob eine 1GB-Datei oder 1000 1MB-Files abgeglichen werden müssen.

Mein Backup liegt aktuell bei ca. 3,5TB. Es sind ein paar größere Dateien im Gigabyte Bereich dabei, aber auch viele kleine Dateien (Hundertausende PHP-Files von Kunden usw.). Ich habe da (zumindest bei Dropbox) bis jetzt keine Probleme festgestellt. Aber vielleicht haben wir tatsächlich zu unterschiedliche Szenarien. Im Laufe das Jahres will ich meine Netzwerkstruktur so umbauen, dass ich Global und auch über Mobilfunk auf alles zugreifen kann. Mal sehen ob ich mit einer schwächeren Leitung evtl. ähnliche Probleme bekomme.

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 2 Stunden schrieb Jever:

Ich habe testweise einige dieser dateibasierten Backupsysteme ausprobiert, und keines war in der Lage, innerhalb von 2-3 Stunden den Inhalt meiner lokalen Datenplatte (2.5 TB, 120k Bilddateien sowie 120k "Changelogdateien") mit einem über das Netz verbundenen Backupserver zu vergleichen, geschweige denn anschließend noch die Differenzen auszugleichen.

 

komisch, treibe mich öfters mal auf https://www.reddit.com/r/DataHoarder/ rum und da sind einige Leute mit weitaus größeren Datenmengen als du die diese Probleme nicht haben. Welche Software hattest du den damals ausprobiert und wie lange ist das her?

vor 2 Stunden schrieb Jever:

Wie stellst Du bei deiner Methode zudem sicher, daß nicht eine ungewollte Änderung zu spät erkannt und über das Netz repliziert wird? Hier reicht ein lokales Löschen eventuell bereits aus (Virus, Trojaner), um ein Löschen der Datei auf dem Server auszulösen (1:1 Spiegelung der Dateien), oder durch Ransomware werden die lokalen Dateien modifiziert, anschließend fehlerhaft auf den Server kopiert und so beide Datenbestände zerstört.

Bei meiner Methode (wöchentliches differentielles Backup, die letzten 10 Versionen behalte ich) verfüge ich über eine Datenhistory der letzten 2 Monate, was mir ausreichend Zeit gibt, etwaige Fehler zu finden und zu korrigieren. Als "Last Line of Defense" besitze ich zudem über ein Backup, welches offline gelagert wird und nicht älter als 2 Monate ist, so daß sich ein etwaiger Schaden in Grenzen hält.

Alle großen Backup-Firmen bieten schon immer eigentlich mindestens 30 Tage Versionshistory von Dateien an, also falls diese geändert/gelöscht wurden kann man sie wiederherstellen.

Ich mein ja klar ist auch bei den normalen online backuplösungen nicht alles perfekt (pc wird lahm wenn gescannt wird, teilweise nur bei teuren Services Einbindung von NAS/shared drives, teils echt grottige UIs, teils keine/schlechte Linux EInbindung, falls man nur einzelne Dateien wiederherstellen muss kann es als ein bisschen nervig sein diese richtig auszuwählen etc.) aber du folgst ja nichtmal dem 3-2-1 Prinzip, ich mein es ist ja ok wenn deine Lösung für dich persönlich perfekt ist, aber hier andere Lösungsansetze madig reden zu wollen ohne wirklich Ahnung davon zu haben finde ich echt nicht so toll.

 

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 2 Stunden schrieb Jever:

Oder der Auto schreibt in einer Weise, die Fehlschlüße  provozieren.

Welches Auto? Welche Fehlschlüsse?

Verstehe nur Bahnhof… ;-)

Aber vielleicht ist einfach schon die Zeit gekommen auch diesen Faden hier zu schließen, nach dem das wichtige zum Thema ja bereits ausgetauscht wurde.

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 2 Stunden schrieb Gonathras:

komisch, treibe mich öfters mal auf https://www.reddit.com/r/DataHoarder/ rum und da sind einige Leute mit weitaus größeren Datenmengen als du die diese Probleme nicht haben. Welche Software hattest du den damals ausprobiert und wie lange ist das her?

 

Puha, die Details rauskramen würde dauern, Aber sicher getestet:

Cobian Backup (Filebasiert). Zu lange Laufzeit, um sich sich durch die vielen kleinen Dateien zu arbeiten. Meist war der Check, was sich geändert hatte und was nicht noch nicht einmal bei 30% angelangt, bevor ich eigentlich den Rechner ausschalten wollte.

Ein kommandozeilenbasiertes Backup, welches auf der NAS angesiedelt war. Angesehen von der Geschwindigkeit hatte ich zudem Probleme, das Backup dann anzuwerfen wenn der Main Rechner online kam.

StorageCraft ShadowProtect: Imagebasiert, kann Partitionen kopieren. Obwohl es laut Anleitung/Doku schnell sein soll, kam ich auch nach zig Anläufen auf mickrige Datendurchsätze von 10-20 MB/Sekunde. Zu lange Laufdauer, daher raus.

Danach kam AOMEI Backup an die Reihe, und das lieferte die gewünschten Resultate. Ich habe mir jetzt einfach mal eine Lizenz gekauft (40 USD oder so) und seitdem läuft alles.

 

@Dennis: 2.5 TB sind ja nur die Bilder. Insgesamt habe ich aber mehr, weswegen ich - Hauptkiste und NAS zusammengerechnet auf etwa grob 24 TB Speicherplatz komme, der für Daten, Programme, Datenbanken und Backup reserviert ist. Derzeitig ersetze ich so langsam Stück für Stück die kleinen Platten und werfe demnächst die letzte 3TB Platte raus, die noch irgendwo drin steckt.

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 3 Stunden schrieb Gonathras:

aber du folgst ja nichtmal dem 3-2-1 Prinzip, ich mein es ist ja ok wenn deine Lösung für dich persönlich perfekt ist, aber hier andere Lösungsansetze madig reden zu wollen ohne wirklich Ahnung davon zu haben finde ich echt nicht so toll.

 

Rechne bitte noch einmal nach, und lies zuvor  hier, bevor Du mir Unwissenheit vorwirfst.

3: "Drei Kopien bedeutet, dass zusätzlich zu den primären Daten mindestens zwei weitere Backups vorhanden sein sollten."

2: "Aus diesem Grund besagt die 3-2-1-Regel, dass Sie Kopien Ihrer Daten auf mindestens zwei unterschiedlichen Speichertypen aufbewahren sollten"

1: "Von entscheidender Bedeutung ist es, die Kopien physisch voneinander getrennt aufzubewahren. Es ist nicht empfehlenswert, das externe Speichergerät in dem Raum aufzubewahren"

Ich besitze 3 Kopien meiner Daten (Main, NAS, externe Platte), wobei auf der NAS 10 Versionen liegen, die Daten liegen auf drei unterschiedlichen Medien (die 2 sogar übererfüllt) und auch der letzte Punkt ist erfüllt.

Das Riskio mit dem Brand habe ich längst durchgerechnet, halte es aber für vernachlässigbar (einfach Brandstatistiken suchen).  Sollte ich mich in Zukunft dagegen entscheiden, landet die NAS im Luftschutzbunker. Der fackelt nicht ab und selbst der Einschlag eines Flugzeugs juckt den nicht - Schweizer Bauqualität.

Als relevant dagegen habe ich bei der Planung Stromschwankungen und -spitzen erachtet (Blitzschlag), weswegen die NAS per USV vom Stromnetz entkoppelt ist und zudem sich ein spezieller Überspannungsschutzadapter  im Netzkabel zwischen Main und NAS befindet. Nicht einmal ein Volltreffer wenn gerade beide Rechner laufen interessiert mich da.

Als letztes Übel kamen mir dann noch Trojaner/Ransomwareprobleme und sonstige Hackangriffe in den Sinn, weswegen meine NAS auf einem komplett entkoppelten internen Netzwerk liegt, welches nur über physikalischen Zugriff vom Main erreichbar ist. Zudem läuft ein Skript auf der NAS, welches die letzten relevanten Backups schreibschützt. Etwaige Ransomware muß also meinen Windowsrechner infizieren und dann noch schnell genug die NAS knacken und den Schreibschutz entfernen, damit auch das Backup geschreddert werden kann.

Selbst dann bleibt bzw. bleiben immer noch die externe Platten ohne Strom für den Standardkram sowie der Stapel CDs und DVDs, wo die wirklich wichtigen Daten auch noch gespeichert sind ( meine Doktorarbeit z.B.), und nur um das letzte rauszuholen liegen diese wirklich wichtigen Daten auch noch bei Google, Dropbox und auf dem Laptop in der Firma.

Sobald (wie ich jetzt seit ein paar Jahren hoffe) endlich holografische Speichermedien mit Quarzglas als Datenträger herauskommen, werde ich so etwas anschaffen.

 

 

Bearbeitet von Jever
Link zu diesem Kommentar
Auf anderen Seiten teilen

OT:

sollte man eigentlich in einem eigenen Topic diskutieren, echt OT mittlerweile

vor 14 Minuten schrieb Jever:

Ich besitze 3 Kopien meiner Daten (Main, NAS, externe Platte), wobei auf der NAS 10 Versionen liegen, die Daten liegen auf drei unterschiedlichen Medien (die 2 sogar übererfüllt) und auch der letzte Punkt ist erfüllt.

 

sorry aber jede definition von 3-2-1 die mir bisher untergekommen ist spezifiziert das "1" als offsite Backup, was bei dir eben nicht erfüllt ist.

Die Software die du getestet hast/nutzt kenne ich nicht genau, von daher schwer das zu beurteilen :/ Falls du dir da nochmal nen Ruck gibst schau dir wirklich mal die großen Bezahllösungen an, könnte mir vorstellen das du bessere Erfahrungen gemacht hättest!

Sicherst du da auch Geschäftsdaten? oder wirklich nur privates?

Und ich finde es echt faszinierend, du hast ganz klar Zeit und Geld in diese Ideen gesteckt,hast schon nen NAS und UPS etc. aber streubst dich so der "cloud". Würde dich ein eigener Server auf den du speicherst bzw halt ein Amazon S3 oder ähnliches wo du halt mehr Kontrolle hast und alles selbst einstellen kannst da umschwingen? (Liegt halt preislich weitaus höher als die normalen Backuplösungen :( )

 

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

  • 2 Wochen später...
Am 3/17/2017 at 17:51 schrieb Gonathras:

sorry aber jede definition von 3-2-1 die mir bisher untergekommen ist spezifiziert das "1" als offsite Backup, was bei dir eben nicht erfüllt ist.

Sicherst du da auch Geschäftsdaten? oder wirklich nur privates?

Und ich finde es echt faszinierend, du hast ganz klar Zeit und Geld in diese Ideen gesteckt,hast schon nen NAS und UPS etc. aber streubst dich so der "cloud". Würde dich ein eigener Server auf den du speicherst bzw halt ein Amazon S3 oder ähnliches wo du halt mehr Kontrolle hast und alles selbst einstellen kannst da umschwingen? (Liegt halt preislich weitaus höher als die normalen Backuplösungen :( )

 

 

Offsite werden nur die wirklich lebenswichtigsten Daten gespeichert - Doktorarbeit, Bewerbungen etc. Der Rest ist abgestuft mehr oder weniger wichtig und das Backup ist ebenfalls darauf abgestuft. Meine selbstgebrannten MP3s sichere ich z.B. gar nicht, die Original CDs liegen ein paar Räume weiter herum.

Das Risiko Brand gehe ich bei diesen Daten ein. Onlienlösungen sind dauerhafte Kostenfaktoren, die ich meide. ich kaufe lieber einmal Hardware anstelle mich mit immer mehr Abos eine Schleppe an Kosten einzufangen, die ich monatlich löhnen musss.

Die NAS dient nebenbei mir noch als Web- und Datenbankentwicklungsserver, was ich bei einer externen Lösung auch noch bezahlen müsste. Dann lieber lokales MySQL mit Python, PHP, einem eigenen Webserver und Backup, untergebracht in einem Energiespar PC (der Idle 11 Watt schluckt).

Und wie gesagt: bei einer spontanen Panikattacke wandert die NAS einfach in den Luftschutzkeller.

Link zu diesem Kommentar
Auf anderen Seiten teilen

  • 3 Jahre später...
Am 17.3.2017 um 17:51 schrieb Gonathras:

OT:

sollte man eigentlich in einem eigenen Topic diskutieren, echt OT mittlerweile

 

sorry aber jede definition von 3-2-1 die mir bisher untergekommen ist spezifiziert das "1" als offsite Backup, was bei dir eben nicht erfüllt ist.

Die Software die du getestet hast/nutzt kenne ich nicht genau, von daher schwer das zu beurteilen :/ Falls du dir da nochmal nen Ruck gibst schau dir wirklich mal die großen Bezahllösungen an, könnte mir vorstellen das du bessere Erfahrungen gemacht hättest!

Sicherst du da auch Geschäftsdaten? oder wirklich nur privates?

Und ich finde es echt faszinierend, du hast ganz klar Zeit und Geld in diese Ideen gesteckt,hast schon nen NAS und UPS etc. aber streubst dich so der "cloud". Würde dich ein eigener Server auf den du speicherst bzw halt ein Amazon S3 oder ähnliches wo du halt mehr Kontrolle hast und alles selbst einstellen kannst da umschwingen? (Liegt halt preislich weitaus höher als die normalen Backuplösungen :( )

 

 

Update:

Ich teste gerade idrive an. 5TB Platz kosten im ersten Jahr 4 USD, danach 62 USD/Jahr. Und es ist exakt so, wie ich es 2017 bereits erklärt habe: So ein Backup in die Cloud dauert. Auch wenn man selber über 6070 mbit Upstream verfügt (und die auch tatsächlich geliefert werden), komme ich auf etwa 30 mbit Upstream Peakleistung. Meist isses weniger. Liegt z.B. daran, dass Datei für Datei übertragen wird, und nicht z.B. Plattensektoren im Rohformat ausgelesen werden. Da dauert die Kommunikation zw. Server und Client eben recht lange.

De Fakto rödelt meine Kiste seit Sonntag, täglich, und läuft dabei rund 14 Stunden täglich. Bis jetzt sind 540 GB in der Cloud, 2 TB folgen noch... Ich hoffe, das geht nun schneller, denn nun sind die kleinen Steuerdatein und Minifiles oben und es werden die grösseren RAW-Dateien der Bilder kopiert, was schneller geht.

AOMEI mit einer 10GBit-Leitung nudelt sich durch die gleiche Datenmenge in etwa 6h durch.

Fazit: für Daten, die sich kaum ändern, ist Cloud ok, sofern man es abwarten kann, die Initialdatenmenge übers Netz zu schubsen. Für grössere Mengen an sich ständig ändernden Daten ist sie ungeeignet - ausser man kauft sich teuren Cloudspeicher im gleichen Land wo man wohnt und zahlt zudem für einen extrabreiten Zugang. Das Geld kann man aber auch in Datenträger investieren. Eine 6TB Platte kostet hier um die 110 Euro, ein Upgrade von 60mbit auf 10GBit 35 Euro/Monat zusätzlich. Dafür kann ich 3 Platten pro Jahr kaufen, diese einmal mit Daten füllen und dann auf Arbeit im Schrank oder unten im Luftschutzbunker lagern.....

Link zu diesem Kommentar
Auf anderen Seiten teilen

Deine Meinung

Du kannst jetzt schreiben und Dich später registrieren. Wenn Du ein Benutzerkonto hast, melde Dich bitte an, um mit Deinem Konto zu schreiben.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung jetzt entfernen

  Nur 75 Emojis sind erlaubt.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

×
×
  • Neu erstellen...