CwCity Board >>> Allgemeines >>> Support >>> ftp Backups nicht durchgehend möglich
ftp Backups nicht durchgehend möglich

Seiten: 1
Ratgeber
Verfasst am: 14.06.2015 um: 10:43 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 10010
SPAM:
0% Spam
Hallo zusammen,
Meine Seite enthält "ein paar mehr Dateien" (> 8.000) . Da ich relativ selten Backups ziehe, stelle ich nun fest, dass die Verbindung nach 300 .. mit sehr viel Glück nach 800 Dateien .. vom Server unterbrochen wird.

Nach der "üblichen Sperrfrist" kann ioch dann endlich weiter downloaden lassen.
Das bedeutet, dass ich im Endeffekt das Backup mindestens 10 Mal fortsetzen lasen muss = sehr viele Stunden sind für den Download nötig. Das aktuelle Backup versuche ich nun schon seit 00:36 Uhr abzuschließen und habe dabei gerade einmal 6.000 Dateien ofline geholt.

Da ich kein Neuling mehr bin, kenne ich einige der Gründe für das serverseitige Trennen der Verbindung. Mein ftp-Programm ist darauf aber bereits seit Jahren angepasst.

Technische Daten:
FTP-Programm: Filezilla
Verbindungsart: verschlüsselt
Gleichzeitige Streams: 1
Tempo: Keine Begrenzung (habe eine 16.000er Leitung)
Abbruch erfolgt schneller, je kleiner die einzelnen Dateien sind

Habt ihr eine Idee, was ich da noch optimieren könnte ?
(evtl. hat es ja auch mit dem verschlüsselten Download zu tun ? )


 
Ratgeber---Forum.de ---- Partnerseiten ------ Halle der Ehre ----- zum Forum ---- Ratgeber---Forum.Net ----- Das Ende des Internets
----> Interessante andere Seiten --> Toromino.de 


 



consider
Verfasst am: 14.06.2015 um: 13:01 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 7217
SPAM:
0% Spam
Hallo,

ich empfehle nur geänderte Dateien zu übertragen. Damit würdest du vermutlich die Dauer extrem einschränken und viel öfter, zB täglich, Backups durchführen können.

Tool meiner Wahl ist dabei rsync. Ehe ich hier Romane schreibe, hier ein Artikel über die Möglichkeiten.

www.linux-magazin.de/Ausgaben/2007/...

rsync benötigt eine RSH oder SSH-Schell. Eine FTP-Verbindung muss also ins lokale Dateisystem eingebunden werden. Mit fuse und curlftps machbar.

Vorteile: Es wird immer nur heruntergeladen, was sich auch wirklich geändert hat, somit ist auch ein tägliches Script möglich. Es passiert ja nichts, wenn sich nichts geändert hat.

Nachteil: Konfigurationsaufwand. Die hier beschriebenen Tools sind ursprünglich aus der Linuxwelt. Rsync ist allerdings mittlerweile auch für Windows zu haben. Das Einbinden von FTP als Freigabe sollte auch gehen. Hier müsste man mal noch nach Verschlüsselung gucken.



Letzte Änderung am: 14.06.2015 um: 13:21 Uhr durch: consider
 

a-kuller
Verfasst am: 14.06.2015 um: 13:56 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 4111
SPAM:
0% Spam
Lass dir doch alles mit php in ein Archiv packen und lade es dann via http runter ... warum schwer wenn es einfach geht

Mit freundlichen Grüßen

A. Kuller

bzw. UNO-Verbund

Keine Schuld ist dringender, als die, Dank zu sagen.
Cicero

 

Ratgeber
Verfasst am: 14.06.2015 um: 15:24 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 10010
SPAM:
0% Spam
Inkreminelle Backups sind nicht das was ich möchte, weil:
verliere ich eins der Backups oder ist es beschädigt, kann ich die Seite später nicht mehr wiederherstellen.  Dises Vollbackup ziehe ich nur rund alle 6 Monate. Zuvor sichere ich natürlich die DB auf den Server, damit ich alles in einem downloaden kann.

Ein "Differenzbackup" der Datenbank scheidet aus, da sie in dieser Zeit immer wieder (unkomprimiert) um 50% an Daten zulegt. Allein der Abgleich was zu ermitteln wäre, würde zu den gleichen DB-Timeouts führen wie sie aktuell schon beim einfachen Backup per mysqldumper auftreten.
Zugleich wäre ich eigentlich bei diesen Teil-Backups auch imemr auf eine bestimmte Software angewiesen , um sie wieder zusammensetzen zu können.

Für regelmäßige Backups kann ich Cronjpbs aus dem WBB starten. Aber auch manuell angestoßene Backups laufen viele Minuten lang durch.

-------
Es handelt sich um ein Vollbackup der Seite inkl. Forensystem und Datenbank. (DB ist schon komprimiert, bevor ich es herunter lade. Danach lösche ich die Kopie vom Webspace wieder)

Um das alles komprimieren zu lassen, muss es zuvor erst kopiert und dann erst komprimiert werden. Ein laufendes System lässt sich nicht so schnell komprimieren, da es ja währenddessen variabel weiter läuft.
Das bedeutet also, dass zunächst einmal viel Rechenpower des Webspaces belegt werden muss. 

Ich "fahre" die Seite zu manchen Zeiten schon im Grenzbereich. Solche Zusatzbelastungen würde der Webspace-RAM nicht mitmachen. Ein einfacher Download des Webspaces muss schliepßlich auch ohne Zusatzaufwendungen möglich sein.

.....

Während ich das schrieb habe ich geduldig 7 Sperren für die letzten 1.000 Dateien abwarten müssen. FTP wurde immer wieder geschlossen.
Jetzt habe ich es endlich fertig .. ein Backup das faktisch auf dem Datenstand von gestern ist.

Beim nächsten Mal werde ich es ohne Verschlüsselung probieren. Vielleicht ist dieser "Vor-Server" einfach der Grund für das dauernde Unterbrechen.


 
Ratgeber---Forum.de ---- Partnerseiten ------ Halle der Ehre ----- zum Forum ---- Ratgeber---Forum.Net ----- Das Ende des Internets
----> Interessante andere Seiten --> Toromino.de 


 

consider
Verfasst am: 14.06.2015 um: 15:30 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 7217
SPAM:
0% Spam
Das ist kein inkrementelles Backup, denn du hast immer ein Vollbackup deiner Seite. Es wird lediglich beim Vollbackup nicht heruntergeladen, was gleich geblieben ist. Ansonsten ist das Ganze gespiegelt. Das Ergebnis ist ein 1:1 Mirror.


Edit: Im Übrigen bricht die Verbindung bei gemountetem FTP-Verzeichins und per rsync nicht mehr ab. Ich habe soeben in etwas mehr als einer Stunde ca 7000 Dateien gesynct. Fehlerfrei.




Letzte Änderung am: 14.06.2015 um: 15:36 Uhr durch: consider
 

Ratgeber
Verfasst am: 14.06.2015 um: 16:22 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 10010
SPAM:
0% Spam
Ich habe gerade auch mal einen Testdurchlauf gemacht: rund 1.500 Dateien ohne Abbruch .. also bedeutend problemloser als zuvor
ABER.. diesmal habe ich es unverschlüsselt gemacht, was meine Vermutung bestätigt, dass es wohl an der Verschlüsselung (bzw dem für die Verschlüsselung zuständigen Server liegt)



 
Ratgeber---Forum.de ---- Partnerseiten ------ Halle der Ehre ----- zum Forum ---- Ratgeber---Forum.Net ----- Das Ende des Internets
----> Interessante andere Seiten --> Toromino.de 


 

consider
Verfasst am: 14.06.2015 um: 16:34 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 7217
SPAM:
0% Spam
Ich mache gerade noch mal einen Testlauf:

FTP-Verzeichnis von CWCity mit curlftpfs und verschlüsselt eingebunden
Per rsync ein Komplett-Backup, da der lokale Ordner noch leer ist.
Angefangen habe ich um 15:45. Läuft noch ohne Abbruch oder Fehler bisher.

Ich editiere das Ergebnis hier rein.

Edit: Hat etwas länger gedauert, da ich eine Fehler bei meinen lokalen Berechtigungen hatte und einige Dateien dadurch nicht ordentlich gesynct wurden. Der erste Durchlauf war 17:00 also nach 1 1/4 Stunde fertig. 

Nach Korrektur der Berechtigungen musste ich also noch mal starten, alles prüfen lassen und die zuvor fehlerhaften Dateien noch synchronisieren. Diese Verzögerung lag aber weder am FTP-Server noch an rsync, sondern an mir selbst.

Hier die Stats nach dem Zweiten druchlauf:

5706 Files
1350 Dirctories
249 Files beim zweiten Durchlauf
Der Rest logischerweise beim ersten, die liefen also fehlerfrei durch

i.imgur.com/WptZNkj.png

Im Grunde kannst du damit also in etwas über ner Stunde durch sein. 

Ab dem Moment ist das dann ne Sache von ner Viertelstunde zum check, was neu ist und syncen. Das dauert nur beim ersten mal so lange.

ICh denke also nicht, dass es am FTP-Server oder an der Verschlüsselung liegt. Es geht ja offensichtlich mit "meinen" Tools. Möglicherweise dann doch nochmal an den Einstellungen des FTP-Programmes feilen.



Letzte Änderung am: 14.06.2015 um: 17:37 Uhr durch: consider
 

parazone
Verfasst am: 14.06.2015 um: 22:38 Uhr
 
Cw Anfänger
Anfänger
Beiträge: 27
SPAM:
0% Spam
Es gibt Scripte, die den ganzen Webspace packen, um ihn zu sichern.

Vielleicht wäre hier so ein Script sinnvoll?

 

Gartenjung
Verfasst am: 16.06.2015 um: 01:24 Uhr
 
Cw's Alleinunterhalter
Alleinunterhalter
Beiträge: 374
SPAM:
0% Spam
Anfangs hatte ich die gleichen Probleme wie Ratgeber, viele Versuche mir zu helfen schlugen fehl. Da ich selber Filezilla nutze, kommt mir alles sehr bekannt vor, kein Backup welches von Anfang bis Ende reibungslos durchlief. Ständig wurde die Verbindung unterbrochen und man musste von vorn anfangen. Umgehen konnte ich das Problem nur, wenn ich nach dem Abbruch der Verbindung meinen Router eine neue Verbindung herstellen ließ, dann lief der Kopiervorgang in Filezilla weiter.

Bis heute wurde Filezilla des öfteren mit einen Update versehen und jetzt klappt es plötzlich ohne Probleme. Die einzigen Änderungen, die ich vorgenommen hatte, die Verbindungen auf 1 gestellt und "Wenn verfügbar FTP über TLS verwenden". Nach einer gewissen Zeit läuft der Kopiervorgang wie mit den schon genannten Problemen ab, mit dem Unterschied, dass ich nicht eingreifen muss und Filezilla die Verbindung selber wiederherstellt und die Warteschlange weiter abarbeitet.

Mit freundlichen Gruss der Gartenjung

Gartenjung die Natur Life erleben
Wenn du zu deinem Problem keine Lösung findest, dann ändere dein Problem.
 

Ratgeber
Verfasst am: 16.06.2015 um: 04:06 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 10010
SPAM:
0% Spam
ok, so ein Script scheint also durchaus sinnvoll zu sein. Da muss ich also mal nachsehen, wie das geht.. aber es soll eben immer ein komplettes Backup ziehen.

Die Einstellung "falls möglich" ist (sicherheitstechnisch) russisches Roulette.
Eine Software sollte nicht entscheiden können, ob eine sichere Übertragung erfolgt oder nicht. Das sollte der Nutzer machen.
Sonst: Bricht verschlüsselt ab, schaltet das FTP-Programm auf unverschlüsselt um .. dann weiß man nie, auf wleche Art die Daten durch das Netz gerauscht sind.

Da ich ein Forensystem nutze, kann ich faktisch ganz gezielt sicherheitskritische Daten verschlüssekt abrufen und den allgemeinen Bereich (der sowieso im Netz sichtbar ist/wird) unverschlüsselt übertragen lassen. Das bedeutet aber einen Zusatzaufwand den ich nicht manuell leisten will.

Für mich muss eine Übertragung durchgehend laufen, damit ich weiß "fertig ist fertig". Der Rechner soll sich nicht Stunden später immer wieder neu und selbst einwählen. .. sonst besteht immer die Gefahr, dass man nicht mitbekommt, wenn Trojaner am Werk sind, weil Hintergrundsendungen "ganz normal sind".
"Mein PC ist völlig sicher" , ist eben immer noch eher Wunschdenken als Realität . Es gibt nur eine Sicherheit: "Alle Lebewesen müssen sterben" , der Rest ist unsicher


 
Ratgeber---Forum.de ---- Partnerseiten ------ Halle der Ehre ----- zum Forum ---- Ratgeber---Forum.Net ----- Das Ende des Internets
----> Interessante andere Seiten --> Toromino.de 


 

 
Seiten: 1

Folgende User sind hier gerade aktiv:
-

ANZEIGE