10th C3kcom Weekly Report

Diese Woche war geprägt durch einige Umstellungen an allen drei Club3k Servern. Hier nun einige Details dazu.

Fortschritt

Am Communityserver ist die meiste Arbeit angefallen denn dort liegen auch alle Images die von Usern raufgeladen worden sind und das sind immerhin mehrere Millionen Dateien die ca 21GB belegen. Deshalb haben wir einiges umstellen müssen damit auch vernünftige Backups davon möglich sind. Außerdem hat sich damit die Gelegenheit ergeben die neueste Debian Version zu verwenden.

Am Chatserver waren auch Hardwareumbauten geplant aber leider hat die Zeit dafür nicht ausgereicht. Das wird dann irgendwann nachgeholt.

Die kritischen Teile der Umstellung sind soweit fertig es fehlten nur noch einige Applikationen also wird Club3k.at bis am Abend wieder laufen.

Hardcore - LVM

Von so vielen kleinen Dateien ein Backup zu machen und das noch möglichst konsistent mit dem Inhalt der Datenbank ist sehr schwierig weil ein einfaches tar davon mehrere Stunden benötigen würde. In dieser Zeit müsste man die Community vollständig abschalten damit sich der Datenbestand nicht ändert. Das ist natürlich in der Praxis nicht möglich. Eine Alternative dazu ist es die Images per rsync zu spiegeln und jede Nacht nur die Änderungen zu ermitteln. Bei dieser Menge an Bildern kann man dabei aber sicher immer noch mit 15min rechnen.

Die Lösung für die wir uns entschieden haben ermöglicht es uns, dass wir die Community und Datenbank für weniger als 1 Minute anhalten müssen. Egal ob es jetzt 1GB oder 100GB an Daten sind. So etwas schafft man mit Filesystem Snapshots. Dabei lockt man zuerst ein Filesystem und erzeugt dann davon einen Snapshot. Das benötigt nur wenige Sekunden weil dabei nicht die Daten sondern nur die Inodes aller Dateien kopiert werden. Anschließend kann man das Lock aufheben und alles weiterlaufen lassen. Nun mounted man diesen Snapshot und hat genau das Filesystem vor sich wie es zum Zeitpunkt der Erstellung ausgesehen hat. Also kann man jetzt mit tar oder rsync die Dateien aus dem Snapshot wegsichern während die Community läuft.

Club3k, Hardware : Read more : comments (0) : 08.06.2007 08:34

Comments

no comments

New Comment


(optional)