Pixelor

Okay, das wird es wohl auch nicht sein. Ich dachte da eher an den Umstieg von ext nach zfs oder btrfs. Bei einem ungenügend mit RAM bestückten Blech wäre das ein Grund. An den Inode-Einstellungen hast du sicherlich nichts geändert...

Was wird den bei iotop in den ersten Rängen angezeigt?

Das Tool kante ich bisher noch nicht ... und ich glaube, das hat mich einen Schritt weiter gebracht. Ich habe bisher immer iostat verwendet, und das hat bei den beiden Festplatte (sda und sdb) immer so 80% bis 100% Last angezeigt bei einem gleichzeitigen Datentransfer von nur 670 kByte/s.

iotop sagt nun bei einem Import Ähnliches über mysql ... aaaaaaber ganz oben findet sich konstant ein anderer Thead, nämlich folgender:

200 be/3 root 0.00 B/s 0.00 B/s 0.00 % 98.06 % [jbd2/md2-8]

jbd2 ist das »Journal« von ext4, welches hier offenbar extrem aktiv ist und zwar so sehr, dass es gleich die komplette Leistung mit runterzieht.

Da kann ich jetzt mal weiter forschen.

Oha, das kann eine Menge Ursachen haben. Könnte es ein Kernel-Problem sein? Gibt es da einen Patch? Oder ist das der gleiche wie bei dem anderen Server?

Dann können auch falsche HDD-Parameter gesetzt sein (hatte ich kürzlich bei den neuen Platten, was zu ewigen Spindowns der Platten geführt hatte). Und dabei hatte ich mit ionice zuerst an einer völlig falschen Stelle gebastelt. Kennst du hdparm? Aber mit Vorsicht genießen.
Zu guter Letzt könnte auch eine Platte einen Schaden haben (wenn die Hardware nicht gemanaget ist). Wertvolle Hinweise hatte mir damals smartctl bei meinen alten 1TB-Platten geliefert.

Ehrlich gesagt komme ich auch nicht mehr viel weiter. Ich habe heute noch mal den ganzen Nachmittag - nach Deinem Tipp mit iotop - verschiedenste Tests durchgeführt. So langsam bekomme ich auch das Gefühl, dass es evtl. ein Bug ist und zwar in Verbindung von ext4/Journal mit Software-RAID-1.

Die Festplatten haben aber schon mal keinen Fehler. Zum einen kann man sich mit

cat /proc/mdstat

den Status der RAID-Arrays anzeigen lassen. Alles bestens dort. Und wenn man nur vom RAID-Array liest, dann hat dieses rasanten Werte, welche ich auch erwarte.

Beispiel: Wenn ich einen mysqldump einer Tabelle durchführe, mit der ich gerade entwickle, (ca. 1,2 Millionen Datensätze, Gesamtgröße auf der Festplatte knapp 1 GiB), dann ist das in wenigen Sekunden erledigt. Kein Witz: Das braucht ca. 15 Sekunden. Wenn ich die selbe Tabelle aus der soeben erzeugten Datei wieder zurück importiere, dann läuft der Import ca. 20 Minuten. Wir sind also bei einem Faktor von ca. 80.

Es muss irgend etwas mir diesem »Journal« von ext4 zu tun haben. Ich habe aus diversesten Foren-Posts heraus gelesen, dass das Journal immer bei einem fsync() geschrieben wird. Das macht MySQL natürlich - bzw. genauer die InnoDB-Datenbank - und das kann man mit dessen Settings auch ziemlich feinfühlig tunen. Nur: Die Settings sind die selben, wie auf dem alten Server. Dort hat das MySQL also auch immer genau so gemacht und dort lief es auch schnell.

Ich weiß mir im Moment nicht anders zu helfen als: Für einen Monat (oder max. zwei) einen vServer bei Hetzner mieten und alles Vorhandene dorthin umziehen. Dann ist das in Sicherheit und kann produktiv weiter genutzt werden.

Danach werde ich weitere destruktive Tests mit den Festplatten durchführen. Zum einen mal das Journal entfernen; das geht, ohne dass man die Festplatten neu formatieren muss. Ist aber natürlich trotzdem gefährlich und deswegen der vorausgehende Umzug.

Wenn das nicht fruchtet, denn mal direkte Tests mit den einzelnen Festplatten - ohne den RAID-1-Verbund - durchführen. Und zur Not werde ich das System ohne RAID-1 betreiben und die Festplatten einzeln nutzen. Ein Backup wird sowieso immer durchgeführt.

Die genaue Kernel-Version möchte ich hier nicht posten. Aber auf dem Pixelor-Server kommt noch Debian 7 zum Einsatz, auf diesem neuen Server das im Moment aktuelle Debian 8.6.

Zitat von »henrikf«

Die Festplatten haben aber schon mal keinen Fehler. Zum einen kann man sich mit

cat /proc/mdstat

Ich hatte immer angenommen, dass hier nur der Raid-Status angezeigt wird und nicht die Platten auf Hardware-Level. Denn mein Raid-1 war damals auch topp...

Muss ich mich noch einmal reinlesen.

Zitat von »henrikf«

Die genaue Kernel-Version möchte ich hier nicht posten. Aber auf dem Pixelor-Server kommt noch Debian 7 zum Einsatz, auf diesem neuen Server das im Moment aktuelle Debian 8.6.

Reicht. Mehr muss ich nicht wissen, denn ich kenne nicht alle Kernel-Versionen und deren Issues. Die Frage war eben, ob man den 1:1 vergleichen kann. Und mit dem neuen Debian dürfte auch eine andere Version des Kernels Einzug erhalten haben.

Mal eine Frage aus Interesse: Kann die Forensoftware nur mit MySQL betrieben werden?

Ich hatte mir mit Nextcloud einen Ruck gegeben und auf PostgreSQL gesetzt. Natürlich ist das Handling hier anders und etwas gewöhnungsbedürftig, aber ich bereue die "Mehrarbeit" nicht. Nextcloud fühlt sich danach deutlich flotter an.

Und vielleicht auch mal von mir etwas zum Thema "sinnlose Gedanken". Ich habe TrueOS und GhostBSD, beide setzen auf einem FreeBSD auf, auf einem recht alten 64-Bit-Notebook getestet. Fazit: FreeBSD ist wohl eher nichts für den Desktop. Der Rechner fror entweder während der Installation ein oder konnte nach einer scheinbar erfolgreichen Installation nicht booten. Mit Linux Mint ging es wunderbar. FreeBSD nutze ich in Form von "FreeNAS" auf meinem ProLiant Microserver von HP.

Warum befasse ich mich damit? BSD hat ein paar tolle Konzepte - wie ZFS (quasi Out of the Box und ohne Lizenz-Gejammer) und Jails.

Und was ich sonst noch mache... Ich schaue mir gerade Monogame genauer an. Die Plattformunabhängigkeit ist echt sexy. Ob ich je ein fertiges Spiel damit mache, wage ich nicht zu behaupten Auf jeden Fall merke ich, dass ich echtes Programmieren mit einer gängigen Sprache gegenüber einem Gamemaker mit seiner eigenen Sprache bevorzuge, was aber nicht heißt, dass ich mir Gamemaker nicht weiter anschaue...

Aktuell finde ich so etwas interessanter als mal ein Spiel einzulegen...

Zitat von »technetikum«

Mal eine Frage aus Interesse: Kann die Forensoftware nur mit MySQL betrieben werden?

Erfreulicherweise nein.

Ich habe im Code Wrapper für MySQL, MSSQL, PostgreSQL und sogar MSAccess (*würg*, aber wer's braucht) und sogar die embedded SQLite gefunden. Oder halt eben mit MariaDB, aber deren Schnittestelle unterschiedet sich ja nicht von MySQL. Da haben die WoltLab®er gut aufgepasst.

Gerade habe ich voll den sinnlosen Gedanken eine virtuelle Maschine mit Win 7 zu erstellen und dann diese mit lauter Viren voll müllen. Ich weiß leider nicht warum aber ich kann nichts dagegen machen

Wenn das ernst gemeint sein sollte und nicht nur als Gedanke formuliert ... dann wäre ich mit so etwas sehr sehr SEHR sehr vorsichtig. Die heutige Malware ist so dermaßen weit entwickelt, dass ich mir ein Entkommen aus einer virtuellen Maschine inzwischen gut vorstellen kann.

Zitat von »henrikf«

Wenn das ernst gemeint sein sollte und nicht nur als Gedanke formuliert ... dann wäre ich mit so etwas sehr sehr SEHR sehr vorsichtig. Die heutige Malware ist so dermaßen weit entwickelt, dass ich mir ein Entkommen aus einer virtuellen Maschine inzwischen gut vorstellen kann.

Es gab solche Malware wirklich. Heise Security berichtete ja hierüber. Allerdings beschränken sich die Auswirkungen auf bestimmte Versionen von VMware, was nicht heißt, dass es inzwischen wieder neue gibt. Ausgenutzt werden fast immer die Lücken durch die VMTools, die ein Drag and Drop und eine gemeinsame Zwischenablage mit dem Host erlauben.

Wenn man auf sowas Lust hat, dann sollte man Virtualbox unter Linux installieren. Hiermit dürfte die Wahrscheinlichkeit geringer sein, dass Windows-Malware auf Linux überspringt

Immer wieder Lustig zu sehen wenn Youtuber, für ein 15 Minuten Video, über 8 Stunden Schnitt jammern. Ich sitze hier an einem neuen Video und brauche für 15 Sekunden 8 Stunden!!1111elf. Purer Selbsthass!

In der Kino-Branche gilt: Der Schnitt für eine Minute Film auf der Leinwand braucht - mit allen Umschnitten und noch mal einen Frame hier und da mehr oder weniger - ca. 1 Stunde Arbeit. Damit ist der REINE Schnitt gemeint und keine Trickeffekte und Farbanpassungen uns so weiter. Wenn da jemand auf YouTube für 15 Minuten 8 Stunden benötigt, dann ist er sogar schnell. Und wenn man sich den »Aufwand« (*hust* *hust*) der meisten YouTube-Videos ansieht (Laberfresse hampelt sinnentleert vor der Kamera herum und versucht krampfhaft cool und/oder komisch zu sein), dann haut das ein Routinierter Cutter mit AVID in ca. 15 Minuten weg.

Wenn man aber einen echten Animationsfilm macht, dann braucht eine Minute ca. 100 Stunden Arbeit. Du bist mit Deinen 8 Stunden für 15 Sekunden gar nicht so verkehrt.

Das ist es ja. Der eigentliche Schnitt ist Pipikram. Der ganze Kleinkram kostet Zeit Gameplay einspielen, 3d Modelle bauen, Szenen friemeln Scannen, Ton, Farbkorrektur und und und.....