Du bist nicht angemeldet.

Lieber Besucher, herzlich willkommen bei: Pixelor. Falls dies dein erster Besuch auf dieser Seite ist, lies bitte die Hilfe durch. Dort wird dir die Bedienung dieser Seite näher erläutert. Darüber hinaus solltest du dich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutze das Registrierungsformular, um dich zu registrieren oder informiere dich ausführlich über den Registrierungsvorgang. Falls du dich bereits zu einem früheren Zeitpunkt registriert hast, kannst du dich hier anmelden.

Beiträge: 814

Wohnort: Ingolstadt

Beruf: Senior Software Engineer

  • Private Nachricht senden

2 581

17.02.2017, 06:34

Okay, das wird es wohl auch nicht sein. Ich dachte da eher an den Umstieg von ext nach zfs oder btrfs. Bei einem ungenügend mit RAM bestückten Blech wäre das ein Grund. An den Inode-Einstellungen hast du sicherlich nichts geändert...

Was wird den bei iotop in den ersten Rängen angezeigt?

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »technetikum« (17.02.2017, 06:53)


henrikf

Pixelor-Team

Beiträge: 6 828

Wohnort: Bad Aibling / Bayern

Beruf: Software-Entwickler

  • Private Nachricht senden

2 582

17.02.2017, 16:38

Das Tool kante ich bisher noch nicht ... und ich glaube, das hat mich einen Schritt weiter gebracht. Ich habe bisher immer iostat verwendet, und das hat bei den beiden Festplatte (sda und sdb) immer so 80% bis 100% Last angezeigt bei einem gleichzeitigen Datentransfer von nur 670 kByte/s.

iotop sagt nun bei einem Import Ähnliches über mysql ... aaaaaaber ganz oben findet sich konstant ein anderer Thead, nämlich folgender:

200 be/3 root 0.00 B/s 0.00 B/s 0.00 % 98.06 % [jbd2/md2-8]

jbd2 ist das »Journal« von ext4, welches hier offenbar extrem aktiv ist und zwar so sehr, dass es gleich die komplette Leistung mit runterzieht.

Da kann ich jetzt mal weiter forschen. :-)
--== Island2Live / Henrik Fisch==--
Homepage: http://www.island2live.com/ deviantART: http://island2live.deviantart.com/
Spielt gerade: Yonder: The Cloud Catcher Chronicles

Beiträge: 814

Wohnort: Ingolstadt

Beruf: Senior Software Engineer

  • Private Nachricht senden

2 583

17.02.2017, 19:56

Oha, das kann eine Menge Ursachen haben. Könnte es ein Kernel-Problem sein? Gibt es da einen Patch? Oder ist das der gleiche wie bei dem anderen Server?

Dann können auch falsche HDD-Parameter gesetzt sein (hatte ich kürzlich bei den neuen Platten, was zu ewigen Spindowns der Platten geführt hatte). Und dabei hatte ich mit ionice zuerst an einer völlig falschen Stelle gebastelt. Kennst du hdparm? Aber mit Vorsicht genießen.
Zu guter Letzt könnte auch eine Platte einen Schaden haben (wenn die Hardware nicht gemanaget ist). Wertvolle Hinweise hatte mir damals smartctl bei meinen alten 1TB-Platten geliefert.

henrikf

Pixelor-Team

Beiträge: 6 828

Wohnort: Bad Aibling / Bayern

Beruf: Software-Entwickler

  • Private Nachricht senden

2 584

17.02.2017, 20:52

Ehrlich gesagt komme ich auch nicht mehr viel weiter. Ich habe heute noch mal den ganzen Nachmittag - nach Deinem Tipp mit iotop - verschiedenste Tests durchgeführt. So langsam bekomme ich auch das Gefühl, dass es evtl. ein Bug ist und zwar in Verbindung von ext4/Journal mit Software-RAID-1.

Die Festplatten haben aber schon mal keinen Fehler. Zum einen kann man sich mit

cat /proc/mdstat

den Status der RAID-Arrays anzeigen lassen. Alles bestens dort. Und wenn man nur vom RAID-Array liest, dann hat dieses rasanten Werte, welche ich auch erwarte.

Beispiel: Wenn ich einen mysqldump einer Tabelle durchführe, mit der ich gerade entwickle, (ca. 1,2 Millionen Datensätze, Gesamtgröße auf der Festplatte knapp 1 GiB), dann ist das in wenigen Sekunden erledigt. Kein Witz: Das braucht ca. 15 Sekunden. Wenn ich die selbe Tabelle aus der soeben erzeugten Datei wieder zurück importiere, dann läuft der Import ca. 20 Minuten. Wir sind also bei einem Faktor von ca. 80.

Es muss irgend etwas mir diesem »Journal« von ext4 zu tun haben. Ich habe aus diversesten Foren-Posts heraus gelesen, dass das Journal immer bei einem fsync() geschrieben wird. Das macht MySQL natürlich - bzw. genauer die InnoDB-Datenbank - und das kann man mit dessen Settings auch ziemlich feinfühlig tunen. Nur: Die Settings sind die selben, wie auf dem alten Server. Dort hat das MySQL also auch immer genau so gemacht und dort lief es auch schnell.

Ich weiß mir im Moment nicht anders zu helfen als: Für einen Monat (oder max. zwei) einen vServer bei Hetzner mieten und alles Vorhandene dorthin umziehen. Dann ist das in Sicherheit und kann produktiv weiter genutzt werden.

Danach werde ich weitere destruktive Tests mit den Festplatten durchführen. Zum einen mal das Journal entfernen; das geht, ohne dass man die Festplatten neu formatieren muss. Ist aber natürlich trotzdem gefährlich und deswegen der vorausgehende Umzug.

Wenn das nicht fruchtet, denn mal direkte Tests mit den einzelnen Festplatten - ohne den RAID-1-Verbund - durchführen. Und zur Not werde ich das System ohne RAID-1 betreiben und die Festplatten einzeln nutzen. Ein Backup wird sowieso immer durchgeführt.

Die genaue Kernel-Version möchte ich hier nicht posten. Aber auf dem Pixelor-Server kommt noch Debian 7 zum Einsatz, auf diesem neuen Server das im Moment aktuelle Debian 8.6.
--== Island2Live / Henrik Fisch==--
Homepage: http://www.island2live.com/ deviantART: http://island2live.deviantart.com/
Spielt gerade: Yonder: The Cloud Catcher Chronicles

Beiträge: 814

Wohnort: Ingolstadt

Beruf: Senior Software Engineer

  • Private Nachricht senden

2 585

17.02.2017, 21:16

Die Festplatten haben aber schon mal keinen Fehler. Zum einen kann man sich mit

cat /proc/mdstat
Ich hatte immer angenommen, dass hier nur der Raid-Status angezeigt wird und nicht die Platten auf Hardware-Level. Denn mein Raid-1 war damals auch topp...

Muss ich mich noch einmal reinlesen.
Die genaue Kernel-Version möchte ich hier nicht posten. Aber auf dem Pixelor-Server kommt noch Debian 7 zum Einsatz, auf diesem neuen Server das im Moment aktuelle Debian 8.6.
Reicht. Mehr muss ich nicht wissen, denn ich kenne nicht alle Kernel-Versionen und deren Issues. Die Frage war eben, ob man den 1:1 vergleichen kann. Und mit dem neuen Debian dürfte auch eine andere Version des Kernels Einzug erhalten haben.

Mal eine Frage aus Interesse: Kann die Forensoftware nur mit MySQL betrieben werden?

Ich hatte mir mit Nextcloud einen Ruck gegeben und auf PostgreSQL gesetzt. Natürlich ist das Handling hier anders und etwas gewöhnungsbedürftig, aber ich bereue die "Mehrarbeit" nicht. Nextcloud fühlt sich danach deutlich flotter an.

Und vielleicht auch mal von mir etwas zum Thema "sinnlose Gedanken". Ich habe TrueOS und GhostBSD, beide setzen auf einem FreeBSD auf, auf einem recht alten 64-Bit-Notebook getestet. Fazit: FreeBSD ist wohl eher nichts für den Desktop. Der Rechner fror entweder während der Installation ein oder konnte nach einer scheinbar erfolgreichen Installation nicht booten. Mit Linux Mint ging es wunderbar. FreeBSD nutze ich in Form von "FreeNAS" auf meinem ProLiant Microserver von HP.

Warum befasse ich mich damit? BSD hat ein paar tolle Konzepte - wie ZFS (quasi Out of the Box und ohne Lizenz-Gejammer) und Jails.

Und was ich sonst noch mache... Ich schaue mir gerade Monogame genauer an. Die Plattformunabhängigkeit ist echt sexy. Ob ich je ein fertiges Spiel damit mache, wage ich nicht zu behaupten :-) Auf jeden Fall merke ich, dass ich echtes Programmieren mit einer gängigen Sprache gegenüber einem Gamemaker mit seiner eigenen Sprache bevorzuge, was aber nicht heißt, dass ich mir Gamemaker nicht weiter anschaue...

Aktuell finde ich so etwas interessanter als mal ein Spiel einzulegen...

henrikf

Pixelor-Team

Beiträge: 6 828

Wohnort: Bad Aibling / Bayern

Beruf: Software-Entwickler

  • Private Nachricht senden

2 586

17.02.2017, 21:46

Mal eine Frage aus Interesse: Kann die Forensoftware nur mit MySQL betrieben werden?

Erfreulicherweise nein. :)

Ich habe im Code Wrapper für MySQL, MSSQL, PostgreSQL und sogar MSAccess (*würg*, aber wer's braucht) und sogar die embedded SQLite gefunden. Oder halt eben mit MariaDB, aber deren Schnittestelle unterschiedet sich ja nicht von MySQL. Da haben die WoltLab®er gut aufgepasst. :)
--== Island2Live / Henrik Fisch==--
Homepage: http://www.island2live.com/ deviantART: http://island2live.deviantart.com/
Spielt gerade: Yonder: The Cloud Catcher Chronicles

frapskillan

kyūkyū

Beiträge: 3

Wohnort: Kassel

Beruf: Schüler

  • Private Nachricht senden

2 587

17.02.2017, 22:53

Gerade habe ich voll den sinnlosen Gedanken eine virtuelle Maschine mit Win 7 zu erstellen und dann diese mit lauter Viren voll müllen. Ich weiß leider nicht warum aber ich kann nichts dagegen machen ^^
Dies ist nur ein Backup account von Frapskillar da ich nicht auf Frapskillar zugreifen kann weil ich keine Passwort wiederherstellen E-Mail bekomme und ich weiß nicht warum.
Bitte einen Wiederherstellungslink schicken einen mailto Befehl habe ich bei dem Wort E-Mail als Hyperlink hinterlegt

henrikf

Pixelor-Team

Beiträge: 6 828

Wohnort: Bad Aibling / Bayern

Beruf: Software-Entwickler

  • Private Nachricht senden

2 588

18.02.2017, 01:29

Wenn das ernst gemeint sein sollte und nicht nur als Gedanke formuliert ... dann wäre ich mit so etwas sehr sehr SEHR sehr vorsichtig. Die heutige Malware ist so dermaßen weit entwickelt, dass ich mir ein Entkommen aus einer virtuellen Maschine inzwischen gut vorstellen kann.
--== Island2Live / Henrik Fisch==--
Homepage: http://www.island2live.com/ deviantART: http://island2live.deviantart.com/
Spielt gerade: Yonder: The Cloud Catcher Chronicles

Beiträge: 814

Wohnort: Ingolstadt

Beruf: Senior Software Engineer

  • Private Nachricht senden

2 589

18.02.2017, 09:31

Wenn das ernst gemeint sein sollte und nicht nur als Gedanke formuliert ... dann wäre ich mit so etwas sehr sehr SEHR sehr vorsichtig. Die heutige Malware ist so dermaßen weit entwickelt, dass ich mir ein Entkommen aus einer virtuellen Maschine inzwischen gut vorstellen kann.
Es gab solche Malware wirklich. Heise Security berichtete ja hierüber. Allerdings beschränken sich die Auswirkungen auf bestimmte Versionen von VMware, was nicht heißt, dass es inzwischen wieder neue gibt. Ausgenutzt werden fast immer die Lücken durch die VMTools, die ein Drag and Drop und eine gemeinsame Zwischenablage mit dem Host erlauben.

Wenn man auf sowas Lust hat, dann sollte man Virtualbox unter Linux installieren. Hiermit dürfte die Wahrscheinlichkeit geringer sein, dass Windows-Malware auf Linux überspringt

2 590

24.02.2017, 13:51

Immer wieder Lustig zu sehen wenn Youtuber, für ein 15 Minuten Video, über 8 Stunden Schnitt jammern. Ich sitze hier an einem neuen Video und brauche für 15 Sekunden 8 Stunden!!1111elf. Purer Selbsthass!
Hipster-Pisser!

henrikf

Pixelor-Team

Beiträge: 6 828

Wohnort: Bad Aibling / Bayern

Beruf: Software-Entwickler

  • Private Nachricht senden

2 591

24.02.2017, 13:59

In der Kino-Branche gilt: Der Schnitt für eine Minute Film auf der Leinwand braucht - mit allen Umschnitten und noch mal einen Frame hier und da mehr oder weniger - ca. 1 Stunde Arbeit. Damit ist der REINE Schnitt gemeint und keine Trickeffekte und Farbanpassungen uns so weiter. Wenn da jemand auf YouTube für 15 Minuten 8 Stunden benötigt, dann ist er sogar schnell. Und wenn man sich den »Aufwand« (*hust* *hust*) der meisten YouTube-Videos ansieht (Laberfresse hampelt sinnentleert vor der Kamera herum und versucht krampfhaft cool und/oder komisch zu sein), dann haut das ein Routinierter Cutter mit AVID in ca. 15 Minuten weg.

Wenn man aber einen echten Animationsfilm macht, dann braucht eine Minute ca. 100 Stunden Arbeit. Du bist mit Deinen 8 Stunden für 15 Sekunden gar nicht so verkehrt. ;)
--== Island2Live / Henrik Fisch==--
Homepage: http://www.island2live.com/ deviantART: http://island2live.deviantart.com/
Spielt gerade: Yonder: The Cloud Catcher Chronicles

2 592

24.02.2017, 14:04

Das ist es ja. Der eigentliche Schnitt ist Pipikram. Der ganze Kleinkram kostet Zeit Gameplay einspielen, 3d Modelle bauen, Szenen friemeln Scannen, Ton, Farbkorrektur und und und.....
Hipster-Pisser!

Zur Zeit sind neben dir 17 Benutzer in diesem Thema unterwegs:

17 Besucher