Es hat mich sehr begeistert, was alles mit Daten möglich ist und wie gut die Visualisierungstools funktionieren. Leider bin ich an eine Grenze gestoßen, die ich nicht zu überwinden vermag: 68.701.254 Zeilen umfasst mittlerweile die wichtigste Tabelle in meiner Datenbank und sie ist absolut nicht mehr handhabbar – weder in PhpMyAdmin, das ich zur Verwaltung verwende noch laufen meine Abfragen sauber. Seit ca. einer Woche gibt es deshalb keine aktuellen Daten mehr.
Ich habe mich schweren Herzens entschlossen, den entsprechenden Algorithmus, der nur noch mysqld alle fünf Minuten zum Absturz brachte, zu stoppen und keine neuen Daten mehr von luftdaten.info einzulesen und weiterzuverarbeiten.
Ein Dump meiner Datenbank findet sich unter https://fritzmielert.de/downloads/feinstaub.gz (994MB), ein weiteres ZIP meiner Daten und Skripte unter https://fritzmielert.de/downloads/dataviz.zip (856MB). Sie freuen sich darauf, genutzt zu werden. Aber Achtung: Die Datenbank umfasst 5,4 Gigabyte, das Verzeichnis dataviz 5,9 Gigabyte.
Ich könnte das machen. Was sind den die Aufgaben drumherum, die das so auwändig machen? Wieviel Zeit hast du pro Woche rein gesteckt? Oder ist das mehr ein Server-Resourcen-Problem?