DbLog – Datenbank anstelle von LogFiles

Die meisten FHEM-Einsteiger beginnen mit dem loggen von Werten mit Hilfe der LogFiles. Sie sind schnell eingerichtet und loggen dann brav die gewünschten Werte. Auch das Erstellen von Graphen gelingt über die LogFiles kinderleicht. Nach mehreren Monaten können diese LogFiles jedoch relativ groß werden. Bei einer Temperaturmessung mit minütlicher Messung enthält das LogFile nach 6 Monaten bereits ca. 262.000 Einträge. Ein Lösungsansatz wäre das Erstellen von wöchentlichen oder monatlichen LogFiles. Möchte man jedoch einen lückenfreien Verlauf der Temperaturmessung haben, ist man gezwungen die LogFiles zu behalten. Die Anzahl der LogFiles wächst somit stetig.

Aufgrund der Tatsache, dass LogFiles als reine Textdatei angelegt werden, erschweren große LogFiles zudem das Durchsuchen und Auswerten der Einträge. Das Anzeigen von Graphen kann dadurch etwas Zeit in Anspruch nehmen. Um diesen Flaschenhals zu umgehen gibt es eine relativ simple Lösung. Das Erstellen einer Datenbank. In diesem Beitrag erkläre ich euch wie ihr eure Werte in eine Datenbank schreibt und daraus einen Graphen erstellt.

FHEM bietet dazu das Modul DbLog. Es stellt die Verbindung zwischen FHEM und einer Datenbank her. Als Datenbank können unter anderem SQLite, MySQL oder PostGreSql verwendet werden. Ich persönlich habe mich für eine SQLite-Datenbank entschieden.

Vorbereitung auf dem Raspberry

Damit FHEM mit SQLite arbeiten kann, muss das entsprechende Paket auf dem Raspberry installiert werden:

sudo aptitude install sqlite3 libdbi-perl libdbd-sqlite3-perl

Datenbank einrichten

Es wird nun eine Datenbank mit dem Namen fhem.db im FHEM-Installationsordner erstellt.

sudo sqlite3 /opt/fhem/fhem.db

Es öffnet sich direkt die Kommandozeile der Datenbank. Hier kann nun der Aufbau der Datenbank festgelegt werden.

CREATE TABLE 'history' (TIMESTAMP TIMESTAMP, DEVICE varchar(32), TYPE varchar(32), EVENT varchar(512), READING varchar(32), VALUE varchar(32), UNIT varchar(32));
CREATE TABLE 'current' (TIMESTAMP TIMESTAMP, DEVICE varchar(32), TYPE varchar(32), EVENT varchar(512), READING varchar(32), VALUE varchar(32), UNIT varchar(32));

In dieser Definition wird für die Werte eine Größe von 32 Zeichen festgelegt. Sollte man Devices mit sehr langen Readings loggen wollen, sollte man hier bereits für etwas mehr Platz sorgen. Dazu einfach VALUE varchar(32) zu VALUE varchar(64) ändern.

Die Kommandozeile der Datenbank kann nun verlassen werden.

.exit

Damit FHEM in die Datenbank lesen und auch bearbeiten kann, sollten die Rechte und Besitzverhältnisse entsprechend angepasst werden:

sudo chown fhem /opt/fhem/fhem.db
sudo chmod 666 /opt/fhem/fhem.db

In FHEM wird DbLog später über eine Config-Datei definiert. In dieser Config-Datei wird der Pfad zu der erstellten Datenbank angegeben.

sudo nano /opt/fhem/db.conf

db.conf mit folgendem Inhalt füllen:

%dbconfig= (
  connection => "SQLite:dbname=/opt/fhem/fhem.db",
  user => "",
  password => ""
);

Sollte die Datenbank mit einem Benutzer und Passwort geschützt sein, sind diese Daten ebenfalls in die Config-Datei einzutragen.

Konfiguration in FHEM

In FHEM selber muss nun nur noch das Modul DbLog definiert werden. Dabei wird der Pfad zu der eben erstellten Config-Datei angegeben. Um die Datenbank nicht gleich mit unnützen Daten voll zu müllen, sollte man sich bei der Definition bereits einige Gedanken machen. In folgender Definition wird jedes Reading von jedem Device geloggt. Für mich persönlich ist diese Definition eher unvorteilhaft.

define logdb DbLog ./db.conf .*:.*

Selbst das Modul FritzBox hat bereits über 60 Readings. Ich habe deshalb bereits bei der Definition festgelegt welche Readings geloggt werden sollen:

define DbLog DbLog ./db.conf .*:(temperature|humidity|Gesendet|Gesendet_ges|Empfangen|Empfangen_ges|Leistung|cpu_freq|cpu_temp|cpu_temp_avg|stat_cpu_percent).*

Damit nun die aktuellen und die vergangenen Werte gespeichert werden, muss noch das Attribut DbLogType gesetzt werden.

attr DbLog DbLogType Current/History

Somit werden nur die Readings meiner WeMos-Sensoren, die Traffic-Daten der FritzBox, Leistungsverbrauch meiner PCA301-Steckdosen und ein paar Systeminfos geloggt. Möchte ich nun weitere Readings loggen, dann reicht es aus über die Detailseite vom DbLog-Device die Definition anzupassen.

Bevor nun weiter mit der Datenbank gearbeitet wird, kann man kontrollieren ob das loggen funktioniert. Dafür loggt man sich wieder über SSH auf den Raspberry ein und öffnet die Datenbank.

sudo sqlite3 /opt/fhem/fhem.db

Mit nachfolgendem Befehl lässt man sich alle Werte der Datenbank ausgeben:

select * from history order by TIMESTAMP;

Da die Datenbank bisher noch relativ leer ist wird nach kurzer Zeit der Inhalt ausgegeben:

Mit „.exit“ verlässt man die Datenbank wieder.

Graphen aus Einträgen der Datenbank erstellen

Ähnlich wie bei den LogFiles lassen sich natürlich auch mit den Werten aus der Datenbank SVG-Graphen erstellen. Hier kommt ein weiterer Vorteil von dblog zum Vorschein. Bei der Verwendung von LogFiles kann man nur ein Graphen aus einem LogFile erstellen. Bei einer dblog-Datenbank kann man aus der Datenbank so viele Graphen erstellen wir gewünscht. Dazu einfach das dblog-Device öffnen und unterhalb der Eingabezeile auf „Create SVG plot from DBLog“ klicken.

Es öffnet sich die bekannte Konfigurationsseite der SVG-Plots. Nachdem man als Quelle die Datenbank ausgewählt hat, bemerkt man jedoch schon den Unterschied. Es gibt weniger Optionsfelder gegenüber eines LogFiles. Aufgrund der Tatsache, dass die Readings sich nun in einer Datenbank (Tabelle) befinden, weiß FHEM direkt, wo sich welcher Wert befindet. Die Angabe der Position des gewünschten Readings ist somit nicht mehr nötig.

Zum Schluss noch den Graphentyp und Farbe auswählen und schon erhält man seinen Graphen. Dieser erstellte Graph ist nun um einiges leistungsstärker im Vergleich zu Graphen aus LogFiles. Bemerkbar macht sich dies, sobald man im Graphen sich bewegt. Sei es das Herrauszoomen oder das Zurückspringen zu älteren Werten. Der Aufbau des Graphen geht nun viel schneller. Der Grund ist der, dass das Lesen aus der Datenbank schneller ist als das Lesen aus reinen Textdateien, den LogFiles.

Sobald alle Reading ordnungsgemäß geloggt werden, können die alten LogFiles gelöscht werden.