Taille de database qui explose suite à mise a jours ou ajout de devices

Posez ici vos questions d'utilisation, de configuration de Domoticz, de bugs, de conseils sur le logiciel lui même dans son utilisation et son paramètrage Concernant le Raspberry ou les scripts de toute nature des forums spécifiques sont ouverts
Répondre
benbidouille
Messages : 78
Enregistré le : 11 déc. 2017, 11:48

Taille de database qui explose suite à mise a jours ou ajout de devices

Message par benbidouille » 15 févr. 2020, 10:15

Bonjour,

Je tourne avec une distribution domoticz version V3.8153 de 2017 dans une configuration de fonctionnement très stable et sans quasi aucun besoin de maintenance sinon une relance de temps en temps, il arrive en effet que des devices de Teleinfo ne soient plus mis à jours nécessitant un reboot, mais ce n'est pas l'objet de mon propos, juste pour exprimer le peu d'attention que j'ai porté à ma config ces derniers temps.

Je souhaite mettre à jours la version de domoticz et mon soucis est la taille de la database domoticz.db qui explose dès lors que je procède à la mise a jours.

J'avais tenté l'opération début 2019 avec la version proposée à l'époque: Installation V4.9700 + Nettoyage du Cache du Navigateur et Reboot de domoticz.

Mon domoticz.db que je monitore et qui a une taille d’ordinaire entre 9 et 11M augmente à l'issue de cette mise à jours, à une vitesse de l'ordre de 10MB/heure ce qui après quelque heures atteint une taille de près de 100MB et le /tmp explose finissant en plantage.

J'ai tenté l'opération à une ou deux reprises et faute de temps suis resté depuis sur ma config stable V3.8153

Hier souhaitant ajouter un nouveau device de teleinfo, pareille situation se reproduit, à savoir que le device fonctionne parfaitement mais la taille de la base de donné augmente dangereusement, je suis une nouvelle fois revenu en arrière avec une sauvegarde de domoticz.db, contraint de renoncer à l'ajout de ce device.

Ma config comporte environ 140 devices configurés et seulement 40 utilisés, certains étant même physiquement absent.

J'ai procédé à la vérification de l'intégrité de la database avec Pragma integrity_check et la verification ne met en évidence aucun problème.

Voila je vous soumet donc mon soucis en espérant recevoir quelques axes de recherches et idées de debug.
Je vous remercie par avance en espérant que l'inspiration surgisse.
RPI3 + WDPiDrive + UPS Pico HV3.0B HAT + Teleinfo USB (6) + 1Wire GPIO + DS18B20 (15)+ Gateway MySensor NRF24, Sensors , Relais ... + Gateway Velux .... + Gestion Pompe à Chaleur .... tout en DIY

Disable adblock

This site is supported by ads and donations.
If you see this text you are blocking our ads.
Please consider a Donation to support the site.


benbidouille
Messages : 78
Enregistré le : 11 déc. 2017, 11:48

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par benbidouille » 18 févr. 2020, 00:14

Bonjour,

J'auto alimente ma propre réflexion en partageant mes avancées, espérant toujours de l'aide.

Ce soir, j'ai après sauvegarde de toute ma config procédé à la mise à jours de domoticz de la version V3.8153 à V4.10717 après avoir assuré la mise a jours de mon raspbian préalablement.

Après update de domoticz, clean du cahe navigateur et redémarrage sans aucun soucis avec la database domoticz.db d'environ 8MB.

Après seulement 3 heures de fonctionnement apparemment normal domoticz.db a déja doublé de taille, 17MB.

Absolument bizu en SQL, j'ai tout de même avec SQLlite observé les différentes Tables en comparant avant et après update de domoticz.

Dans la table "LightingLog" ma base avant update comporte 472 records la ou la nouvelle en comporte 102000.

A partir de l'heure de l'upgrade, plusieurs records sont enregistrés chaque seconde avec un deviceRowID inconnu et incoherent avec un BIGINT(10) attendu.

Record DeviceRowID
"473" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:34"
"474" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:34"
"475" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:35"
"476" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:35"
"477" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:35"
"478" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:35"
"479" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:35"
"480" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:35"
"481" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:35"
"482" "1.84467440737096e+19" "1" "0" "" "2020-02-17 19:07:35"
"483" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:35"
"484" "1.84467440737096e+19" "0" "0" "" "2020-02-17 19:07:35"

Nul doute que l'origine de ma base qui explose est relative à ce lightinglog.

A quoi correspond ce Lightinglog et quel type de process écrit dedans ?
Est ce un problème connu et déjà identifié ?
Déja rencontré consécutivement a une mise a jours de domoticz ?

Merci par avance à ceux qui auraient des idées pour remonter à la source de ce problème.

J'ajoute qu'un integrity_check de la base SQL avant tout comme après ne révèle aucun soucis.

Merci pour vos idées et aides par avance, inutile de dire que je suis revenu a ma config V3.8153
RPI3 + WDPiDrive + UPS Pico HV3.0B HAT + Teleinfo USB (6) + 1Wire GPIO + DS18B20 (15)+ Gateway MySensor NRF24, Sensors , Relais ... + Gateway Velux .... + Gestion Pompe à Chaleur .... tout en DIY

ogulf
Messages : 246
Enregistré le : 15 juin 2017, 14:41

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par ogulf » 18 févr. 2020, 07:43

Je ne crois pas que tu aies mentionné une quelconque passerelle (RFXCom, Rflink, autre ?)
Le cas échéant, es-tu à jour des firmware des passerelles ?
Domoticz Stable sur RPi3 + RFPlayer + ZWave+ + RFLink R48 :
- 11 x RF660P (gestion chauffage)
- 1 x FGSD-002 (détecteur fumée)
- 10 x F007TH (sonde Temp/Hygro)
- 5 x Emcoluxr EV1527 (contacteur ouverture porte)
- 4 x NeoCoolCam NAS-PD02Z (PIR + Temp)

Doume
Messages : 529
Enregistré le : 28 déc. 2014, 10:27
Localisation : Nord (59)
Contact :

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par Doume » 18 févr. 2020, 10:41

Comme le défaut est rapidement visible (croissance de la database), j'essaierais de déterminer quelle catégorie de matériel génère ces logs :
ex : Déconnecter le Zwave, et relancer
Déconnecter RFLink et relancer,
etc...
pour déjà déterminer quel driver génère cela.

Disable adblock

This site is supported by ads and donations.
If you see this text you are blocking our ads.
Please consider a Donation to support the site.


Nadhyr
Messages : 10
Enregistré le : 16 juil. 2015, 02:29
Localisation : Béthune

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par Nadhyr » 20 févr. 2020, 12:23

Bonjour,


J'ai rencontré le même problème avec mon installation sur Synology.
Je suis passé en 4.10717 et même chose.

J'ai dû repartir de zéro pour régler le problème.

J'ai bien tenté de remettre ma configuration mais impossible de me reconnecter malgré les bons identifiants.
A force de bidouille, en modifiants le domoticz.db, je parvenais à me connecter pour au final récupérer le problème ...
Domoticz Version: 4.10717
Synology 216 + II ( 1,6ghz 8GB )
Zwave - RF Link

benbidouille
Messages : 78
Enregistré le : 11 déc. 2017, 11:48

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par benbidouille » 21 févr. 2020, 18:20

Bonjour,
Avec peu de temps a consacrer ces derniers jours, j'ai pu progresser un peu en procédant par dichotomie comme suggéré par certain d'entre vous, Merci.

J'avais déjà exclue le RFlink, le hardware et dispositifs associés n'étant plus utilisés depuis quelque temps, seul restent des liaisons 1Wire via GPIO, plusieurs teleinfo et une gateway MySensor aucune autre interface spécifique, donc hormis le raspbian , il n'existe pas d'autre firmware pouvant contribuer à ce problème à mon sens.

Partant du principe qu'il pouvait s'agir d'une Teleinfo, j'ai 1/ Réduit le log des light/Switch de 7 a 2 jours 2/ ralentit la fréquence de rafraichissement de tous les Hardwares teleinfos de 0 à 60 secondes et la miracle, :D :D :D le phénomène de remplissage avec plusieurs records par seconde a disparu.

Il me reste désormais quelque alarmes, provenant assurément des teleinfo avec l'une ayant un numero de device inconnu.

Code : Tout sélectionner

Extrait de records de LightingLog
"296"	"13"	"1"	"(1) Bitmap phases: 111"	""	"2020-02-21 12:19:30"
"297"	"1.84467440737096e+19"	"0"	"(0) Toutes Heures"	""	"2020-02-21 12:19:32"
"298"	"1.84467440737096e+19"	"1"	"(1)  < 80% de 20A souscrits"	""	"2020-02-21 12:19:32"
Après inspection de mes Hardware & dispositifs, je constate d'ailleurs que la fameuse teleinfo concernée ne dispose pas de dispositifs associés pour les alertes "Alerte Phase 1" etc ..... alors que mes autres teleinfos en disposent, exemple du device 13 ci dessus.

Sans trop savoir pourquoi ces dispositifs n'existent pas pour ce Hardware, j'en conclu que Domoticz recevant des données d'une teleinfo pour un dispositif non présent, le driver teleinfo de domoticz attribue alors un numéro de variable arbitraire.

Bref, assurément la gestion de Teleinfo diffère entre la version V3 domoticz que j'avais et la toute dernière V4 car ma config tournait de manière stable même avec une période de 0 ce qui n'était peut être pas très malin je l'avoue.

Croisons les doigts pour que les jours à venir me confirment être revenus à une situation stable.

Si quelqu'un à une idée sur la signification des alerte de phase (1) < 80% de 20A souscrits" générées par domoticz et surtout sur le moyen de les invalider, je suis preneur.

D'ailleurs avez vous ce genre d'alertes de teleinfo dans LightingLog ?
RPI3 + WDPiDrive + UPS Pico HV3.0B HAT + Teleinfo USB (6) + 1Wire GPIO + DS18B20 (15)+ Gateway MySensor NRF24, Sensors , Relais ... + Gateway Velux .... + Gestion Pompe à Chaleur .... tout en DIY

Nadhyr
Messages : 10
Enregistré le : 16 juil. 2015, 02:29
Localisation : Béthune

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par Nadhyr » 22 févr. 2020, 16:43

Chapeau !
Faudrait remonter l'info qui pourra certainement en aider plus d'un.
Domoticz Version: 4.10717
Synology 216 + II ( 1,6ghz 8GB )
Zwave - RF Link

benbidouille
Messages : 78
Enregistré le : 11 déc. 2017, 11:48

Re: Taille de database qui explose suite à mise a jours ou ajout de devices

Message par benbidouille » 23 févr. 2020, 10:41

Merci, Stabilité retrouvée en fonctionnement et taille de database après 72h de recul, Je considère le problème clos. :mrgreen:

Je demeure toutefois intéressé par apprendre comment supprimer ces alertes intempestives issues du driver teleinfo de domoticz, alertes/notification qui même si peu fréquentes surchargent la database.db inutilement.
RPI3 + WDPiDrive + UPS Pico HV3.0B HAT + Teleinfo USB (6) + 1Wire GPIO + DS18B20 (15)+ Gateway MySensor NRF24, Sensors , Relais ... + Gateway Velux .... + Gestion Pompe à Chaleur .... tout en DIY

Disable adblock

This site is supported by ads and donations.
If you see this text you are blocking our ads.
Please consider a Donation to support the site.


Répondre