[2025.2] Mise à jour compliquée

[Flying Domotic]

De ce que je peux comprendre, le fautif n'est pas Domoticz, mais Z2M, et j'ai peur que HA n'y change rien ...

Le répertoire /opt/zigbee2mqtt/data contient quelques fichiers importants, qu'il est prudent de bien recopier d'une instal sur l'autre, en les gardant à jour.

Il y a en particulier des infos à ne pas perdre : les clefs de cryptage et les numéros de séquence. Ils sont (en principe) conservés dans le coordinateur, tant qu'il reste sous tension ou pas réinitialisé au niveau de la flash.

Ils sont aussi copiés dans le fichier coordinator_backup.json, qui les recharge dans le coordinateur s'ils sont perdus. Ce fichier est écrit à chaque arrêt de Z2M, d'où l’intérêt de l'arrêter proprement avant chaque upgrade.

Autre fichier important : configuration.yaml, en particulier les items "pan_id", "ext_pan_id", "network_key" et "channel".

Tout changement d'un de ces paramètres (clef, numéro de séquence, items de configuration.yaml) désassocie les capteurs, ce qui impose de les ré-appairer.

Ce que je fais pour éviter des soucis en cas d'upgrade, c'est que j'arrête proprement Z2M, je copie /data, je déconnecte la clef, je fais l'upgrade, je restaure /data, je lance une première fois Z2M sans la clef Zigbee, je regarde le log (qui forcement râle qu'il ne trouve pas la clef, mais parfois se plante avant), j'arrête Z2M, je reconnecte la clef et je relance (en priant pour que ça ne crashe pas, sinon j'ai 140+ devices à ré-appairer ...)

Tant que j'y suis : une façon simple de voir si le souci vient de Z2M ou de Domoticz (qu'on incrimine parfois à tord, quand on a raté un des points ci-dessus) c'est d'aller sur l'interface de Z2M, et regarder évoluer les dates de dernière mise à jour. Si ça ne bouge pas, pas la peine de péter la config Domoticz ... ou HA ... ou n'importe quoi d'autre d'ailleurs

Ensuite, je regarde avec MQTT Explorer ce qui se passe dans l'arborescence zigbee2mqtt. Si ça ne bouge pas, là encore pas la peine d'incriminer un innocent

Et si ça se passe bien, on peut regarder côté Domoticz, ou HA, ou ...

Noter également que la structure et le contenu des messages MQTT peut être modifié par les options de configuration.yaml. Attention en cas d'upgrade à bien vérifier le contenu de ce fichier, et lire les releases notes de Z2M, il arrive qu'un mode de fonctionnement devienne obsolète (par exemple les "_actions" en 2.0) et qu'il faille ajouter des "trucs" pour que ça fonctionne comme avant (ou modifier la partie aval).

Ne pas oublier de RTFL (version RTFM pour les logs

[Viterbi]

Je ne sais pas si le "fautif" est Domoticz, Mosquitto, Z2M ou autre, ce n'est pas mon sujet.
Je considère Domoticz comme un ensemble dont tous les éléments devraient être compatibles entre eux dans une même version de l'application. Y a t-il un tableau qui résume ces compatibilités ?

Par ailleurs, je veux bien que "Le répertoire /opt/zigbee2mqtt/data contient quelques fichiers importants, qu'il est prudent de bien recopier d'une instal sur l'autre, en les gardant à jour" mais dans quelle procédure est-ce mentionné?

Je veux bien aussi que " les clefs de cryptage et les numéros de séquence. Ils sont (en principe) conservés dans le coordinateur," mais ou est-ce indiqué et comment s'en assurer ?

Idem pour les "Autre fichier important : configuration.yaml, en particulier les items "pan_id", "ext_pan_id", "network_key" et "channel", je n'ai aucun doute sur leur importance mais encore une fois, où est ce mentionné ?
J'ai bien entendu vérifié la remonté des informations des capteurs et j'ai bien vu que seuls ceux connectés en WiFi fonctionnaient et qu'aucune donnée ne remontait des capteurs Zigbee depuis la date de sauvegarde de la base de données de la version 2025.1

Mour MQTT Explorer, il n'est pas dans la liste des plugins, j'ignore où le trouver malgré avoir cherché à partir d'ici succesivement :
https://wiki.domoticz.com/MQTT puis
https://wiki.domoticz.com/MQTT#Use_MQTT_Explorer_tool puis
https://mqtt-explorer.com/ puis
https://github.com/Koenkk/zigbee2mqtt

Problème : le zigbee2mqtt qui est dans mes plugins est "Domoticz integration with zigbee2mqtt project" de stas-demydiuk", faudarit-il que je le remplace ?

Jusqu'à présent, Domoticz que j'utilise depuis 6 ans, s'upgradait sans problèmes. Là, il y a eu un grosse rupture de structure de données non maitrisée.
En général, dans ces situations, un script est prévu pour traiter ce problème mais bon, là c'est mon ancien reflexe professionel qui parle

Bref, a ce jour, je n'ai pas réussi a récupérer les capteurs zigbee et sauf à tout reconstruire à la mimine, y compris les capteur WiFi, je ne vois pas comment m'en sortir.

Je viens d'installer HA, je verrais bien si c'est une appli mieux intégrée.

[Flying Domotic]

Je ne sais pas si le "fautif" est Domoticz, Mosquitto, Z2M ou autre, ce n'est pas mon sujet.
Je considère Domoticz comme un ensemble dont tous les éléments devraient être compatibles entre eux dans une même version de l'application. Y a t-il un tableau qui résume ces compatibilités ?

A priori, il faut regarder dans les docs de DOmoticz pour Domoticz, et Z2M pour Z2M.

Par ailleurs, je veux bien que "Le répertoire /opt/zigbee2mqtt/data contient quelques fichiers importants, qu'il est prudent de bien recopier d'une instal sur l'autre, en les gardant à jour" mais dans quelle procédure est-ce mentionné?

Je veux bien aussi que " les clefs de cryptage et les numéros de séquence. Ils sont (en principe) conservés dans le coordinateur," mais ou est-ce indiqué et comment s'en assurer ?

Idem pour les "Autre fichier important : configuration.yaml, en particulier les items "pan_id", "ext_pan_id", "network_key" et "channel", je n'ai aucun doute sur leur importance mais encore une fois, où est ce mentionné ?

Là, on parle de Z2M, c'est probablement dans sa doc, mais aussi probablement pas de façon aussi claire que ça ... Et c'est valable quelque soit l'outil derrière (Domoticz, HA, ...)

J'ai bien entendu vérifié la remonté des informations des capteurs et j'ai bien vu que seuls ceux connectés en WiFi fonctionnaient et qu'aucune donnée ne remontait des capteurs Zigbee depuis la date de sauvegarde de la base de données de la version 2025.1

Il est assez probable que Z2M ait perdu ses dispositifs lors de la réinstall. Connecter Ha dessus ne va rien changer ...

Mour MQTT Explorer, il n'est pas dans la liste des plugins, j'ignore où le trouver malgré avoir cherché à partir d'ici succesivement :
https://wiki.domoticz.com/MQTT puis
https://wiki.domoticz.com/MQTT#Use_MQTT_Explorer_tool puis
https://mqtt-explorer.com/ puis
https://github.com/Koenkk/zigbee2mqtt

MQTT Explorer est un outil qui se connecte sur un serveur MQTT (qu'il y ait une domotique ou pas derrière). Il se trouve à https://mqtt-explorer.com/ et s'installe sur un PC.

Problème : le zigbee2mqtt qui est dans mes plugins est "Domoticz integration with zigbee2mqtt project" de stas-demydiuk", faudarit-il que je le remplace ?

En fait, il y a 2 choses différentes :
1) l'outil zigbee2mqtt, qui n'est pas lié à Domoticz, installé dans /opt/zigbee2mqtt/ depuis la doc à https://zigbee2mqtt.io. C'est lui qui gère la clef Zigbee et les dispositifs Zigbee, pour envoyer le tout dans MQTT.
2) le plugin Domoticz zigbee2mqtt qui lie les données MQTT et les charge dans Domoticz (et envoie les mises à jour et actions depuis Domoticz si besoin).

Noter qu'on peut aussi installer le plugin d'autodécouverte MQTT au lieu du plugin Domoticz zigbee2mqtt.

Jusqu'à présent, Domoticz que j'utilise depuis 6 ans, s'upgradait sans problèmes. Là, il y a eu un grosse rupture de structure de données non maîtrisée.
En général, dans ces situations, un script est prévu pour traiter ce problème mais bon, là c'est mon ancien reflexe professionel qui parle

Je pense qu'il y a deux choses différentes :
1) le souci d'upgrade en 2025.2 de Domoticz, qui a besoin de libssl V3, documenté dans la procédure d'instal/upgrade de Domoticz qu'on ne lit souvent pas ... Il y a d'ailleurs un passage qui explique comment on s'en sort si on n'est pas sous Trixie.

2) la réinstallation de l'outil Z2M (dans /opt/zigbee2mqtt) qui pourrait ne pas avoir été faite "comme il aurait fallu", ce qui a probablement conduit à perdre les dispositifs Zigbee (je dois reconnaître que ce n'est probablement pas la partie la mieux documentée de Z2M

Ce qu'on pourrait en tirer comme future expérience est qu'il vaut mieux procéder par upgrade que par réinstal, surtout pour Z2M A conserver dans un coin de la tête, vuu que ça restera pareil pour HA ;

Bref, a ce jour, je n'ai pas réussi a récupérer les capteurs zigbee et sauf à tout reconstruire à la mimine, y compris les capteur WiFi, je ne vois pas comment m'en sortir.

Il est peut être encore possible de récupérer le coup si on a les versions originales de /opt/zigbee2mqtt/data, et que les dispositifs Zigbee n'ont pas encore été ré-appairés. SGDG.

Je viens d'installer HA, je verrais bien si c'est une appli mieux intégrée.

Je suis intéressé par le retour ...

Pour info, il est même possible, une fois Z2M correctement installé/appairé, d'y connecter en même temps Domoticz et HA en lecture/écriture, histoire de faire une migration en douceur.

[Viterbi]

A priori, il faut regarder dans les docs de DOmoticz pour Domoticz, et Z2M pour Z2M.

Pas vraiment ! Ce que j'aimerais trouver, c'est la compatibilité entre les deux : pour la version 2025.2 quelle version de Z2M minimum on doit utiliser par exemple.Pour les docs, j'avoue ne pas savoir où les trouver. La premiere en francais qui remonte est ici : https://easydomoticz.com/domoticz-le-tuto-definitif/
Mais elle date un peu : "Domoticz le tuto définitif - Posted on 2 mars 2020"

1) le souci d'upgrade en 2025.2 de Domoticz, qui a besoin de libssl V3, documenté dans la procédure d'instal/upgrade de Domoticz qu'on ne lit souvent pas ... Il y a d'ailleurs un passage qui explique comment on s'en sort si on n'est pas sous Trixie.

Et où sont ces procédures ?

[Keros]

Je viens de déplacer les messages de la discussion dans un nouveau sujet.

[Flying Domotic]

A priori, il n'y a pas de lien direct entre l'outil Z2M et Domoticz. Tout passe par MQTT.

[Viterbi]

C'est exact mais il reste que les intervenants dans cette chaine doivent respecter des critères de compatibilité entre-eux et c'est bien ces critères qui sont introuvables.
Pour la procédure d'installation, celle que j'ai citée est non seulement obsolète mais en plus elle ne fonctionne pas. C'est dommage vu que c'est la première page de easydomoticz !
A quel document peu-on se fier pour installer la dernière version de Domoticz sur Raspbian OS avec prise en charge des objets zigbee via MQTT ?

[Neutrino]

Nous sommes ici sur un site de "fans" et non le site officiel de Domoticz.
Seul le forum vit réellement.

La procédure officielle d'installation est là : https://wiki.domoticz.com/Raspberry_Pi et sur la page de download.
Alors oui, ça n'explique pas comment installer RaspberryPi OS, car domoticz n'est pas un OS ( contrairement à HA et HAOS).

Domoticz est un chef d'orchestre qui communique via des plugins avec d'autres applications.
Quand ça discute par MQTT, c'est l'application cible qui impose son protocole.
Les specs se retrouvent donc dans la doc de Z2M par exemple.
Par contre, il est vraiment très rare que ces protocoles changent.
Il n'y a pas de tableau de compatibilités entre versions car c'est compatible point.
Concrètement, le protocole en MQTT le plus utilisé, c'est celui de HA.
Si tu cherches des "critères", ils sont là https://www.home-assistant.io/integrations/mqtt/

Par contre, la structure de la BDD de domoticz n'a pas changé dans la dernière mise à jour.
Et niveau procédures, Keros fait du très bon travail à chaque MAJ viewtopic.php?t=14484

[Viterbi]

Depuis plusieurs années, j'ai une installation qui fonctionne sans soucis sous raspberry PI OS et Domoticz est en version 2025.1.
Toutes les mises a jour se sont toujours bien passées sauf la transition vers 2025.2. Heureusement j'avais un back-up de l'image Raspi.

Lorsque je lis le forum "de fans", je vois des warnings de toutes les couleurs partout sur cette version et je me dis que si la "compatibilité totale entre version" était si totale, il n'y aurais pas ce genre de problème.
Le souci est qu'aucune solution n'existe pour régler cette situation car j'ai bien l'impression qu'elle n'est pas identifiée clairement !!

J'ai donc pris l'option de refaire mon installation en suivant la procédure qui est ici : https://easydomoticz.com/ , "référence Domoticz Française"

Je n'ai nullement besoin d'une procédure pour installer Raspberry Pi OS : ça fait des années que je le fais les yeux fermés ! Ce n'est pas le cas de tout le bric-a-brac qui est accroché à Domoticz et qui est censé gérer les capteurs où j'ai grand mal à me retrouver dans tous les tutos, recette de cuisine, bidouilles diverses, installations dockérisées plus ou moins maitrisées.

J'ai quand même mis les mains dans le cambouis et suivi scrupuleusement la procédure qui est ici :
https://easydomoticz.com/domotique-comm ... ux-debian/
Pas de chance, elle ne fonctionne pas mais un des "fans" m'a donné la solution.
La suite se complique lorsqu'il faut installer le reste pour traiter les capteurs Z2M : broker Mosquitto, zigbee2mqtt, plugins ...etc
J'ai 3 types de capteurs : Linky via le plugin de Guillaume ZIN, des capteurs WiFi type PZEM04T et des "objets" Z2M. C'est simple, il n'y a ni scripts, ni plans, ni scenarios !
Tout ce petit monde fonctionne très bien avec la 2025.1

Ce qui me manque, c'est soit la solution pour importer la base 2025.1 sur une 2025.2, soit la procédure macroscopique pour reconstruire le tout, prêt a reconfigurer les capteurs!
Je reste à l'écoute

[Neutrino]

Pour avoir un beau crash de mon serveur après une mise à jour de version d’Ubuntu un peu trop ambitieuse, voilà comment j'ai fait pour l'upgrade 2025.1 vers 2025.2.

Installation de domoticz 2025.2 via

Code : Tout sélectionner

sudo bash -c "$(curl -sSfL https://install.domoticz.com)"

Ensuite je l'ai stoppé

Code : Tout sélectionner

sudo service domoticz stop

J'ai écrasé le domoticz.db avec ma sauvegarde et copié mes plugins python et mes scripts.
Puis j'ai relancé.

Code : Tout sélectionner

sudo service domoticz start

Et c'est reparti sans bronché avec une version à jour sur Ubuntu 24.04.3 LTS

Le seul breaking change de la 2025.2, c'est la montée de version de libssl.
Si on doit chercher un problème de "warning" ou de compatibilité, il est là.
Certaine versions de Linux n'intégraient pas la bonne version car trop ancienne.

Un solution qui résout les problème de dépendance, c'est de passer par Docker.