Integracja z Home Assistant - Fork by @Gadulowaty

Part 1: Nowe urządzenie RCW-21 już tu jest

Dobry,
No to powoli do przodu prace idą. Wszystkie ostrzeżenia związane z elementami które będą wycofywane w HA już zrobione.
Temat RCW-21 również jest ogarnięty i integracja prawidłowo odczytuje wartości z sensorów urządzenia (prędkość wiatru i nasłonecznienie).

 A dla ciekawych ZamelLab poniżej, żona drugi tydzień chodzi z mokrymi włosami

Part 2: Encja kontrolera raportuje stan połączenia sieciowego

Kolejne zmiany:
* zmieniłem i dodałem tłumaczenie stanu encji EFC, teraz rozróżnia dwa stany connected / disconnected (było tylko ready)
* encja zawiera nowe atrybuty - bieżące parametry sieciowe przy stanie połączony
* nazwy wartości atrybutów encji zyskały polskie tłumaczenia


W planie dodanie dla kontrolera EFC encji pochodnych z klasy Update - będzie w HA informacja czy jest dostępna aktualizacja firmwaru do kontrolera. Przyszłościowo rozszerzę to również na poszczególne urządzenia integracji ExtaLife

Na razie,
Gadulowaty

Cześć wszystkim,
Na dzisiaj porcja info i opisów szykowanych zmian. Ale wszystko po kolei.

Część I: Poprawione istotne błędy
* dialog konfiguracji opcji dla integracji na pierwszym ekranie nie wczytywał zapisanych wartości tylko zawsze zaczytywał zdefiniowane domyślne wartości - interwał odpytywania, wyszarzanie encji
* przeładowanie integracji z poziomu GUI - nie wszystkie encje prawidłowo sprzątały po sobie i się wyrejestrowywały - sypało po logach o nie unikalnych id w rejestrze encji
*

Część II: Poprawione mniejsze błędy
* uzupełniłem typowanie zmiennych i parametrów w kodzie źródłowym (ciągle jeszcze trochę brakuje)
* uzupełniłem brakujące elementy w manifeście integracji Admin, info tutaj

Część III: Znalezione błędy - oczekują na poprawę
* podczas ładowania integracji przy pierwszym zaczytaniu informacji z EFC o urządzeniach zostają one dodane do HA i zapamiętywane jako dodane. W szczególnej sytuacji kiedy dodane zostanie nowe urządzenie do EFC podczas działania integracji podczas najbliższego odpytania o stan przez HA urządzenie to pojawi się w integracji ale przy każdym następnym odpytaniu przez stan nastąpi próba dodania i ostrzeżenia o duplikatach. Integracja w kolejnych odpytaniach nie aktualizuje listy już dodanych urządzeń. Rozwiązaniem tymczasowym jest wykonanie wczytania integracji ponownie.

W następnym poście informacje o "imporovments"

Na razie,
Gadulowaty

Cześć wszystkim,
Na dzisiaj porcja info i opisów szykowanych zmian. Ale wszystko po kolei.

Część I: Poprawione istotne błędy
* dialog konfiguracji opcji dla integracji na pierwszym ekranie nie wczytywał zapisanych wartości tylko zawsze zaczytywał zdefiniowane domyślne wartości - interwał odpytywania, wyszarzanie encji
* przeładowanie integracji z poziomu GUI - nie wszystkie encje prawidłowo sprzątały po sobie i się wyrejestrowywały - sypało po logach o nie unikalnych id w rejestrze encji
*

Część II: Poprawione mniejsze błędy
* uzupełniłem typowanie zmiennych i parametrów w kodzie źródłowym (ciągle jeszcze trochę brakuje)
* uzupełniłem brakujące elementy w manifeście integracji Admin, info tutaj

Część III: Znalezione błędy - oczekują na poprawę
* podczas ładowania integracji przy pierwszym zaczytaniu informacji z EFC o urządzeniach zostają one dodane do HA i zapamiętywane jako dodane. W szczególnej sytuacji kiedy dodane zostanie nowe urządzenie do EFC podczas działania integracji podczas najbliższego odpytania o stan przez HA urządzenie to pojawi się w integracji ale przy każdym następnym odpytaniu przez stan nastąpi próba dodania i ostrzeżenia o duplikatach. Integracja w kolejnych odpytaniach nie aktualizuje listy już dodanych urządzeń. Rozwiązaniem tymczasowym jest wykonanie wczytania integracji ponownie.

W następnym poście informacje o "imporovments"

Na razie,
Gadulowaty

Wygląda na świetną robotę, ale trzeba zaznaczyć do jakiej to wersji - mówimy o twoim repo na github, prawda? Najlepiej byłoby to wersjonować, żeby było jasne dla wszystkich jakiej wersji dotyczą te zmiany. Gdy to trafi na moje repo i wydam betę, to wtedy będzie jasne do czego te zmiany się odnoszą. Możesz zrobić wersjonowaine na swoim repo i wydawać release'y podobnie jak ja, albo możemy to po prostu wpuszczać kolejnymi PRami do mojego repo i ja wydam release'y, tylko zależy mi na kontrolowaniu wersji i stopniowym dodawaniu funkcjonalności żeby utrzymać stabilność i transparentność tego co kiedy jest/było dodane w razie W

Part 3: Bardzo technicznie - dla zainteresowanych

Najpierw technicznie (@admin to dla Ciebie).
Przepisałem całość kodu dot. API komunikacyjnego z kontrolerem EFC. Zmiany obejmują:
* wymiana komunikatów - request <-> response odbywa się w oparciu o struktury obiektowe.
* poprawiona i ustrukturyzowana obsługa wyjątków w API
* wprowadzone prawidłowe raportowanie kodów błędów dla komunikatów wymienianych pomiędzy integracją i kontrolerem
* wyprowadziłem zadanie monitorujące połączenie z bloku Core integracji do sekcji ExtalifeAPI
* poprawiłem wstrzymywanie odpytywania kontrolera o stany w przypadku braku połączenia z kontrolerem - zadanie jest wstrzymywane do czasu uzyskania ponownego połączenia z EFC
* przebudowałem obsługę eventów wysyłanych przez obiekt połączenia TCP (ExtaLifeConn kiedyś to był TCPAdapter)
* przemeblowałem kod wysyłania i odbierania wiadomości z kontolera
* zmodyfikowałem logikę odbierania wiadomości od EFC. w poprzedniej wersji zdarzały się sytuacje że odbieranie odpowiedzi od EFC kończyło się timeoutem. Wynikało to z faktu, że równocześnie z oczekiwaną odpowiedzią szły komunikaty NOTIFICATION przy systemie zawierającym dużo elementów tak jak u mnie ok. 50 elementów wykonawczych zadanie oczekiwania na odpowiedz nie doczekiwało otrzymania ostatniego komunikatu z odpowiedzi ze stanem "SUCCESS".

To była techniczna część, teraz będzie coś już bardziej "user friendly".

Na razie,
Gadulowaty

Part 4: Tym razem o uruchamianiu integracji.
Zmieniłem logikę ładowania integracji. Dotychczas było tak że w przypadku braku możliwości nawiązania połączenia z EFC integracja lądowała w stanie "niedostępna". Wymagało to ręcznego popchnięcia palcem HA (np. po podłączeniu zasilania lub kabla sieciowego do EFC) i zmuszenia HA do zaczytania ponownie integracji.
Teraz ten problem nie występuje samo HA jest informowane przez integrację że kontroler EFC jest nie gotowy i sam HA będzie próbował ponowić ładowanie integracji Exty do skutku.


Drugi problem jaki mógł się pojawić to w przypadku błędnego hasła. Integracja ten konkretny problem raportuje do HA i HA podejmuje odpowiednie działania wygląda to jak poniżej:

[/center]

W ustawieniach przy encjach zobaczycie to co pod 1. następnie po kliknięciu i uzupełnieniu formularza z pkt. 2 HA przystępuje do ponownego połączenia z EFC (obsługa funkcjonalności REAUTH)

Part 5: Tym razem o rekonfiguracji i diagnostyce integracji.
Po dodaniu wpisu do integracji dotychczas nie można było już zmienić parametrów połączenia z EFC. W nowej wersji jest to już możliwe po kliknięciu w "trzy kropki" przy wpisie pojawi się to co na rysunku, zwróćcie uwagę na pkt.1:


Po wybraniu tej opcji ukaże się mowy dialog:


Pozwalający na zmianę parametrów połączenia do EFC.

Dodatkowo w tym samym menu pojawił się wpis "Diagnostyka" patrz pkt.2 na rys.1. Pozwala na pobranie przygotowanych danych diagnostycznych. W przyszłości może się okazać wielką pomocą przy rozwiązywaniu problemów które się pojawią.
Od teraz pole adres pozwala również na wpisanie po ":" numer portu. Dla wielu z nas będzie to może mało istotne ale w przypadku developerów lub osób które używają NAT do komunikacji z EFC może okazać się przydatne.

Na razie,
Gadulowaty

Part 6: Tym razem o kopiach zapasowych.
Zapewne wielu z was walczy z problemem zapisu na kartę SD w EFC. Z pomocą może przyjść wykonywanie automatycznych kopii zapasowych konfiguracji kontrolera. Rozbudowałem integrację o możliwość wykonania kopii jako usługa integracji. Prezentuje się to tak jak na zdjęciu poniżej:


Można ustawić wykonywanie akcji w schedulerze. Należy wskazać encje kontrolera. Następnie można wybrać Harmonogram - zmianie ulega nazewnictwo backupów dzięki temu jest możliwe ustawienie parametru Retencja i oczywiście należy jeszcze podać ścieżkę gdzie kopie będą tworzone. U siebie mam ustawione trzy harmonogramy:
* Jeden "Dzienny" z retencją 7 i trigger w schedulerze coddziennie o 23.00 (mam kopie z ostatniego tygodnia).
* Drugi ustawiony na "Tygodniowy" z retencja 5 i trigger na każdy poniedziałek o 23.20 (mam kopie z ostatniego miesiąca)
* Trzeci "Miesięczny" z retencją 12 i trigger na każdy 15 dzień miesiąca na 23.50 (mam kopie z ostatniego roku).

W przyszłości dopiszę jeszcze funkcje "restore", a jak na razie usługa backupu tworzy dwa pliki dla każdego uruchomienia:
* pierwszy z rozszerzeniem ".bak" to plik który jest w 100% zgodny z backupem aplikacji z telefonów - można go swobodnie użyć do odzyskania konfiguracji.
* drugi z rozszeszeniem ".json" - jak nazwa wskazuje to plik z danymi w formacie json do poczytania.

Nazewnictow plików kopii ma format "Backup[Harmonogram]__[MAC]__[YYYYMMDD]_[hhmmss]" gdzie Haromonogram to nazwa harmonogramu może być "Daily", "Weekly", "Monthly", "Yearly". MAC to adres MAC kontrolera - może są tacy co mają takich podpiętych kilka i na końcy znacznik daty i czasu.


Na razie,
Gadulowaty

Part 7: Tym razem o pomniejszych zmianach.
* uzupełniłem i poprawiłem pliki lokalizacji językowej - tam gdzie była taka możliwość: dodatkowe atrybuty encji, opisy usług dostarczanych przez integrację w sekcji developerskiej służącej do wywoływania usług
* dodałem przypisanie ikon dla usług (plik icons.json)
* dodałem więcej informacji do extra state attributes encji kontrolera

Part X: To be continued...
A ten temat będzie zawsze ostatnim i tu znajdziecie informację o tym nad czym aktualnie pracuję.

Plan na najbliższy czas:

• przemyśleć koncepcję obsługi ROB-21 - teraz dla bram mamy tylko stan "otwarte" / "zamknięte" - a mój pomysł żeby przy wykorzystaniu informacji z krańcówek uzyskać w HA trzeci stan "uchylona"
• przejrzeć koncepcję dla nadajników (pilotów)
• stworzenie wspólnej klasy/obiektu dla ExtaLifeAPI dostarczającego informacji o możliwościach poszczególnych elementów ekosystemu Exta Life (zmniejszenie klauzul "import")
• zająć się platformą "update" - uruchomić możliwość aktualizacji firmwaru kontrolera z poziomu HA i oczywiście to samo dla urządzeń wykonawczych (sensorów, odbiorników etc.)  - 2024.06.26 zakończone
• poprawienie logiki przekazywania powiadomień pomiędzy Core a encjami (centralne generowanie i pobieranie nazwa sygnałów)  - 2024.06.26 zakończone
• poprawienie dodawania encji podczas odświeżania stanów, tak żeby nowe urządzenia pojawiały się bez przeładowania integracji i nie dodawały się duplikaty - 2024.06.15 zakończone

Zdiagnozowane błędy:

• 2024.06.15 - Sterowanie urządzeniami ExtaFree nie działa prawidłowo. Np. sterowanie roletami załącza się z opóźnieniem i działa tylko przez chwilę - 2024.06.26 rozwiązane
• 2024.06.17 - Integracja dla urządzeń ExtaFree nie działa prawidłowo z wersją firmwaru EFC 1.6.29 - brak pola "channel" w komunikacie od EFC do integracji. - 2024.06.15 rozwiązane

Ostrzeżenia rozwiązanie (Data rozwiązania, wersja HA, wpis logu)

• 2024.06.14 | Wersja 2024.7.0 | 2024-06-14 20:28:32.178 WARNING (MainThread) [homeassistant.helpers.frame] Detected that custom integration 'extalife' calls async_forward_entry_setup for integration, extalife with title: Developer and entry_id: 843bdecc63e8302c1a02b3cfb93605df, which is deprecated and will stop working in Home Assistant 2025.6, await async_forward_entry_setups instead at custom_components/extalife/__init__.py, line 527: await self._hass.config_entries.async_forward_entry_setup(, please create a bug report at https://github.com/dgtal1/extalife_custom_component/issues | [[Więcej info]]
• ...

Ostrzeżenia wymagające rozwiązania (Wersja HA, wpis logu)

• 2024.06.27 | Wersja 2024.6.0 | 2024-06-27 12:36:16.486 WARNING (ImportExecutor_0) [homeassistant.components.automation] AutomationActionType was used from extalife, this is a deprecated constant which will be removed in HA Core 2025.1. Use TriggerActionType instead, please report it to the author of the 'extalife' custom integration
• 2024.06.27 | Wersja 2024.6.0 | 2024-06-27 14:55:27.370 WARNING (MainThread) [homeassistant.helpers.frame] Detected that custom integration 'extalife' accesses hass.helpers.device_registry. This is deprecated and will stop working in Home Assistant 2024.11, it should be updated to import functions used from device_registry directly at custom_components/extalife/device_trigger.py, line 76: device_registry = hass.helpers.device_registry.async_get(), please create a bug report at https://github.com/dgtal1/extalife_custom_component/issues
• ...

Hej. Wielkie dzięki za Twojego forka integracji. Kupa roboty i za to wielki szacunek!
Ja po jego instalacji mam problem ze sterownikami rolety SRP-02 z systemu ExtaFree. Naciśnięcie przycisku opuść w HA opuszcza tylko o kawałek. Naciśnięcie przycisku podnieś - podnosi do końca. Przez apkę na androidzie działa jak powinno.
Pzdr

@Gadulowaty
Dzięki za super robotę, aż chce się wchodzić na forum i testować nowości. Wielki szacun.
Co do ostatnich zmian, po podmianie wszystkich plików z forka, zniknęły mi wszystkie ikony urządzeń exta life, została tylko nowa ikona EFC-01. HA aktualny na dzień dzisiejszy, restarty porobione. Coś muszę jeszcze zrobić aby pojawiły się ikony?

Edycja: po kilku restartach ikony wróciły (dziwna sprawa) - dzięki jeszcze raz i przepro za zamieszanie.

 Witam,
@w3t3ran: twój przypadek wskazuje, że jest problem z pierwszym wykrywaniem urządzeń przy inicjalizacji integracji. Zmieniłem logikę odpytywania (skróciłem timeouty na otrzymanie odpowiedzi od EFC przez integrację, bez zbędnych szczegółów - ale nowa forma powinna sobie radzić) przez co pierwszy przebieg nie pobiera prawidłowo listy urządzeń - a drugi i kolejny przebieg wykrywania nie radzi sobie z dodawaniem encji (to jeszcze w wersji u admina nie działało - pojawiło się kiedyś pod hasłem "znikające encje w integracji). Mam w tej chwili rozwiązanie tego problemu ale w formie "na brudno". Postaram się przez weekend przygotować wersję ostateczną. A tymczasem dla potwierdzenia mojej teorii jeżeli możesz przygotować zrzut logów z HA i dane diagnostyczne (nowość w integracji) i spakować oraz podesłać do mnie na gadulowaty(at)o2.pl. Musisz dostać się do katalogu config HA i jeżeli możesz zmień na chwilę konfigurację HA tzn. w katalogu config w pliku configuration.yaml musi znaleźć się wpis:


logger:
  default: warning
  logs:
    custom_components.extalife: debug


Uwaga ważne jest aby zachować odstępy na początku lini (2 spacje). Wykonaj z tak zmienioną konfiguracją restart HA i załącz po tym jak się nie podładują urządzenia plik home-assistant.log (będzie w tym samym katalogu co configuration.yaml). Nie wiem na ile masz umiejętności zgrzebania w HA takich rzeczy ale jak coś to pisz na priv.

Na razie,
Gadulowaty

Witam,
@spider20: Dziiiwne. Ale wierzę że tak jest. Nie ukrywam, że część integracji dot. ExtyFree nie ruszałem i oberwało ci się jakimś rykoszetem. Na chwilę obecną nie mam dostępu do urządzeń serii ExtyFree (nie podłączone). Dopiero w poniedziałek jak będę w pracy to wygrzebie odbiorniki ExtyFree i dodam je do systemu developerskiego ExtaLife (nie robiłem tego wcześniej bo myślałem, że to raczej "przypadek akademicki", ale widzę że jednak są wśród na osoby które to praktykują w działających systemach). Popatrzę co jest na rzeczy z twoim przypadkiem. A tymczasem taka sama prośba jak do @w3t3rana. Zmień w configuration.yaml poziom logowania na debug. Wykonaj kilka akcji z SRP i pobierz diagnostykę integracji, dodaj do tego home-assistant.log następnie spakuj i wyślij na gadulowaty(at)o2.pl. W razie problemów pisz na priv i daj znać jak uda ci się to wysłać.

Na razie,
Gadulowaty 

Witam,
@w3t3ran: twój przypadek wskazuje, że jest problem z pierwszym wykrywaniem urządzeń przy inicjalizacji integracji. Zmieniłem logikę odpytywania (skróciłem timeouty na otrzymanie odpowiedzi od EFC przez integrację, bez zbędnych szczegółów - ale nowa forma powinna sobie radzić) przez co pierwszy przebieg nie pobiera prawidłowo listy urządzeń - a drugi i kolejny przebieg wykrywania nie radzi sobie z dodawaniem encji (to jeszcze w wersji u admina nie działało - pojawiło się kiedyś pod hasłem "znikające encje w integracji). Mam w tej chwili rozwiązanie tego problemu ale w formie "na brudno". Postaram się przez weekend przygotować wersję ostateczną. A tymczasem dla potwierdzenia mojej teorii jeżeli możesz przygotować zrzut logów z HA i dane diagnostyczne (nowość w integracji) i spakować oraz podesłać do mnie na gadulowaty(at)o2.pl. Musisz dostać się do katalogu config HA i jeżeli możesz zmień na chwilę konfigurację HA tzn. w katalogu config w pliku configuration.yaml musi znaleźć się wpis:


logger:
  default: warning
  logs:
    custom_components.extalife: debug


Uwaga ważne jest aby zachować odstępy na początku lini (2 spacje). Wykonaj z tak zmienioną konfiguracją restart HA i załącz po tym jak się nie podładują urządzenia plik home-assistant.log (będzie w tym samym katalogu co configuration.yaml). Nie wiem na ile masz umiejętności zgrzebania w HA takich rzeczy ale jak coś to pisz na priv.

Na razie,
Gadulowaty

@Gadulowaty
Wysłałem pliki diagnostyczne z mojego HA. Mam nadzieję, że o to chodziło. Przyznam się, że jestem fascynatem HA i Exta Life, ale nie jestem programistą ani informatykiem, ot taki stolarz z wyższym i w wolnej chwili jaram się tym tematem.

Pozdrawiam
w3t3ran