Jak RelfWolf tworzy terminal AI Dr. Zola z wykorzystaniem ZimaBoard 2

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

How RelfWolf Builds a Dr. Zola AI Terminal With ZimaBoard 2

Dziękujemy RelfWolfowi za pokazanie, jak fikcyjny komputer może stać się interaktywnym projektem domowym. W swoim filmie o budowie terminala Dr. Arnim Zoli łączy drukowaną obudowę, ZimaBoard 2, Ollama i Home Assistant, tworząc terminal, który odpowiada na wypowiadane pytania w charakterze postaci.

Projekt łączy kilka niezależnych systemów. Ollama uruchamia model językowy na lokalnym sprzęcie, Home Assistant koordynuje rozmowę, a urządzenie oparte na ESP zapewnia mikrofon i głośnik. Animowana twarz na ekranie nadaje tym odpowiedziom fizyczną obecność.

To połączenie sprawia, że projekt ma znaczenie wykraczające poza rekwizyt inspirowany Marvelem. Pokazuje, jak kompaktowy serwer domowy może obsługiwać interfejs głosowy, co się dzieje, gdy integracja przeciąża mały model, oraz dlaczego najbardziej przekonujący głos nie zawsze jest najwygodniejszym wyborem.

Zanim zaczniesz: Obejrzyj cały film, aby zobaczyć montaż i proces debugowania. Potraktuj go jako zapis eksperymentalnej konstrukcji, a nie gotowy do instalacji zestaw; wymiary obudowy, ustawienia urządzeń i adresy sieciowe zależą od użytych komponentów.

Informacje o tej konstrukcji: Poniższy opis przedstawia demonstrację RelfWolf, w tym zmiany wprowadzone po testach. Jego lokalna konfiguracja konwersacyjna nie korzysta z ChatGPT, natomiast zasoby wizualne są tworzone oddzielnie za pomocą narzędzi AI do generowania obrazów i filmów. Gotowy terminal pozostaje prototypem, a dalsze prace obejmują obudowę, mowę i czas odpowiedzi.

Twarz Dr. Zoli wyświetlana na ukończonym terminalu AI w stylu retro firmy RelfWolf — Gotowy terminal łączy animowaną zieloną twarz, fizyczne elementy sterujące i kontrolki stanu. Zrzut ekranu z filmu RelfWolf.

Co właściwie robi terminal AI Dr. Zola firmy RelfWolf

Terminal przekształca mowę w odpowiedź lokalnie hostowanego modelu językowego. Home Assistant odbiera dźwięk z urządzenia mikrofonowego, przekazuje zapisane słowa do Ollama, a następnie wysyła wygenerowaną odpowiedź przez syntezator mowy, zanim zwróci dźwięk do głośnika.

RelfWolf nadaje agentowi konwersacyjnemu prompt systemowy opisujący postać. Konfiguruje również niestandardową frazę aktywującą oraz ekran, który przełącza się między animacjami nasłuchiwania i mówienia, dzięki czemu interakcja sprawia wrażenie połączonej z terminalem, a nie z oddzielnym interfejsem komputera.

Podczas rozmowy system:

Wykrywa niestandardową frazę wybudzającą i rozpoczyna nasłuchiwanie przez mikrofon.
Przekształca wypowiedzianą wiadomość na tekst dla agenta konwersacyjnego.
Korzysta z Ollamy na ZimaBoard 2, aby wygenerować odpowiedź, a następnie przekształca tę odpowiedź na mowę.
Odtwarza dźwięk, przełączając wyświetlacz na animację mówienia.

Po odtworzeniu dźwięku ekran wraca do pętli bezczynności. Kontrolki panelu pokazują kolejne etapy, sygnalizując, czy terminal jest zasilany, nasłuchuje, przetwarza żądanie czy wypowiada odpowiedź.

Czego potrzebujesz przed rozpoczęciem

Projekt RelfWolf wymaga przygotowań w zakresie obudowy, sieci i oprogramowania głosowego. Przedstawione komponenty obejmują:

ZimaBoard 2 z 16 GB pamięci RAM działający pod kontrolą ZimaOS
Ollama i lokalnie pobrany model językowy
Działająca instalacja Home Assistant ze skonfigurowanym potokiem głosowym
Urządzenie z mikrofonem i głośnikiem oparte na ESP i korzystające z ESPHome
Wyświetlacz, przełączniki panelu sterowania, przyciski i kontrolne diody LED
Wydrukowana obudowa, elementy montażowe, okablowanie i głośniki odpowiednie do obudowy

Działanie systemu zależy od możliwości komunikowania się urządzenia z mikrofonem, Home Assistant i serwerem Ollama. Przetestuj te połączenia przed zamontowaniem elektroniki w obudowie i sprawdź wymiary wyświetlacza oraz położenie złączy względem rzeczywistych komponentów, których planujesz użyć.

Dlaczego ZimaBoard 2 pasuje do tego typu lokalnego terminala AI

RelfWolf wybiera ZimaBoard 2 jako komputer wewnątrz terminala. Wersja z 16 GB zapewnia kompaktową platformę, na której może testować lokalny model językowy, zarządzać Ollamą za pośrednictwem ZimaOS i sterować wyświetlaczem postaci bez budowania projektu wokół komputera stacjonarnego.

Demonstracja pokazuje również, dlaczego sama pojemność pamięci nie determinuje wrażeń z użytkowania. Na czas oczekiwania na odpowiedź wpływają obciążenie modelu, chłodzenie, konfiguracja Home Assistant i generowanie mowy.

Część 1: Zbuduj obudowę terminala i panel sterowania

Pierwsza część nadaje asystentowi fizyczną formę. RelfWolf projektuje obudowę retrokomputera wokół ekranu i panelu elementów sterujących, a następnie przygotowuje wydrukowane części do montażu.

Krok 1: Zaprojektuj i wydrukuj obudowę

Stwórz obudowę na podstawie rzeczywistych wymiarów wyświetlacza i podzespołów wewnętrznych. Doświadczenie RelfWolf pokazuje, dlaczego rozmieszczenie złączy jest równie ważne jak widoczny rozmiar ekranu: nieco inny model wyświetlacza może później spowodować nieoczekiwany problem z prześwitem na kabel.

Drukarka 3D Ender wytwarzająca element obudowy terminala Dr. Zola — Obudowa jest wytwarzana na biurkowej drukarce 3D, dlatego wymiary i prześwit dla złączy są ważnymi elementami konstrukcji.

Krok 2: Przygotuj elementy sterujące i punkty mocowania

Zamontuj przełączniki, przyciski, diody LED i przewody na panelu sterowania przed zamknięciem obudowy. Tuleje gwintowane umożliwiają przymocowanie panelu śrubami i jego ponowne zdjęcie podczas testowania elektroniki.

Krok 3: Zamontuj wyświetlacz i sprawdź prześwit dla kabla

Przetestuj połączenie HDMI z ekranem w zamontowanej pozycji. Gdy kabel koliduje z obudową, RelfWolf używa kątowego adaptera HDMI, aby dopasować połączenie, unikając natychmiastowego przeprojektowywania obudowy i kolejnego długiego cyklu drukowania.

Krok 4: Zabezpiecz przedni panel

Dopasuj przygotowany panel sterowania do przedniej części terminala i przykręć go do tulei gwintowanych. Pozostaw wewnętrzną elektronikę dostępną do czasu przetestowania oprogramowania, dźwięku i wyświetlacza razem.

Zmontowana obudowa nadaje terminalowi wygląd, ale nadal jest tylko zewnętrzną powłoką. Następnym zadaniem jest sprawienie, aby komputer lokalnie generował odpowiedzi i połączenie ich z mikrofonem oraz głośnikiem.

Część 2: Uruchom lokalnego agenta konwersacyjnego za pomocą ZimaOS i Ollamy

W 6:01RelfWolf przedstawia lokalny sprzęt do obsługi sztucznej inteligencji. Najpierw testuje model w wierszu poleceń, a następnie przechodzi do interfejsu ZimaOS i łączy Ollamę z Home Assistant.

Krok 1: Przetestuj Ollamę na ZimaBoard 2

Zacznij od bezpośredniej wymiany tekstowej, zanim dodasz potok głosowy. RelfWolf otrzymuje szybką odpowiedź w teście z wiersza poleceń, potwierdzając, że urządzenie może uruchomić model, zanim zostaną dodane kolejne integracje.

Ten początkowy wynik staje się później przydatnym punktem odniesienia. Gdy ten sam projekt zwalnia w Home Assistant, można sprawdzić, co integracja dodaje do żądania, zamiast zakładać, że urządzenie w ogóle nie potrafi uruchamiać lokalnej sztucznej inteligencji.

Krok 2: Skonfiguruj Ollamę przez ZimaOS

Użyj interfejsu aplikacji ZimaOS, aby zainstalować Ollamę i zarządzać nią zgodnie z instrukcjami na filmie. Model musi być dostępny i odpowiadać, zanim inna usługa będzie mogła używać go jako backendu konwersacyjnego.

Celem RelfWolfa jest uruchomienie modelu konwersacyjnego na własnym sprzęcie. ZimaOS udostępnia interfejs zarządzania aplikacjami, a Ollama obsługuje lokalny model i jego odpowiedzi.

Krok 3: Połącz Home Assistant z serwerem Ollama

Dodaj integrację Ollama w Home Assistant i wskaż lokalny adres serwera. Utwórz agenta Assist, który używa Ollama do prowadzenia rozmowy, aby wiadomości wprowadzane za pośrednictwem Home Assistant trafiały do modelu działającego na ZimaBoard 2.

Krok 4: Konfiguracja postaci i ograniczenie zbędnych zadań

Ustaw prompt systemowy definiujący zachowanie postaci, a następnie przetestuj go, wpisując wiadomość.

Ustawienia Ollama w Home Assistant pokazujące prompt systemowy dr. Arnim Zoli — RelfWolf konfiguruje instrukcje dotyczące charakteru agenta konwersacyjnego w Home Assistant, z wybranym w pokazanych ustawieniach modelem llama3.2:1b.

W pierwszym zintegrowanym teście RelfWolfa użycie procesora osiąga 100%, temperatura przekracza 80°C, a odpowiedź zajmuje znacznie więcej czasu, niż oczekiwano. Mały wentylator obniża temperaturę, ale zwrócony kod JSON ujawnia kolejny problem: informacje o sterowaniu inteligentnym domem przeciążają model. Wyłączenie powiązanej opcji sterowania sprawia, że rozmowa działa skuteczniej.

RelfWolf mocujący wentylator chłodzący do radiatora ZimaBoard 2 — Po tym, jak zintegrowany test AI ujawnia wysokie temperatury, do ZimaBoard 2 przymocowany zostaje mały wentylator.

Krok 5: Potwierdzenie działania rozmowy przed dodaniem głosu

Powtórz test tekstowy za pośrednictwem Home Assistant i sprawdź, czy odpowiedź jest zgodna z instrukcją dotyczącą postaci. Dzięki temu można oddzielić integrację modelu językowego od konfiguracji mikrofonu, słowa wybudzającego i głośnika, która nastąpi później.

To ulepszenie jest specyficzne dla tej konstrukcji i jej zastosowania skoncentrowanego na rozmowie. RelfWolf nie potrzebuje, aby postać obsługiwała jego urządzenia inteligentnego domu, więc usunięcie tego dodatkowego zadania pozwala modelowi skupić się na udzielaniu odpowiedzi.

Część 3: Dodawanie słowa wybudzającego, głosu i animowanej twarzy

Ostatnia część łączy działającego agenta konwersacyjnego z fizycznym terminalem. ESPHome udostępnia mikrofon i głośnik w Home Assistant, a niestandardowy model openWakeWord pozwala RelfWolfowi aktywować asystenta, wypowiadając imię postaci. Trenuje frazę wybudzającą, pobiera wynikowe pliki i dodaje je do swojej konfiguracji Home Assistant.

Następnie testuje Kokoro pod kątem bardziej naturalnej mowy i tworzy dwie krótkie pętle wizualne: jedną animację bezczynności i jedną animację mówienia. Niewielki program odtwarza pętlę bezczynności przy uruchomieniu i przełącza klipy w odpowiedzi na aktywność odtwarzania w Home Assistant. ESPHome łączy również wskaźniki panelu ze stanem asystenta, a małe głośniki testowe zastępują większe głośniki 5 W.

Narzędzie AI do tworzenia wideo podglądające animowaną zieloną twarz dr. Zoli — Wygenerowany klip mowy zapewnia animację ekranu; czas odtwarzania określa, kiedy terminal przełącza się między pętlami wizualnymi.

Kompletny montaż ujawnia problemy, które nie były oczywiste podczas osobnych testów. Przeniesienie kabla Ethernet do drugiego portu sieciowego zmienia adres płytki i zrywa połączenia. Wyświetlacz również rozpoczyna pętlę mówienia, zanim rozpocznie się słyszalna mowa. Po dostosowaniu wyzwalacza odtwarzania RelfWolf wraca do szybszego oryginalnego modelu mowy, ponieważ Kokoro dodaje wystarczające opóźnienie, aby całkowity czas oczekiwania przekroczył 20 sekund.

Zmontowany terminal Dr. Zola z twarzą na ekranie i widocznym za nim urządzeniem ZimaBoard 2 — Zmontowany terminal jest testowany z ekranem, panelem sterowania, kontrolkami stanu i podłączonym lokalnym sprzętem AI.

Podstawowa mowa vs Kokoro vs konfiguracja końcowa

Konfiguracja mowy	Główna zaleta	Główne ograniczenie	Rola w projekcie
Oryginalny model mowy	Szybsze generowanie mowy w demonstracji	Początkowy głos brzmi generycznie	Wczesne testy i końcowy działający terminal
Kokoro	Bardziej naturalne opcje głosu	Dodaje około dziewięciu sekund opóźnienia generowania mowy w zarejestrowanym teście	Eksperyment z jakością głosu
Końcowa zintegrowana konfiguracja	Łączy szybszy głos z promptem postaci, frazą wybudzającą i ekranem	Jakość głosu i czas odpowiedzi nadal wymagają poprawy	Ukończona demonstracja prototypu

Oś czasu pokazująca słuchanie, zakończenie odpowiedzi AI i opóźnione odtwarzanie dźwięku — Oś czasu oddziela czas odpowiedzi modelu od dodatkowego oczekiwania na odtwarzanie mowy, pomagając wyjaśnić całkowite opóźnienie terminala.

Ważne ograniczenia wydajności, sieci i synchronizacji

Ukończona rozmowa pokazuje, że poszczególne elementy mogą współdziałać, ale nie określa stałego czasu odpowiedzi dla każdego modelu ani każdej instalacji. Testy RelfWolf pokazują, że integracja może wymagać znacznej dodatkowej pracy, a generowanie mowy może pozostać powolne nawet po zakończeniu odpowiedzi przez model językowy.

Zmierz całą rozmowę. Użytkownik czeka na rozpoznawanie mowy, wnioskowanie modelu i generowanie mowy, zanim usłyszy odpowiedź.
Sprawdź zadania przypisane agentowi. Niepotrzebne informacje dotyczące sterowania inteligentnym domem powodowały problemy w tej konkretnej konfiguracji rozmowy.
Monitoruj chłodzenie pod obciążeniem. Dodany wentylator obniżył zgłaszaną temperaturę do połowy 60°C podczas kolejnego testu.
Zachowaj spójność adresów serwera. Zmiana portu sieciowego przerwała połączenia używane przez terminal.
Dopasuj animację do słyszalnego odtwarzania. Wczesne zdarzenie głośnikowe nie oznaczało, że wygenerowana mowa była już odtwarzana.
Wybierz jakość mowy, uwzględniając opóźnienie. RelfWolf preferował szybszy oryginalny model podczas końcowej interakcji.

Rozwiązywanie problemów z lokalnym terminalem głosowym sztucznej inteligencji

Jeśli terminal przestanie działać po złożeniu, prześledź te same trzy połączenia, które spowodowały problemy podczas testów RelfWolfa:

Sprawdź, czy Home Assistant nadal wskazuje prawidłowy adres serwera Ollama, szczególnie po przełożeniu kabli sieciowych.
Sprawdź konfigurację agenta konwersacyjnego, gdy wcześniej szybki model staje się wolny lub zwraca nieoczekiwany ustrukturyzowany wynik.
Sprawdź logi dźwięku i odtwarzania, gdy twarz zaczyna się poruszać, zanim głośnik wyemituje dźwięk.

Porównaj także moment zakończenia generowania odpowiedzi przez model z momentem faktycznego rozpoczęcia odtwarzania dźwięku. W zaprezentowanych logach były to dwa oddzielne opóźnienia. Przetestuj każdy komponent niezależnie, a następnie powtórz kompletną rozmowę głosową ze wszystkimi elementami zamontowanymi wewnątrz obudowy.

Kompaktowy serwer domowy nadaje fikcyjnemu terminalowi działający głos

Projekt RelfWolfa przekształca inspirowaną postacią obudowę w działający lokalny interfejs sztucznej inteligencji. Rezultat zależy w równym stopniu od połączeń między modelem, potokiem głosowym, fizycznymi elementami sterującymi i wyświetlaczem, co od wydrukowanej obudowy.

ZimaBoard 2 zapewnia lokalną platformę obliczeniową, ZimaOS obsługuje zarządzanie aplikacjami, a Home Assistant koordynuje interakcję. Najbardziej przydatne wnioski wynikają ze zmian wprowadzonych podczas testów: zmniejszenia obciążenia agenta konwersacyjnego, sprawdzenia adresów sieciowych, skorygowania czasu odtwarzania oraz wyboru szybszego modelu mowy.

Obejrzyj pełny projekt Dr. Zola autorstwa RelfWolf, aby zobaczyć proces tworzenia, debugowania i końcową rozmowę. Jego końcowa ocena pozostawia miejsce na poprawki obudowy, lepszą jakość wydruku oraz dalsze usprawnienia głosu i czasu odpowiedzi.

Jeśli eksperymentujesz z lokalną sztuczną inteligencją, budujesz terminal głosowy lub łączysz sprzęt Zima z Home Assistant, odwiedź społeczność ZimaSpace, aby udostępnić swoją konfigurację i omówić elementy, które chcesz ulepszyć w następnej kolejności.