Kann ein lokaler Sprachassistent mit einem einzigen Inferenzserver in mehreren Räumen funktionieren?

Eva Wong

IceWhale author

Eva Wong ist die Technische Redakteurin und und leidenschaftliche Tüftlerin bei ZimaSpace. Eine lebenslange Geek mit einer Leidenschaft für Homelabs und Open-Source-Software, sie spezialisiert sich darauf, komplexe technische Konzepte in zugängliche, praktische Anleitungenzu übersetzen. Eva ist der Meinung, dass Self-Hosting Spaß machen und nicht einschüchternd sein sollte. Durch ihre Tutorials befähigt sie die Community, Hardware-Setups zu entmystifizieren, vom Bau ihres ersten NAS bis hin zur Beherrschung von Docker-Containern.

Can a Local Voice Assistant Work Across Multiple Rooms With One Inference Server?

Ja. Mehrere Räume können sich einen lokalen Sprachinferenzserver teilen. Jeder Raum benötigt einen Mikrofon-/Lautsprechersatelliten, während die aufwendigeren Aufgaben der Sprach-zu-Text-Umwandlung, der Sprachmodellverarbeitung und der Text-zu-Sprache zentral auf einem Heimserver ausgeführt werden können. Das System lässt sich am besten skalieren, wenn die Wake-Word-Erkennung oder die Spracherkennung nahe am Mikrofon erfolgt, damit inaktive Räume nicht kontinuierlich Audio an den Server streamen.

Die entscheidende Begrenzung ist nicht die Anzahl der Räume, sondern wie viele Personen gleichzeitig sprechen und wie viel Rechenleistung jede Pipeline-Stufe benötigt. Sechs weitgehend inaktive Satelliten können einfacher zu bewältigen sein als zwei Räume, die sich überschneidende Whisper-, LLM- und TTS-Aufgaben erzeugen.

Wie sieht eine lokale Spracharchitektur für mehrere Räume aus?

Küchensatellit ----Schlafzimmersatellit -----Bürosatellit -------> Lokaler Sprachserver
Wohnzimmersatellit --/      |
                              +-- STT
                              +-- Intent / LLM
                              +-- TTS
                              +-- Home Assistant / Tools

Die Aufgabe des Satelliten kann einfach bleiben: Audio aufnehmen, ein Wake-Word oder Sprache erkennen, die Anfrage mit seiner Raumidentität versehen, die zurückgegebenen Audiodaten abspielen und optional lokale Stummschaltungssteuerungen übernehmen.

Die aktuelle Wyoming-Integration von Home Assistant ist ein gutes Beispiel für diese Trennung. Sie kann Assist mit lokalen Systemen für Sprache-zu-Text, Text-zu-Sprache und Wake-Word-Erkennung wie Whisper, Piper, Speech-to-Phrase und openWakeWord verbinden.

Warum lokale Wake-Word-Erkennung so hilfreich ist

Wenn jeder Satellit rund um die Uhr Audio an den Server streamt, ist der Netzwerkverkehr in einem kabelgebundenen oder stabilen WLAN normalerweise weiterhin gut zu bewältigen. Allerdings muss das zentrale Gerät kontinuierlich mehrere Audiostreams überprüfen. Außerdem entsteht eine größere Datenschutzfläche, da die Hintergrundgeräusche jedes Raums den zentralen Dienst erreichen.

Ein besseres Design ist:

Raumsatellit
  |
  +-- lokales Wake-Word / VAD
  |
  +-- erst nach dem Auslöser
          |
          v
      Sprachäußerung streamen
          |
          v
   zentrale Inferenz

Die Dokumentation von Home Assistant zu Sprachsatelliten beschreibt Always-on-Streaming, Stream-on-Speech und lokale Wake-Word-Modi. Außerdem wird darauf hingewiesen, dass kleine Satelliten die lokale Wake-Word-Erkennung und Audiobereinigung übernehmen können, sodass viele Satelliten eingesetzt werden können, ohne den zentralen Server mit derselben Last zu belasten.

Ein Server bedeutet nicht ein gemeinsames Gespräch

Dies ist die wichtigste Regel auf Anwendungsebene. Der Inferenzprozess kann gemeinsam genutzt werden, aber jeder Raum und jeder Benutzer benötigt einen eigenen Sitzungsstatus.

Zentral gemeinsam nutzen	Pro Raum/Sitzung getrennt halten
Gewichte des Whisper-Modells	Audio-Puffer
Gewichte des LLM-Modells	Gesprächsverlauf
Piper-Sprachmodell	Raumidentität
Tool-Konnektoren	Benutzer-/Berechtigungskontext
GPU oder NPU	Antwortziel

Ohne diese Trennung könnte eine Folgeanweisung wie „Schalte es aus“ versehentlich den Kontext eines anderen Raums übernehmen. Der Server sollte jeder Äußerung eine Sitzungskennung zuordnen und diese durch STT, Absichtsermittlung, Tool-Ausführung und TTS-Wiedergabe weiterführen.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

Raumkontext kann kurze Befehle verbessern

Ein System für mehrere Räume verfügt über Informationen, die einem einzelnen Smart Speaker fehlen: Es weiß, wo sich das Mikrofon befindet.

Anstatt den Benutzer jedes Mal zu zwingen, „Schalte das Licht im Wohnzimmer aus“ zu sagen, kann der Satellit eine Bereichskennung übermitteln:

Gesprochen: "Schalte das Licht aus"
Raum:   "Küche"

aufgelöste Aktion:
Home Assistant -> Küchenbeleuchtung -> aus

Das ist besonders nützlich für die deterministische Haussteuerung, bei der kurze Befehle überhaupt kein teures Allzweck-LLM erfordern sollten. ZimaSpaces Blick auf die zunehmende lokale Verarbeitung in Home Assistant erklärt, warum fokussierte lokale Pipelines neben größeren Modellen für offenere Anfragen bestehen können.

Was wird zum ersten Engpass?

Sprache ist eine Pipeline, daher bestimmt die langsamste erforderliche Stufe die wahrgenommene Latenz.

Stufe	Typische Ressourcenbelastung	Risiko bei mehreren Räumen
Aktivierungswort / VAD	Kleine CPU auf dem Satelliten	Niedrig bei verteilter Verarbeitung
Sprach-zu-Text	CPU/GPU, Speicherbandbreite	Hoch bei sich überschneidendem Sprechen
Absicht / LLM	GPU/CPU + KV-Cache	Hoch bei offenen Anfragen
Tool-Ausführung	Netzwerk-/Dienstlatenz	Hängt vom Ziel ab
Sprachsynthese	CPU/GPU	Mittel
Audiowiedergabe	LAN	Üblicherweise niedrig

Für den Einsatz im Haushalt ist gleichzeitiges Sprechen oft selten. Dadurch kann der Server kurze Spitzen in eine Warteschlange stellen, anstatt genügend Rechenleistung dafür bereitzustellen, dass alle Räume ständig gleichzeitig sprechen können.

Können STT, das LLM und TTS dieselbe GPU gemeinsam nutzen?

Das ist möglich, aber Speicher und Scheduling sind entscheidend. Wenn mehrere Modelle gleichzeitig geladen werden, kann das mehr VRAM beanspruchen, als eine einzelne Stufe benötigt. Ein kleiner Server kann verschiedene Geräte oder Ausführungsmodi verwenden:

STT auf der CPU oder iGPU;
LLM auf der GPU;
TTS auf der CPU;
oder kurze STT-/LLM-/TTS-Aufgaben auf einem einzigen Beschleuniger nacheinander ausführen.

Das zweite Design spart Hardware, kann aber die Latenz erhöhen, wenn zwei Räume gleichzeitig sprechen. Miss die Zeit bis zum ersten Transkript und die Zeit bis zur ersten Audioausgabe, statt nur die rohen Token pro Sekunde zu betrachten.

Verhindere, dass der Lautsprecher eines Raums das Mikrofon eines anderen Raums auslöst

Sprachsteuerung über mehrere Räume bringt ein akustisches Problem mit sich: Die eigene TTS-Ausgabe des Assistenten kann von einem anderen Satelliten gehört und als neue Anfrage interpretiert werden.

Verwende:

Lokale Aktivierungswörter statt der offenen Transkription sämtlicher Geräusche;
Echokompensation und Rauschunterdrückung;
Wiedergabestatus, damit ein Satellit sein Mikrofon während der eigenen Antwort bei Bedarf unterdrücken kann;
Raumspezifische Lautstärke;
Kurze Antwortformulierungen für routinemäßige Steuerungen.

Behebe Rückkopplungen nicht, indem du jedes Mikrofon im Haus stummschaltest, sobald ein Lautsprecher spricht; dadurch wird die gleichzeitige Nutzung von Räumen unnötig störanfällig.

Wie sollte ein Heimserver die Warteschlange dimensionieren?

Beginne mit einer realistischen Einschätzung der Gleichzeitigkeit. In einem Haushalt mit vier Personen und acht Satelliten gibt es vermutlich nur selten mehr als zwei gleichzeitige Anfragen. Konfiguriere eine begrenzte Warteschlange, anstatt Audioaufgaben unbegrenzt anwachsen zu lassen.

Sprachanfrage
   |
   +-- Slot verfügbar -> jetzt ausführen
   |
   +-- kurze Warteschlange -> „einen Moment“ / warten
   |
   +-- Warteschlange voll -> eindeutig fehlschlagen

Auch Priorisierung kann helfen: Deterministische Lichtsteuerungsbefehle sollten nicht hinter einer langen konversationellen LLM-Antwort warten müssen. Leite schnelle Haussteuerungsabsichten durch eine kleinere Pipeline und reserviere das große Modell für Fragen, die es tatsächlich erfordern.

Die Privatsphäre verbessert sich bei einem lokalen Server, aber Berechtigungen sind weiterhin wichtig

Die zentrale lokale Inferenz hält Audiodaten von einem Cloud-Dienst fern, aber nun greift jeder Satellit auf ein privilegiertes System zu, das Schlösser, Lichter, Medien, Alarme und private Daten steuern kann.

Verknüpfe den Raum- und Benutzerkontext mit der Berechtigungsrichtlinie. Ein Satellit im Gästezimmer kann möglicherweise Licht und Temperatur steuern, ohne Zugriff auf Kalender oder private NAS-Dateien zu erhalten. Für ein Kinderzimmer kann ein vollständig anderer Werkzeugsatz gelten.

Für die übergeordnete Orchestrierungsebene erklärt der Leitfaden zur Vertrauensgrenze lokaler KI-Tools, warum die Spracherkennung allein keine administrativen Berechtigungen erteilen sollte.

Checkliste für die Sprachbereitstellung in mehreren Räumen

Gib jedem Satelliten eine stabile Raum-ID.
Führe das Aktivierungswort oder VAD nach Möglichkeit auf dem Satelliten aus.
Halte den Gesprächsstatus pro Raum bzw. Sitzung getrennt.
Verwende für routinemäßige Haussteuerungsbefehle einen schnellen, deterministischen Pfad.
Leite aufwendige STT-/LLM-Aufgaben mit einer begrenzten Zahl gleichzeitiger Prozesse in eine Warteschlange ein.
Miss die Latenz bei mehreren gleichzeitig aktiven Nutzern.
Aktiviere Echo-Unterdrückung bzw. Rückkopplungsschutz.
Gib jedem Raum nur die benötigten Tools.
Halte ein lokales Fallback für wichtige Haussteuerungsbefehle bereit.

Häufig gestellte Fragen

Braucht jeder Raum einen eigenen KI-Computer?

Nein. Satelliten können kostengünstige Mikrofon-/Lautsprecher-Endpunkte sein. Die rechenintensiven Modelle können einmalig auf einem zentralen Server ausgeführt werden.

Können mehrere Räume gleichzeitig mit dem Server sprechen?

Ja, wenn die Laufzeitumgebung über genügend Kapazität für gleichzeitige Anfragen oder eine kurze Warteschlange verfügt. Jede Anfrage benötigt einen eigenen Sitzungs- und Audiostatus, auch wenn die Modellgewichte gemeinsam genutzt werden.

Soll die Erkennung des Aktivierungsworts zentral ausgeführt werden?

Ja, aber die lokale Erkennung des Aktivierungsworts reduziert das kontinuierliche Audiostreaming, die zentrale Last und die Beeinträchtigung der Privatsphäre. Wenn die Satellitenhardware dies unterstützt, ist dies im Allgemeinen das sauberere Design für mehrere Räume.

Fazit

Ein lokaler Inferenzserver kann ein ganzes Haus voller Sprachsatelliten versorgen. Halte die Endpunkte einfach, verlagere die Spracherkennung zur Aktivierung möglichst in den jeweiligen Raum, zentralisiere rechenintensive Modelle und isoliere jede Sitzung. Dimensioniere nach gleichzeitigen Äußerungen statt nach der Anzahl der Sprecher und leite Routinebefehle über einen schnellen lokalen Pfad, damit ein langes LLM-Gespräch in einem Raum nicht den Rest des Hauses ausbremst.