2023: Das Jahr der Stimme von Home Assistant


TL;DR: Unser Ziel für 2023 ist es, Benutzern die Steuerung von Home Assistant in ihrer eigenen Sprache zu ermöglichen. Mike Hansen, der Schöpfer von Rhasspy, hat sich Nabu Casa angeschlossen, um diese Bemühungen zu leiten. Wir beginnen mit dem Aufbau einer Sammlung von Intent-Matching-Sätzen in jeder Sprache.

Normalerweise soll der Monat Dezember zurückblicken. Das haben wir aber bereits letzten Monat getan, als wir das State of the Open Home 2022 veranstaltet haben. Wir haben nicht nur nachgedacht, sondern auch unseren Fokus für das nächste Jahr angekündigt: 2023 wird das Jahr der Stimme.

Unser Ziel für 2023 ist es, dass Benutzer den Home Assistant in ihrer eigenen Sprache steuern können.

Es ist ein großes und ehrgeiziges Ziel, aber mit den richtigen Einschränkungen erreichbar. Der für uns anfallende Arbeitsaufwand lässt sich wie folgt zusammenfassen:

Unsere oberste Priorität ist die Unterstützung verschiedener Sprachen. Es gibt genug Projekte, die versuchen, einen englischen Sprachassistenten zu entwickeln. Aber für uns reicht das einfach nicht aus. Die Menschen müssen in der Lage sein, in ihrer eigenen Sprache zu sprechen, da dies die zugänglichste und einzig akzeptable Sprache für einen Sprachassistenten für das Smart Home ist.

Um den Arbeitsaufwand, der vor uns liegt, überschaubar zu halten, beschränken wir die Anzahl der möglichen Aktionen und konzentrieren uns auf die Grundlagen der Interaktion mit Ihrem Smart Home. Keine Websuchen, Anrufe oder Sprachspiele. Und auf keinen Fall „nebenbei“!

Wir werden mit ein paar Aktionen beginnen und die Sprachmodelle darauf aufbauen. Home Assistant unterstützt 62 verschiedene Sprachen in seiner Benutzeroberfläche. Und es ist unser Ziel, all diese Sprachen mit Sprache zu unterstützen. Wir glauben, dass wir dies erreichen können, indem wir das stärkste Kapital von Home Assistant nutzen: unsere Community.

Unsere Geschichte mit Sprachassistenten

Wenn Sie die Nachrichten verfolgen, könnte es so klingen, als hätten Sprachassistenten versagt. Amazon wird in diesem Jahr voraussichtlich 10 Milliarden US-Dollar durch Alexa verlieren und plant Entlassungen. Auch Google reduziert seine Unterstützung für Google Assistant, um Kosten zu senken. Die Wahrheit ist, dass Voice als nächste Computerplattform, die zusätzliche Einnahmen in Milliardenhöhe erzielt, gescheitert ist. Stattdessen verwenden Benutzer ihre Sprachassistenten hauptsächlich, um Einkaufslisten zu verwalten, Timer einzustellen, Musik abzuspielen und ihr Zuhause zu steuern. Voice hat es versäumt, eine Einnahmequelle zu sein, es hat seine Benutzer nicht im Stich gelassen.

Bei Home Assistant haben wir uns schon immer für Sprache interessiert. Früher haben wir mit Snips zusammengearbeitet, aber sie wurden übernommen und geschlossen. Wir haben mit Stanford an ihrer Almond/Genie-Plattform gearbeitet, aber es ist ein forschungsgetriebenes Projekt, das nie produktionsreif wurde. Und ja, Sie können Home Assistant verwenden, um alle Ihre Daten an die Clouds von Google und Amazon zu senden, um ihre Sprachassistenten zu nutzen, aber Sie sollten Ihre Privatsphäre nicht aufgeben müssen, um das Licht per Sprache einzuschalten.

Das vielversprechendste Projekt da draußen ist Rhasspy, erstellt von Mike Hansen. Ein Projekt, das es Menschen ermöglicht, ihren eigenen lokalen Sprachassistenten zu bauen, der auch mit Home Assistant verknüpft werden kann. Rhasspy hebt sich von anderen Open-Source-Voice-Projekten ab, weil Mike sich nicht nur auf Englisch konzentriert. Stattdessen ist es sein Ziel, dass es für alle funktioniert. Das läuft super, denn Rhasspy unterstützt heute bereits 16 verschiedene Sprachen.

Mit Home Assistant wollen wir ein privates und lokal ausgerichtetes Smart Home für alle verfügbar machen. Mikes Herangehensweise an Rhasspy stimmt mit Home Assistant überein, und daher freuen wir uns, ankündigen zu können, dass Mike zu Nabu Casa gekommen ist, um Vollzeit an der Stimme in Home Assistant zu arbeiten.

Im Freien iterieren

Mit Home Assistant ziehen wir es vor, die Dinge, die wir bauen, so früh wie möglich in die Hände des Benutzers zu bekommen. Sogar grundlegende Funktionen ermöglichen es Benutzern, Dinge zu finden, die funktionieren und nicht funktionieren, sodass wir bei Bedarf die Richtung einschlagen können.

Ein Sprachassistent hat viele verschiedene Teile: Hot-Word-Erkennung, Sprache zu Text, Absichtserkennung, Absichtsausführung, Text zu Sprache. Jede Arbeit in jeder Sprache zu machen, ist eine Menge Arbeit. Der wichtigste Teil ist die Absichtserkennung und Absichtsausführung. Wir müssen in der Lage sein, Ihre Befehle zu verstehen und auszuführen.

Wir haben damit begonnen, diese Befehlssätze in unserem neuen Intents-Repository zu sammeln. Es wird bald die vorhandene Konversationsintegration in Home Assistant unterstützen, sodass Sie unsere App zum Schreiben und Sprechen von Befehlen verwenden können.

Die Konversationsintegration wird in Home Assistant über einen Serviceaufruf bereitgestellt und ist auch über eine API für externe Anwendungen oder Skripte verfügbar. Auf diese Weise können Entwickler mit dem Senden von Befehlen aus verschiedenen Quellen experimentieren, z. B. einem Telegramm-Chatbot.

Wie kannst du helfen

Für jede Sprache sammeln wir Sätze von Befehlen, die Ihr Smart Home in unserem Intents-Repository steuern. Jeder Satz muss mit seiner Absicht kommentiert werden.

Nehmen wir zum Beispiel den Satz: Schalten Sie das Schlafzimmerlicht ein. Schreiben Sie es wie Turn on the {area} lights und es wird zu einem allgemeinen Befehl, um alle Lichter in einem bestimmten Bereich einzuschalten. Jetzt müssen wir auch alle anderen Variationen sammeln.

Wir haben ein YAML-basiertes Format erstellt, um diese Sätze zu deklarieren und zu testen. Der nächste Schritt ist, dass wir dich brauchen 🫵

Für jede Sprache brauchen wir einen oder mehrere Sprachführer. Sprachleiter sind dafür verantwortlich, die Beiträge in ihrer Sprache zu überprüfen und sicherzustellen, dass sie grammatikalisch korrekt sind. Wenn Sie sich als Sprachführer bewerben möchten, treten Sie uns in #devs_voice auf Discord bei oder öffnen Sie ein Issue in unserem Intents-Repository.

Wir brauchen auch Leute, die Sätze zu ihrer Sprache beitragen möchten, um unsere Sammlung zu erweitern. Sehen Sie sich unser Intents-Repository an, um zu erfahren, wie Sie beginnen können.