Wie Artificial Intelligence das Hörvermögen vollständig wiederherstellen könnte

Während Wissenschaftler darum wetteifern, die Epidemie des Hörverlusts durch Biotechnologie zu lösen, werden in den Bereichen AI und maschinelles Lernen Fortschritte erzielt, die alternative Optionen für diejenigen bieten könnten, die ihr Hörvermögen zurückgewinnen möchten – und nichts dagegen haben, dabei zu einem Cyborg zu werden.

Störgeräusch ist der Feind

Für die meisten Menschen mit Hörverlust ist Störgeräusch das größte Problem. Selbst mit ausgefeilter Technologie wie hyperdirektionalen Beamforming-Mikrofonarrays sind moderne Hörgeräte in ihrer Fähigkeit, Geräusche aus einem Gespräch zu entfernen, stark eingeschränkt. Zwar gibt es einige Apps, die bei der Entfernung von Störgeräuschen Fortschritte gemacht haben, und Apple sowie Bose steigen in den Hörtechnologie-Bereich ein, doch von einer 100%igen Geräuschentfernung sind wir noch weit entfernt – insbesondere bei komplexeren Geräuschen wie dem Stimmengewirr in einem lauten Restaurant.

Lippenlese-AI könnte das Geräuschproblem lösen

Die Technologie hat sich in den vergangenen Jahren im Bereich des AI-basierten Lippenlesens rasant weiterentwickelt. An der Schnittstelle von Computer Vision, künstlicher Intelligenz und Sprachwissenschaften ist AI-Lippenlesen der Prozess, bei dem ein Computer ein Video einer sprechenden Person „beobachtet“ – ohne Ton – und am Ende eine Audiodatei mit der hörbaren Sprache der Person ausgibt. Immer noch verwirrt? Sehen Sie sich das Video unten an, um eine vollständige Erklärung dazu zu erhalten, wie diese Technologie funktioniert.

Saubere Sprache, endlich

Wie Sie beim Ansehen des obigen Videos sehen können, sind Computer nun in der Lage, allein auf Grundlage von Computer Vision äußerst saubere Sprache zu erzeugen. Ich kann die Bedeutung dessen aus der Perspektive von Menschen mit Hörverlust gar nicht genug betonen. Wenn ein Computer in der Lage ist, sich in einer Menschenmenge auf eine einzelne Person zu konzentrieren und deren Stimme wiederzugeben, ohne Störgeräusche entfernen zu müssen, überspringt diese Technologie effektiv die gesamte Wissenschaft der Geräuschentfernung und gibt Menschen mit Hörverlust einen greifbaren Grund, optimistisch in die Zukunft zu blicken.

Konzentration auf die richtige Person

Bereits 2018 kündigte Google AI seine Fortschritte bei „Looking to Listen“ an, einer Technologie, die es ermöglicht, einer bestimmten Person in einer Videoszene zuzuhören, selbst wenn mehrere Personen in der Szene gleichzeitig sprechen. Google nutzte ein cleveres Modell zur Erkennung auditiver und visueller Merkmale, um äußerst sauberes Audio basierend auf der einzelnen Person bereitzustellen, die Sie im Video isolieren möchten. Ein Beispiel dafür ist im folgenden Video zu sehen.

Wie Sie in diesem 2 Jahre alten Video sehen können, ist die Technologie zur Audiofokussierung auf eine einzelne Person mittels Computer Vision bereits verfügbar. Während Google auf Audio- und Videomerkmale setzte, um Sprache zu reproduzieren, sind moderne Ansätze (die im obigen Video besprochen werden) noch einen Schritt weiter gegangen und haben die Notwendigkeit von Audiomerkmalen vollständig beseitigt. Das bedeutet, dass es möglich sein sollte, hochwertige, auf Audio fokussierte Sprache zu reproduzieren, unabhängig davon, ob der Lautsprecher vollständig von lauten, komplexen Störgeräuschen übertönt wird.

Anwendung in der realen Welt?

Wie würde diese Technologie also in der realen Welt funktionieren? Müsste man eine Kamera, einen Computer und Kopfhörer mit sich herumtragen und auf die Personen klicken, denen man zuhören möchte? Und kann so etwas überhaupt in Echtzeit funktionieren? Derzeit gibt es wirklich keine Möglichkeit, eine KI-basierte Lösung zum Lippenlesen in Echtzeit umzusetzen, da erhebliche Computerverarbeitungszeit erforderlich ist, um fehlende Sprache zu reproduzieren.

Und wer möchte überhaupt all diese Ausrüstung mit sich herumtragen? Nun, erinnern Sie sich an Google Glass? Kopfmontierte Kamera und Augmented-Reality-Display im Sichtfeld? Ich weiß, es war ein Albtraum für die Privatsphäre, und ich weiß, dass es alle gehasst haben, aber vielleicht könnten wir alle für Menschen mit Hörverlust eine Ausnahme machen?

Ich könnte mir vorstellen, dass Google Glass in einer neuen Welt der computergestützten Sprachfokussierung relevant wird. Die KI-Technologie müsste sich gegenüber ihrem aktuellen Stand weiterentwickeln, um eine Sprachfokussierung in Echtzeit zu ermöglichen, aber ich könnte mir vorstellen, dass Träger von Google Glass (oder ähnlichen Produkten) einfach die Person ansehen, die sie hören möchten, und die KI den Rest erledigt.

Saubere Sprache ans Ohr und darüber hinaus übertragen

Nachdem die Schwerstarbeit erledigt ist, wie gelangt der bereinigte Klang zum Ohr? Für Menschen mit normalem Hörvermögen sollte dies einfach sein. Sie könnten den integrierten Lautsprecher von Google Glass (oder einem Konkurrenzprodukt) verwenden, um Sprache bei Störgeräusch zu verstärken. Oder Sie könnten eine beliebige Anzahl von kabellosen Ohrhörern verwenden, um das bereinigte Audio an Ihre Ohren zu übertragen.

Ja, hier wird es wirklich verrückt und klingt eher nach Sci-Fi als nach Realität. Aber Musk hat ein fantastisches Team von Biotech-Innovatoren zusammengestellt und eine Gehirn-Maschine-Schnittstelle mit über 3,000 Elektroden geschaffen, die auf bestimmte Gehirnregionen abzielen. Musk glaubt, dass Neuralink irgendwann Musik direkt an das Gehirn übertragen wird. Und wenn sich das als wahr herausstellt, sollte Neuralink auch in der Lage sein, klare menschliche Sprache an das Gehirn zu übertragen.

Wie bald können wir all das erwarten?

Leider kenne ich die Antwort nicht. Die rasanten Fortschritte bei Computer-Vision-Lösungen zur Sprachwiedergabe und das große Potenzial von Neuralink, Audio direkt an das Gehirn zu übermitteln, stimmen mich zuversichtlich. Ich werde diesen Bereich aufmerksam verfolgen und unsere Leser auf dem Laufenden halten, sobald ich mehr erfahre.