Wie AudioTelligence das Cocktailparty-Problem löst

In der heutigen Folge des The HearingTracker Podcast spricht Moderator Steve Taddei mit Rick Radia, dem Product and Partnership Manager bei AudioTelligence. AudioTelligence mit Sitz in Cambridge (England) möchte das „Cocktail Party Problem“ mithilfe seines aiso™ for Hearing lösen, das Blind Source Separation (BSS) und Störgeräuschunterdrückung mit geringer Latenz kombiniert. Schalten Sie ein, um Audiobeispiele von aiso™ for Hearing zu hören und zu erfahren, wie die Technologie Ihnen helfen könnte, in lauten Umgebungen besser zu hören.

Podcast-Transkript

Steve Taddei: Hallo, ich bin Dr. Steve Taddei und Sie hören den HearingTracker Podcast.

Kürzlich haben wir den zweiten Jahrestag von Covid überschritten. Und für viele von uns bedeutete das fast 2 Jahre Isolation, das Meiden großer gesellschaftlicher Zusammenkünfte und viel zu viele Zoom-Meetings.

Auch wenn wir noch nicht ganz über den Berg sind, fühlt es sich langsam sicherer an, Familie und Freunde zu sehen. Und hoffentlich können wir uns bald von störanfälligen Telefonkonferenzen verabschieden und unser normales Leben wieder begrüßen.

Doch für viele Menschen mit Hörproblemen stellt dies eine vertraute Herausforderung dar ]. Etwas, das „Cocktailparty-Problem“ genannt wird, und darum geht es in dieser Folge.

Rick Radia: 81 % der 40- bis 64-Jährigen haben Schwierigkeiten, in belebten und lauten Umgebungen zu hören, und kämpfen letztlich mit dem Cocktailparty-Problem2.

Steve Taddei: Das ist Rick Radia, und er ist der Product and Partnership Manager eines Unternehmens namens AudioTelligence. Sein Unternehmen hat ziemlich viel Forschung zu diesem Problem und den betroffenen Menschen betrieben.

Rick Radia: Wenn wir altersbedingten Hörverlust betrachten, entwickelt er sich schrittweise, und einige der ersten Anzeichen können sehr subtil und schwer zu erkennen sein. Eines dieser ersten Anzeichen ist die Unfähigkeit, einem Gespräch an einem lauten Ort zu folgen. Und das wird als Cocktailparty-Problem bezeichnet. Das bedeutet, dass Menschen mit Hörverlust bei Vorhandensein von Störgeräuschen den interessierenden Lautsprecher nicht aus der Mischung der Geräusche herausfiltern können. Und Menschen, die darunter leiden, denken vielleicht, dass ihr Gehör in Ordnung ist; tatsächlich bestehen sie vielleicht sogar einen normalen Hörtest. Doch wenn sie sich in einer vollen Bar oder einem Restaurant befinden, haben sie Schwierigkeiten, dem Gespräch zu folgen.

Steve Taddei: Das Cocktailparty-Problem oder der Cocktailparty-Effekt, wie es manchmal genannt wird, bezieht sich auf unsere Fähigkeit, uns bei vielen konkurrierenden Quellen auf einen einzelnen Klang zu konzentrieren. Die Forschung in diesem Bereich reicht bis in die 1950er-Jahre zurück und gehört heute zu einem größeren Forschungsgebiet, das als auditive Szenenanalyse1 bekannt ist. Hier ist zum Beispiel etwas Musik [Musik spielt] Beachten Sie, wie Sie wählen können, ob Sie sich auf das gesamte Stück, ein einzelnes Instrument wie die Gitarre oder sogar auf meine Stimme konzentrieren, damit Sie verstehen können, was ich sage. Das gilt auch für andere Umgebungen, etwa Gruppen, in denen wir wählen können, wem wir zuhören, während andere Stimmen scheinbar im Hintergrund verschwimmen – es ist fast wie Magie.

All das ist möglich, weil unser Gehirn ein erstaunlicher Prozessor ist, der Informationen über Frequenz, Zeitabläufe, Richtung, visuelle Hinweise und vieles mehr speichert und miteinander in Beziehung setzt. Das ermöglicht es Ihnen letztlich, in einem riesigen Meer aus Geräuschen Ihren Namen vom anderen Ende des Raums herauszuhören.

Rick Radia: Tatsächlich führt die Schwierigkeit, Gesprächen zu folgen und Sprache in solchen Umgebungen zu verstehen, zu einer ganzen Reihe von Problemen. Wenn die Sprachverständlichkeit abnimmt, benötigen Sie mehr Anstrengung, um die Sprache zu verstehen. Außerdem kommt es durch die erhöhte kognitive Belastung in diesen Situationen zu Ermüdung. Wenn sich Ihr Gehör also verschlechtert, führt dies in solchen Situationen zu Hörermüdung und Erschöpfung. Menschen meiden dann manchmal solche Situationen, und langfristig führt das zu sozialer Isolation. Und in einigen Fällen, in hochgradigen Fällen, zu Depressionen, und in jüngerer Zeit gibt es auch Zusammenhänge mit Demenz.

Steve Taddei: Was genau bedeutet das also? Stellen Sie sich zum Beispiel vor, Sie gehen einkaufen [Simulierte Einkaufsgeräusche bei normalem Hörvermögen3]. Aber was passiert in derselben Situation, wenn Sie Hörschwierigkeiten haben? [Simulierte Einkaufsgeräusche bei geringgradigem Hörverlust3]. Das war eine Simulation eines geringgradigen Hörverlusts, bei dem hauptsächlich Konsonanten, die für Klarheit sorgen, weniger hörbar sind. Stellen Sie sich nun die Gehirnleistung und Konzentration vor, die bei noch stärkerem Hörschaden erforderlich sind [Simulierte Einkaufsgeräusche bei mittelgradigem Hörverlust3]. Dies führt letztlich zum Cocktailparty-Effekt, also zum Cocktailparty-Problem.

Okay, was können wir also dagegen tun? Wir haben Hörgeräte und Cochlea-Implantate, aber obwohl diese Geräte großartig sind, haben sie das Problem der Störgeräusche noch nicht ganz gelöst.

Nun, Rick und sein Team bei AudioTelligence arbeiten an einer anderen Lösung, die helfen kann. Hören wir, was er dazu zu sagen hat.

Rick Radia: Wir sind ein Audio-Startup mit Sitz in Cambridge, UK. Also auf der anderen Seite des Teichs von Ihnen. Und wir haben enge Verbindungen zur Cambridge University. Wir haben etwa 30 Mitarbeiter, darunter viele Softwareentwickler und Forscher. Und zu diesem Team gehört auch der Erfinder unserer ursprünglichen Algorithmen zur blinden Quellentrennung. Wir haben uns jedoch gegründet, damit wir unsere Algorithmen und unsere Technologie zum Wohle der Gesellschaft weiterentwickeln und den Markt für Verbrauchertechnologie und Hören unterstützen können.

Und all unsere Forschung mündete in die Entwicklung unserer Softwarelösung aiso™ for Hearing. Diese orientiert sich an der Funktionsweise unseres Gehirns, indem sie diese Algorithmen nutzt, um verschiedene Schallquellen zu trennen sowie Störgeräusche und Stimmengewirr zu unterdrücken. Und die Technologie im Kern von ASIO for Hearing ist die blinde Quellentrennung in Kombination mit unserer Störgeräuschunterdrückung mit geringer Latenz.

Steve Taddei: Hier ist ein kurzer Vorgeschmack auf ihr aiso™-System. Mehr dazu und zur blinden Quellentrennung nach der Pause.

Vielen Dank, dass Sie den HearingTracker Podcast hören. Letzten Monat veranstalteten wir eine Verlosung für ein Paar Minunedo Lossless Earplugs, und ich möchte Nathan Tepp zu seinem Gewinn gratulieren. Ich möchte mich auch bei allen bedanken, die teilgenommen haben; es war großartig zu sehen, wie Menschen sich gemeldet haben. Wenn Sie weiterhin an Minunedo-Produkten interessiert sind, erhalten Sie online mit dem Code STEVESB 20 % Rabatt.

Wenn Sie allgemeine Fragen zum Schutz Ihres Gehörs und zu den vielen verfügbaren Technologien haben, zögern Sie nicht, uns bei HearingTracker zu kontaktieren. Sie können sogar direkt eine E-Mail an steve@hearingtracker.com senden.

Kurz vor der Pause sprach Rick über die aiso™ for Hearing-Technologie von AudioTelligence. Er erwähnte auch etwas namens blinde Quellentrennung.

Rick Radia: Die blinde Quellentrennung, oder BSS, ist ein datengetriebener Ansatz, der auf bayesischer Statistik basiert. BSS analysiert die Rohsignaldaten, die von den Mikrofonen des Mikrofonarrays bereitgestellt werden, um Schallquellen in einer Szene zu lokalisieren. Zunächst trennt sie die gefundenen Schallquellen in Kanäle. Anschließend verwenden wir verschiedene Methoden, um den Kanal auszuwählen, der der interessierenden Quelle am besten entspricht. So können die Störungen der anderen Kanäle unterdrückt werden und nur die ausgewählten Kanäle hörbar sein. Eine der Methoden, die wir dafür verwenden und auf der Hardware implementieren können, basiert auf Gesprächsdynamik und Signalinhalten. So kann der Nutzer dem Gespräch nahtlos folgen.

Steve Taddei: Beim Übergang von der Theorie zur Anwendung integrierten sie ihr aiso™-System in eine Tischlösung.

Rick Radia: Und wir wollten beweisen, dass diese Technologie in der realen Welt funktioniert. Deshalb haben wir sie in einen Prototypen eines Fernmikrofons integriert. Der Prototyp selbst verfügt über acht Mikrofone und kann dem Gespräch nahtlos folgen. Er hat tatsächlich zwei Modi. Sie stellen das Gerät einfach in die Mitte des Tisches, und es startet im „Automatikmodus“, in dem es mithilfe der in die Hardware integrierten Algorithmen dem Gespräch im Raum folgt.

Sie können auch einen „Fokusmodus“ verwenden. Wenn an einem bestimmten Zeitpunkt mehrere Gespräche am Tisch stattfinden, können Sie sich auf eine Anzahl von Personen am Tisch konzentrieren. Das können ein bis acht Personen am Tisch sein.

Steve Taddei: Heute war auch Dan, ein weiteres Mitglied ihres Teams, bei uns, und er konnte eine Echtzeitdemonstration dieser Technologie vorführen. Wenn Sie also gute Kopfhörer haben, ist jetzt der Zeitpunkt, sie aufzusetzen.

Rick Radia: Dan, bist du da?

Daniel Potter: Ah ja, ich bin da, ich bin Dan. Ich bin einer der Ingenieure im Hearing Systems Team bei AudioTelligence. Zur Erklärung der Demo: Das gesamte Audio, das Sie hören, kommt vom Gerät selbst. Und wir haben drei Lautsprecher um den Tisch herum aufgebaut, die ein Gespräch abspielen werden. Zusätzlich sind im Raum, größtenteils außerhalb des Bildes, eine Reihe von Lautsprechern aufgestellt, die Umgebungsgeräuschpegel erzeugen, wie sie für ein belebtes Café oder Restaurant typisch sind. Hier drin gibt es etwa 70 dBs Störgeräusche.

Im Moment kann ich das demonstrieren, indem ich die Verarbeitung ausschalte. Das ist also mit ausgeschalteter Verarbeitung. Das ist der Umgebungsgeräuschpegel, und Sie finden es wahrscheinlich jetzt etwas schwieriger, meine Stimme zu hören. Jetzt ist die Verarbeitung wieder eingeschaltet.

Steve Taddei: Dan zeigte mir ihren Automatikmodus, der mehreren Stimmen folgen kann.

Daniel Potter: Um das zu demonstrieren, werde ich jetzt ein Gespräch zwischen Lautsprecher 1, 2 und 3 abspielen. [aiso™ for Hearing-Klangbeispiel] Gut, und um noch einmal den Unterschied zu demonstrieren, den das Gerät macht, schalte ich jetzt die Verarbeitung aus und spiele dieses Gespräch weiter ab. [aiso™ for Hearing-Klangbeispiel]

Steve Taddei: Sie bieten auch einen Fokusmodus an, mit dem Sie die Richtung oder die Quellen auswählen können, die Sie hören möchten. Dan erwähnte beispielsweise, dass dies nützlich sein kann, wenn mehrere Gespräche stattfinden und Sie vielleicht nur eines davon hören möchten.

Rick sprach weiter über einige der anderen Elemente ihres Systems.

Rick Radia: Es gibt einen Limiter, der bestimmte Schallspitzen erkennt und verhindert, dass diese Schallspitzen durchkommen. Wenn es sich um ein gleichbleibendes Geräusch handeln würde, müssten Sie wahrscheinlich den „Fokusmodus“ auswählen. Wenn also konstant Musik gespielt würde, müssten Sie den „Fokusmodus“ auswählen und sozusagen eine bestimmte Richtung wählen. Oder eine interessierende Quelle.

Ich denke, das andere, das bei unserer eher automatischen Quellenauswahl erwähnt werden sollte, ist, dass wir der Gesprächsdynamik folgen und nicht nur der lautesten Quelle. Wir betrachten die Historie der Lautstärke, das Muster der Lautstärke, um diesen Automatikmodus zu ermöglichen und dem Gespräch zu folgen.

Steve Taddei: Nach all dem war ich neugierig auf die Unterschiede zwischen ihrem aiso™-System und anderen verfügbaren Technologien. Also fragte ich Rick, und das hatte er zu sagen.

Rick Radia: Bei unserer Störgeräuschunterdrückung mit geringer Latenz verwenden wir tatsächlich die Mehrkanal-Audioausgänge, um die Störgeräuschunterdrückung weiter zu verbessern. Die Standardtechnologie zur Störgeräuschunterdrückung verwendet einen Einkanalansatz. Die Lösung von AudioTelligence verwendet hingegen Mehrkanal-Audio, um die Störgeräuschunterdrückung weiter zu verbessern. Wir verwenden also tatsächlich alle Daten der Mikrofone, um die Ausgabe an den Endnutzer zu liefern.

Wenn wir uns potenziell vergleichen würden und uns ansehen würden … die Mehrheit der assistiven Hörgeräte verfügt über Beamforming. Beamforming ist, wie wir wahrscheinlich alle wissen, ein räumlicher Filter. Es nutzt die Physik der Wellenausbreitung, um sich auf eine bestimmte Richtung oder Schallquelle zu konzentrieren. Das bedeutet, dass ein Beamformer ein Signal aus einer bestimmten Richtung extrahieren und Störungen durch Signale aus anderen Richtungen reduzieren kann.

Beamformer haben jedoch den Vorteil, dass sie sowohl mathematisch einfach als auch leicht in realen Systemen zu implementieren sind. Allerdings müssen Sie viele Informationen über die akustische Szene kennen. Etwa die Zielquelle oder Richtung und die Mikrofongeometrie. Und ausgefeiltere Lösungen benötigen möglicherweise kalibrierte Mikrofone. Eine der Einschränkungen von Beamforming besteht darin, dass es zwei Quellen in derselben Richtung nicht trennen kann. Wenn sich also hinter dem Lautsprecher Störgeräusche befinden, wird alles in dieser Richtung verstärkt.

Steve Taddei: Und das können wir leicht demonstrieren. Im Moment verwende ich ein stark gerichtetes Mikrofon, das als Richtrohrmikrofon bekannt ist. Dies simuliert grob die festen Richtmikrofonfunktionen in Hörgeräten. Wenn sich die Störgeräusche hinter Ihnen als Zuhörer befinden, während das Mikrofon auf mich gerichtet ist, erzielen wir eine stärkere Reduzierung unerwünschter Umgebungsgeräusche. Befinden sich die Störgeräusche jedoch hinter mir, sehen wir nicht dieselben Vorteile durch Richtmikrofone. Letztlich ist dies ein Grund, warum Hörakustiker Patienten dazu raten, ihren Rücken zu jeder Geräuschquelle auszurichten.

Rick Radia: Wir trennen die Sprache also nicht vom Störgeräusch. Das unterscheidet sich von der Funktionsweise unserer Technologie, bei der wir tatsächlich die gesamte Szene analysieren und die dominanten Quellen in separate Kanäle trennen. Dadurch können wir feiner zwischen zwei Personen, die nebeneinandersitzen, oder zwischen Sprache und Störgeräusch unterscheiden.

Steve Taddei: Nachdem ich mit Rick gesprochen und ihr aiso™ for hearing-System gehört habe, kann ich viele Anwendungen für diese Art von Gerät sehen – oder besser gesagt hören. Was kommt also als Nächstes?

Rick Radia: Nun, ich denke, es gibt viele Möglichkeiten und Anwendungen für die aiso™ for hearing-Software. Wir wollen sie in andere Hörlösungen integrieren. Zu den potenziellen Anwendungen gehören Fernmikrofone ähnlich dem Proof-of-Concept-Prototypen, den Sie gesehen haben. Möglicherweise auch die Integration in Ladeetuis für Earbuds. Das könnte dann ein Zubehör neben den Earbuds sein, um deren Leistung in komplexen Umgebungen weiter zu verbessern. Möglicherweise gibt es auch eine Option, sie in mobiles Zubehör zu integrieren. Oder sogar in eine mobile App.

Wir haben einige Nutzertests vor uns, die uns sicher Rückmeldungen dazu geben werden, wie wir die Audioleistung in diesen realen Umgebungen verbessern können. Der nächste große Schritt für uns besteht jedoch darin, dies in die verschiedenen zuvor erwähnten Formfaktoren zu integrieren. Und dann haben wir von dort aus weitere Proof-of-Concepts, über die wir mit unseren potenziellen Partnern sprechen können, damit wir den Menschen, mit denen wir zusammenarbeiten möchten, den nachweisbaren Nutzen der Technologie wirklich zeigen können.

Steve Taddei: Eine wichtige Erkenntnis aus diesem und vielen Gesprächen, die wir führen, ist, dass die Technologie voranschreitet. Es gibt viele Optionen wie Hörgeräte, Earbuds, Apps und Tischgeräte. Sie müssen nicht immer eine Option anstelle einer anderen wählen. Oft können sie in spezifischen Anwendungsszenarien gemeinsam eingesetzt werden, um beispielsweise beim Cocktailparty-Problem zu helfen.

Steve Taddei: Ich möchte Rick Radia und Daniel Potter dafür danken, dass sie in der Sendung waren und über das Cocktailparty-Problem, AudioTelligencem und ihre aiso™ for hearing-Technologie gesprochen haben. Um mehr zu erfahren, können Sie Audiotelligence.com besuchen. Außerdem möchte ich Soundbrenner und Minunedo dafür danken, dass sie die während der Pause erwähnte Verlosung unterstützt haben.

Wenn Ihnen die Live-Klangdemonstration in der heutigen Folge gefallen hat, finden Sie mehr davon im originalen, ungeschnittenen Gespräch; besuchen Sie patreon.com/hearingtrackerpodcast, um es anzusehen. Ich hoffe, Ihnen hat die heutige Folge gefallen, und vielen Dank fürs Zuhören.

Referenzen

1. Cherry, E. C. (1953). Einige Experimente zur Spracherkennung mit einem und mit zwei Ohren. The Journal of the Acoustical Society of America, 25(5), 975–979. https://doi.org/10.1121/1.1907229
2. Harris Interactive AudioTelligence (2020). Die Prävalenz des Cocktailparty-Problems und Verbraucherverhalten. AudioTelligence. Abgerufen im April 2022 von www.audiotelligence.com
3. Starkey Hearing Foundation. (o. D.). Hörverlust-Simulator – erfahren Sie, wie sich Hörverlust anfühlt. Starkey. Abgerufen im April 2022 von www.starkey.com/hearing-loss-simulator

Musik von Coma-Media, Penguinmusic und Undruground von Pixabay