Live Caption auf Googles Android Q ist eine Killer-App
Echtzeit-Videotranskriptionen auf Pixel 4 ziehen die Aufmerksamkeit treuer iPhone-Nutzer auf sich)
:format(webp))
Ich bin seit dem Kauf meines ersten Mac Classic im Jahr 1988 ein recht zufriedener Bürger des Apple-Universums. Und als Apple das iPhone einführte, war ich voll dabei. Ich habe nie ernsthaft darüber nachgedacht, meines gegen ein Android-Smartphone einzutauschen – bis jetzt. Denn Google hat gerade angekündigt, dass sein neues Android Q OS mit einer Live Caption-Anwendung und weiteren Barrierefreiheitsfunktionen ausgestattet sein wird.
Live Caption erstellt sofortige Echtzeit-Transkriptionen für Videos, Podcasts und Audionachrichten für jede App, die auf Android Q läuft. Sobald Sprache erkannt wird, erscheinen Untertitel, selbst wenn die App keine native integrierte Unterstützung für Untertitel bietet. Es untertitelt sogar vom Nutzer aufgezeichnete Video- und Audioinhalte.
Wenn Live Caption auch nur annähernd so gut funktioniert wie die Demonstration gestern auf der jährlichen Google I/O-Entwicklerkonferenz, könnte es genau die Art von Killer-App sein, die eingefleischte iPhone-Nutzer wie mich dazu verleitet, einen Wechsel in Betracht zu ziehen.
Wie Google in einem Blogbeitrag über Android Q sagte:
Google Android Q AnkündigungFür 466 Millionen gehörlose und schwerhörige Menschen auf der ganzen Welt sind Untertitel mehr als nur eine Annehmlichkeit – sie machen Inhalte zugänglicher. Wir haben eng mit der Gehörlosengemeinschaft zusammengearbeitet, um eine Funktion zu entwickeln, die den Zugang zu digitalen Medien verbessert. Mit einem einzigen Tippen versieht Live Caption Medien, die auf deinem Smartphone Audio wiedergeben, automatisch mit Untertiteln. Live Caption funktioniert mit Videos, Podcasts und Audionachrichten – in jeder App, sogar mit Inhalten, die du selbst aufnimmst. Sobald Sprache erkannt wird, erscheinen Untertitel, ohne dass jemals Wifi oder mobile Daten benötigt werden und ohne dass Audio oder Untertitel dein Smartphone verlassen.
Untertitel, wo und wann immer Sie sie brauchen
Mit meinen zwei Cochlea-Implantaten komme ich in persönlichen Gesprächen und größtenteils auch am Telefon sehr gut zurecht. Aber ich habe immer noch große Schwierigkeiten, Sprache im Fernsehen zu verstehen. Und Audioaufnahmen und Webvideos, die auf dem Computer und Telefon abgespielt werden, können noch problematischer sein. Beim Fernsehen aktiviere ich regelmäßig Untertitel, aber für andere Medienarten gibt es oft keine angemessene Lösung.
Wenn ich Videos auf meinem Telefon oder Computer anschaue, möchte ich die Lautstärke nicht zu hoch aufdrehen, weil ich befürchte, andere zu stören. Und Geräte mit minderwertigen Lautsprechern können Sprache selbst für viele Menschen mit gutem Gehör nahezu unverständlich machen.
Live Caption verspricht zusammen mit anderen Anwendungen, die durch Googles neue Live Transcribe-Technologie ermöglicht werden, all das zu verändern – mit Untertiteln, wo und wann immer Sie sie brauchen.
Durchbrüche im maschinellen Lernen ermöglichen Live Caption und Live Relay
Live Caption wandelt Sprache in Echtzeit in Text um. Mithilfe von Durchbrüchen im maschinellen Lernen bietet es sofortige Transkriptionen von YouTube-Videos, Podcasts, Videochats, Skype-Anrufen sowie vom Nutzer erstellten Audio- und Videoaufnahmen. Die gesamte Verarbeitung findet auf dem Android-Smartphone des Nutzers statt.
Live Caption arbeitet im Hintergrund, ohne andere Apps zu unterbrechen. Und da keine Daten zur Verarbeitung in die Cloud gesendet werden müssen, beseitigt es Verzögerungen, die durch manchmal instabile drahtlose Verbindungen entstehen.
Für normale Telefonanrufe gibt es außerdem eine neue Live Relay-Funktion. Sie ist eine Rettung für Menschen, die gehörlos sind oder einen hochgradigen Hörverlust haben, sowie für diejenigen, die am Telefon Schwierigkeiten haben, verstanden zu werden.
Live Relay ermöglicht es dem Telefon, für Nutzer zuzuhören und zu sprechen, während sie tippen. Da die Antworten sofort erfolgen und Schreibvorschläge in Echtzeit liefern, können Nutzer schnell genug tippen, um ein normales Telefongespräch zu führen.
Live Transcribe: Technologie für vielfältige Anwendungen
Live Caption und Live Relay sind praktische Anwendungen, die die von Google im Februar angekündigte Technologie Live Transcribe nutzen. Ein von Dimitri Kanevsky geleitetes Team, einem gehörlosen Google-Forscher, arbeitete mit gehörlosen Studierenden und Lehrkräften der Gaulladet University zusammen, um die neue Echtzeit-Sprach-zu-Text-Transkriptionstechnologie zu entwickeln.
Live Transcribe ist eine auf künstlicher Intelligenz basierende Technologie, die maschinelles Lernen nutzt, um die Umwandlung von Sprache in Text kontinuierlich zu verbessern. Sie wird in Apps für Personal Computer und Mobiltelefone integriert und unterstützt externe Mikrofone in kabelgebundenen Headsets, Bluetooth-Headsets und USB-Mikrofonen.
Sie wird in bis zu 70 Sprachen und Dialekten verfügbar sein. Neben dem neuen Android Q OS wird sie laut Google für alle Smartphones verfügbar sein, auf denen das Betriebssystem Android 5.0 oder höher läuft.
Googles Project Euphonia unterstützt Menschen mit Sprachbeeinträchtigungen
Zusätzlich zur Unterstützung von Menschen mit Hörverlust erklärte Google, dass es Technologie einführen werde, um Menschen mit Sprachbeeinträchtigungen zu helfen, klarer zu kommunizieren. Sein Project Euphonia nutzt künstliche Intelligenz, um die Fähigkeiten von Computern zu verbessern, vielfältige Sprachmuster zu verstehen, beispielsweise beeinträchtigte Sprache.
Googles Software wandelt aufgezeichnete Sprachproben in ein Spektrogramm um, also eine visuelle Darstellung von Schall. Der Computer verwendet dann häufig transkribierte Spektrogramme, um das System zu „trainieren“, diese weniger häufige Art von Sprache besser zu erkennen.
Google arbeitete mit den gemeinnützigen Organisationen ALS Therapy Development Institute (ALS TDI) und ALS Residence Initiative (ALSRI) zusammen, um die Stimmen von Menschen aufzuzeichnen, die an ALS leiden, einer neurodegenerativen Erkrankung, die zur Unfähigkeit führen kann, zu sprechen und sich zu bewegen.
Nachdem Google mehr über die Kommunikationsbedürfnisse von Menschen mit ALS erfahren hatte, optimierte es KI-basierte Algorithmen, damit Mobiltelefone und Computer von Menschen mit Sprachschwierigkeiten gesprochene Wörter zuverlässiger transkribieren können.
Sich wieder verlieben
Versteh mich nicht falsch. Ich liebe mein iPhone, mein iPad, mein MacBook Pro, meinen iMac mit seinem Retina display und all die anderen Dinge rund um iOS und MacOS immer noch. Ich habe sogar meinen Vintage Mac Classic behalten.
Aber ich fürchte, dass ich mich mit Google’s Live Caption vielleicht sogar noch ein bisschen mehr in die schöne neue barrierefreie Welt von Android verlieben könnte.
David Copithorne
Mitwirkender RedakteurDavid Copithorne ist ein langjähriger Blogger zum Thema Hörverlust und regelmäßiger Autor bei Hearing Tracker. Im Jahr 2002 erlitt er eine plötzliche und hochgradige Hörbeeinträchtigung. Seitdem widmet er sich der Weitergabe der wertvollen Informationen, die er auf seinem Weg gelernt hat.