Live Caption auf Googles Android Q ist eine Killer App
Echtzeit-Videotranskriptionen auf dem Pixel 4 erregen die Aufmerksamkeit treuer iPhone-Nutzer)
:format(webp))
Ich bin seit meinem Kauf eines Mac Classic im Jahr 1988 ein ziemlich zufriedener Bürger des Apple-Universums. Und als Apple das iPhone einführte, war ich voll dabei. Ich habe nie ernsthaft überlegt, mein iPhone gegen ein Android-Smartphone einzutauschen – bis jetzt. Das liegt daran, dass Google gerade angekündigt hat, dass sein neues Android Q OS mit einer Live Caption-Anwendung und anderen Barrierefreiheitsfunktionen ausgestattet sein wird.
Live Caption erstellt sofortige, Echtzeit-Transkriptionen für Videos, Podcasts und Audionachrichten für jede App, die auf Android Q läuft. Sobald Sprache erkannt wird, werden Untertitel angezeigt, auch wenn die App keine native Unterstützung für Untertitel hat. Es untertitelt sogar Videos und Audiodateien, die vom Benutzer aufgenommen wurden.
Wenn Live Caption auf der gestrigen Demonstration bei der jährlichen Google I/O Entwicklerkonferenz auch nur annähernd so gut funktioniert, könnte es genau die Art von Killer-App sein, die eingefleischte iPhone-Nutzer wie mich veranlasst, einen Wechsel in Betracht zu ziehen.
Wie Google in einem Blog-Beitrag zu Android Q sagte:
Google Android Q AnkündigungFür 466 Millionen gehörlose und schwerhörige Menschen auf der ganzen Welt sind Untertitel mehr als nur eine Annehmlichkeit – sie machen Inhalte zugänglicher. Wir haben eng mit der Gehörlosen-Gemeinschaft zusammengearbeitet, um eine Funktion zu entwickeln, die den Zugang zu digitalen Medien verbessert. Mit einem einzigen Tippen werden Medien, die Audio auf Ihrem Telefon abspielen, von Live Caption automatisch untertitelt. Live Caption funktioniert mit Videos, Podcasts und Audionachrichten in jeder App – sogar bei Inhalten, die Sie selbst aufnehmen. Sobald Sprache erkannt wird, werden Untertitel angezeigt, ohne dass Sie jemals eine WLAN- oder Mobilfunkverbindung benötigen, und ohne dass Audio oder Untertitel Ihr Telefon verlassen.
Untertitel überall und jederzeit wenn Sie sie brauchen
Mit meinen zwei Cochlea-Implantaten komme ich in live Gesprächen und weitgehend auch am Telefon sehr gut zurecht. Aber ich habe immer noch große Schwierigkeiten, Sprache im Fernsehen zu verstehen. Und Audioaufnahmen sowie Web-Videos, die auf dem Computer und Telefon abgespielt werden, können noch problematischer sein. Ich aktiviere Untertitel regelmäßig beim Fernsehen, aber bei anderen Medientypen gibt es oft keine angemessene Lösung.
Wenn ich Videos auf meinem Telefon oder Computer ansehe, möchte ich die Lautstärke nicht zu laut aufdrehen, um andere nicht zu stören. Und Geräte mit minderwertigen Lautsprechern können Sprache auch für viele Menschen mit gutem Hörvermögen kaum verständlich machen.
Live Caption verspricht zusammen mit anderen Anwendungen, die von Googles neuer Live Transcribe-Technologie ermöglicht werden, all das mit Untertiteln überall und jederzeit wenn Sie sie brauchen zu ändern.
Durchbrüche beim Machine Learning ermöglichen Live Caption und Live Relay
Live Caption wandelt Sprache in Echtzeit in Text um. Unter Nutzung von Durchbrüchen beim Machine Learning bietet es sofortige Transkriptionen von YouTube-Videos, Podcasts, Videochats, Skype-Anrufen sowie Audio- und Videoaufnahmen, die vom Benutzer erstellt wurden. Alle Verarbeitungen finden auf dem Android-Telefon des Benutzers statt.
Live Caption funktioniert im Hintergrund, ohne andere Apps zu unterbrechen. Und weil es keine Daten in die Cloud senden muss, um sie zu verarbeiten, werden Verzögerungen durch manchmal schwache drahtlose Verbindungen eliminiert.
Für reguläre Telefonanrufe gibt es auch eine neue Live Relay-Funktion. Sie ist ein Lebensretter für Menschen, die gehörlos sind oder erhebliche Hörverluste haben, und für diejenigen, die Schwierigkeiten haben, am Telefon verstanden zu werden.
Live Relay ermöglicht es dem Telefon, für Benutzer zuzuhören und zu sprechen, während sie tippen. Da die Antworten sofort erfolgen und Echtzeit-Schreibvorschläge bieten, können Benutzer schnell genug tippen, um ein normales Telefonat zu führen.
Live Transcribe: Technologie für mehrere Anwendungen
Live Caption und Live Relay sind praktische Anwendungen, die die Live Transcribe-Technologie nutzen, die Google im Februar ankündigte. Ein Team unter der Leitung von Dimitri Kanevsky, einem gehörlosen Google-Forscher, arbeitete mit gehörlosen Studierenden und Fakultätsmitgliedern der Gallaudet University zusammen, um die neue Echtzeit-Sprache-zu-Text-Transkriptionstechnologie zu entwickeln.
Live Transcribe ist eine auf künstlicher Intelligenz basierende Technologie, die Machine Learning nutzt, um die Sprache-zu-Text-Umwandlung ständig zu verbessern. Sie wird in Apps für Personal Computer und Mobiltelefone integriert und unterstützt externe Mikrofone in Kopfhörern mit Kabel, Bluetooth-Kopfhörern und USB-Mikrofonen.
Sie wird in bis zu 70 Sprachen und Dialekten verfügbar sein. Neben dem neuen Android Q OS sagt Google, dass es für alle Smartphones verfügbar sein wird, die das Android 5.0 Betriebssystem und später ausführen.
Googles Project Euphonia hilft Menschen mit Sprachbeeinträchtigungen
Zusätzlich zur Unterstützung von Menschen mit Hörverlust sagte Google, dass es eine Technologie einführen wird, um Menschen mit Sprachbeeinträchtigungen zu helfen, deutlicher zu kommunizieren. Sein Project Euphonia nutzt künstliche Intelligenz, um die Fähigkeiten von Computern zu verbessern, verschiedene Sprachmuster wie beeinträchtigte Sprache zu verstehen.
Googles Software wandelt aufgenommene Sprachsamples in ein Spektrogramm oder eine visuelle Darstellung von Schall um. Der Computer nutzt dann allgemeine transkribierte Spektrogramme, um das System zu „trainieren", um diese weniger häufige Art von Sprache besser zu erkennen.
Google arbeitete mit den gemeinnützigen Organisationen ALS Therapy Development Institute (ALS TDI) und ALS Residence Initiative (ALSRI) zusammen, um die Stimmen von Menschen aufzunehmen, die ALS haben, einen neurodegenerativen Zustand, der zu einer Unfähigkeit zu sprechen und sich zu bewegen führen kann.
Nach dem Verständnis der Kommunikationsbedürfnisse von Menschen mit ALS optimierte Google KI-basierte Algorithmen, damit Mobiltelefone und Computer Wörter, die von Menschen mit Sprachschwierigkeiten gesprochen werden, zuverlässiger transkribieren können.
Sich wieder verlieben
Versteht mich nicht falsch. Ich liebe immer noch mein iPhone, mein iPad, mein MacBook Pro, meinen iMac mit Retina-Display und all die anderen iOS- und MacOS-Geräte. Ich habe sogar meinen vintage Mac Classic behalten.
Aber ich fürchte, mit Googles Live Caption könnte ich mich tatsächlich ein wenig mehr in die mutige neue barrierefreie Welt von Android verlieben.
David Copithorne
Beitragender RedakteurDavid Copithorne ist ein langjähriger Blogger zum Thema Hörverlust und regelmäßiger Beiträger bei Hearing Tracker. Im Jahr 2002 erlitt er einen plötzlichen und schwerwiegenden Hörverlust. Seitdem hat er sich der Aufgabe gewidmet, die wertvollen Informationen zu teilen, die er auf seinem Weg gelernt hat.