Key Takeaways
- Navi verwendet SharePlay und Apples eingebaute Sprache-zu-Text-Funktion, um Untertitel und Übersetzungen in FaceTime anzubieten.
- Es ist alles andere als perfekt, aber schon gut genug.
- Untertitel sind großartig für die Zugänglichkeit.
Navi ist eine App, die deinen FaceTime-Anrufen Live-Untertitel und Echtzeitübersetzungen hinzufügt.
Die App verwendet SharePlay und die integrierte Spracherkennung, um deinen FaceTime-Anrufen Untertitel und Übersetzungen in 20 Sprachen hinzuzufügen. Es ist eine unglaubliche Verwendung von SharePlay, die die meisten von uns als eine Spielerei betrachten, um synchronisierte Filme mit Menschen an anderen Orten anzusehen. Sie müssen Ihren Übersetzer vielleicht noch nicht feuern, aber eine App, die dies gut kann, könnte wahnsinnig nützlich sein.
"Ich bekomme den Ton des FaceTime-Anrufs nicht", schreibt der Navi-Entwickler Jordi Bruin auf Twitter, "aber ich nutze SharePlay, um ihn mit den Gesprächsteilnehmern zu teilen."
SharePlay
SharePlay ist eine neue Funktion in iOS 15 und macOS 12.1, mit der Sie Dinge in FaceTime-Anrufen teilen und synchronisieren können. Mit dem obigen Beispiel zum Ansehen eines Films kann jeder Teilnehmer beispielsweise den Film anh alten oder abspielen, während Sie alle im FaceTime-Anruf chatten. Das FaceTime-Video bleibt in einem kleinen, schwebenden Bild-in-Bild-Fenster geöffnet, und jeder Teilnehmer führt die App lokal auf seinem Gerät aus. Der Trick von SharePlay besteht darin, alles, was in diesen lokalen Apps passiert, zu synchronisieren, damit jeder die Erfahrung teilt, sei es ein Film, ein Fitness+-Training oder eine Tabelle.
Navi verwendet dieselbe Technologie, nur dass die In-Call-App kein Film ist, sondern eine Echtzeit-Übersetzungsmaschine. Um es zu verwenden, starten Sie die App während eines FaceTime-Anrufs und tippen auf die Sch altfläche „Untertitel einsch alten“. Dann können sich auch andere Teilnehmer an der Aktion beteiligen und Live-Untertitel für den aktuellen Sprecher sehen. Wenn jemand monologisiert, wächst seine Sprechblase und bleibt etwas länger hängen.
Für Gehörlose könnte dies den Unterschied bedeuten, ob sie jemanden anrufen oder nicht. Und für jeden bedeutet es, dass Sie nützliche Gespräche zwischen Menschen führen können, die keine gemeinsame Sprache sprechen.
Universeller Text
Das Internet basiert auf Text, und das ist großartig. Es ist klein und einfach zu erstellen, zu lesen und zu übersetzen. Es ist auch einfach, sie in synthetische Sprache umzuwandeln. Das Ergebnis ist, dass jeder von überall an jedem Gespräch teilnehmen kann. Sprache ist kein Hindernis, ebenso wenig wie Taubheit oder Blindheit – solange Sie ein Gerät mit guten Eingabehilfen für Seh- oder Hörbeeinträchtigungen verwenden.
Aber das gesprochene Wort ist viel schwerer zu verarbeiten. Sprache-zu-Text-Diktat ist beeindruckend, aber erst vor relativ kurzer Zeit ist die allgemeine Spracherkennung gut genug für den allgemeinen Gebrauch geworden – Apples Übersetzer-App ist ein gutes Beispiel. Es wurde in iOS 15 eingeführt und bietet Audioübersetzungen in Echtzeit. Wenn wir noch in den Auslandsurlaub fahren würden, wäre es perfekt.
Jetzt nutzen wir Video immer mehr für die Arbeit und um mit Freunden und Familie in Kontakt zu bleiben. Egal, wie wir in Zukunft arbeiten, die Barriere für Videoanrufe wurde gründlich durchbrochen. Es ist jetzt ein gängiges Werkzeug, aber es fehlt viel von der Finesse schriftlicher Kommunikationswerkzeuge.
Etwas wie Navi, das Untertitel und Übersetzungen in Echtzeit bietet, könnte von Bedeutung sein. Erreichbarkeit ist ein Aspekt, aber die Möglichkeit, sich mit Menschen zu unterh alten, deren Sprache Sie nicht sprechen, eröffnet Ihnen ein erstaunliches internationales Geschäft.
Im Einsatz
Ich habe Navi mit App-Entwickler, Autor und Hörgeräteträger Graham Bower getestet. Es ist ziemlich gut, aber noch nicht bereit für kritische Aufgaben. Einige der Transkriptionen waren komisch schlecht und zu vulgär, um sie zu erzählen. Im Laufe unseres Gesprächs wurde es jedoch viel besser, seine Sprache genau zu erkennen. Das macht Sinn, weil sich das iOS-Diktiermodul mit der Zeit an Ihre Stimme anpasst.
Die Übersetzung hat auch funktioniert, obwohl die Qualität ihrer Übersetzungen von der Genauigkeit der Eingabe abhängt.
Es ist einfach, diese Art von Technologie in zukünftige Apple Glasses zu projizieren oder an was auch immer Gerüchten zufolge AR/VR-Produkte diese Woche arbeiten.
"Ich kann sehen, dass das in einer AR-Brille funktioniert", sagte Bower während unseres Gesprächs. "Manche Leute bevorzugen Untertitel in Filmen, auch wenn sie normal hören. Das wäre wie Untertitel im wirklichen Leben."
Navi ist zwar eine beeindruckende Tech-Demo, aber noch nicht da. Für einen zuverlässigen geschäftlichen Einsatz muss die anfängliche Spracherkennung von Apple viel genauer werden. Aber was die Geschwindigkeit betrifft, ist es in Ordnung, und die Übersetzungen sind so gut wie alle anderen.
Aber wir sind jetzt auf dem richtigen Weg, und so etwas wird nur noch besser.
