Welche Aufgaben muss die KI denn überhaupt lösen:
- Speech to Text
- Text to Sign language oder beides auf einmal. Allerdings bezweifle ich, dass es dafür gute Modelle gibt.
Klar, für ersteres muss eine gute KI genommen werden. Open Source kenne ich da nichts gutes. Und nein, KALI ist nicht gut, es ist scheiße im Vergleich zum Stand der Technik. OpenAI Whisper finde ich extrem gut, allerdings datenschutztechnisch schlecht. Wenn die da etwas gutes finden, was auch mit Deutsch funktioniert, dann… Aber ja, daran wird es haken.
Zweiteres, Text to Handsprache, da sehe ich überhaupt kein Problem. Das können, ich kenne mich mit Handsprache nicht sonderlich gut aus, Bilder seien, die aneinander gereiht sind und zwischen denen interpoliert wird.
Das können, ich kenne mich mit Handsprache nicht sonderlich gut aus, Bilder seien, die aneinander gereiht sind und zwischen denen interpoliert wird.
Ich glaube das ist um einiges komplizierter. So weit ich weiß: Zum Beispiel werden Richtungen einfach durch eine Handbewegung in die entsprechende Richtung gezeigt. Was start one Ziel dieser Bewegung ist hängt dann vom Kontext ab. Klar, LLMs verstehen inzwischen worauf sich ein “es” im Satz bezieht, aber nichtsdestotrotz ist das ein richtig richtig schweres Problem für Computer.
Der Wikipedia Artikel ist interessant: https://de.wikipedia.org/wiki/Gebärdensprache
Die Gebärden werden phonologisch in vier Parameter zerlegt, die phonemisch weiter analysiert werden: in Handkonfiguration, Handorientierung, Bewegungsausführung und Ort der Bewegung. Viele Gebärden sind stark flektiert. Informationen können pronominal (durch verschiedene sichtbare Formen) in einer einzigen Gebärde eingebaut werden, z. B. in DGS die Verbgebärde, glossiert mit ICH-BUCH-GEBEN-DIR-SCHNELL[5] schließt die Bewegungsrichtung von „ich“ nach „du“, und zwar schnell, ein und die Handkonfiguration zeigt das Halten eines imaginären Buches an. Wenn abgewandelt in der Bewegung von „du“ nach „ich“, ergibt DU-BUCH-GEBEN-MIR-SCHNELL. Die Gebärde kann mit anderen Handformen modifiziert werden, um anzuzeigen, was gegeben wird, z. B. ein dickes oder dünnes Buch, eine Flasche, ein Fuß- oder Golfball, ein Stück Papier, einen Stapel Bücher usw. Dazu kommt noch die unterschiedliche Orientierung der Hand bzw. Hände, ob das Objekt horizontal oder vertikal übergeben wird. Insgesamt sieben Bedeutungsteile können in dieser einzigen Gebärde erkannt werden: Subjekt, Empfänger (Einzahl oder Mehrzahl), dessen Lokalität (links, rechts, nahe oder fern), Objekt, Größe bzw. Menge des Objekts, verbiales Adverb, einmal oder wiederholt.
Gebärdensprache ist mehr als die Aneinanderreihung von Gesten, die 1:1 dem Satz entsprechen. Denn einerseits hat Gebärdensprache einen anderen Satzbau und Grammatik, andererseits können Gebärden auch eine “Betonung” haben.
Das wär alles sicher machbar, bräuchte aber sicher viel Training für die KI.
