Das Forschungsprojekt TransLingo wurde im Zeitraum von September 2021 bis August 2025 am Institut für Mustererkennung bearbeitet. Partner in diesem Verbundprojekt waren das Universitäts-Klinikum Düsseldorf und die Firma Tema GmbH aus Aachen. Das Projekt wurde vom Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) als Beitrag zu dem Programm "Psychische und neurologische Erkrankungen erkennen und behandeln - Potenziale der Medizintechnik für eine höhere Lebensqualität nutzen" gefördert. Am Institut arbeiteten neben Prof. Hirsch als Projektleiter die wissenschaftlichen Mitarbeiter Christian Neumann, Yannik Tiggelkamp und Tobias Bolten in dem Projekt.
In dem Vorhaben wurde ein rechnerbasiertes Sprachtrainingssystem für Personen mit Aphasie entwickelt und getestet. Mit Aphasie bezeichnet man eine Sprachstörung, die häufig als Folge eines Schlaganfalls auftritt. Das System kann als eine ergänzende Möglichkeit eines eigenständigen Sprachtrainings neben der üblichen Behandlung durch eine Sprachtherapeut*in eingesetzt werden. Es wurden verschiedene graphische Oberflächen zum Verständnis gehörter Begriffe und zum eigenständigen Benennen von visuell dargestellten Gegenständen erstellt. Die Gestaltung des Dialogs erfolgte in Anlehnung an die Kommunikation zwischen Therapeut*in und Patient*in in einer Therapiesitzung. Die Hinweise und Anmerkungen der Therapeut*in werden in Form kurzer Videos einer realen Person gegeben. Zum Training des Benennens wurde eine robuste Spracherkennung entwickelt. Dabei wird die Spracheingabe einer Person mit Aphasie parallel mit drei Spracherkennungsmodulen analysiert. Die ein einzelnes Modul auszeichnenden Eigenschaften werden kombiniert, um die Spracherkennung möglichst robust zu gestalten. Zur Implementierung wurde eine Speech-API als Schnittstelle zwischen den graphischen Benutzer-Schnittstellen und den Erkennungsmodulen entwickelt, in der aus den in Textform vorliegenden Erkennungsergebnissen insbesondere einer der bei Aphasie häufig auftretenden Artefakte bestimmt wird. Typische Artefakte sind beispielsweise die Äußerung eines phonetisch ähnlichen Worts oder eines semantisch ähnlichen Begriffs. Gemäß des erkannten Artefakts erhält die Patient*in dann einen entsprechenden Hinweis der Therapeutin.
Das entwickelte Trainingssystem wurde in einem Therapiezentrum im Rahmen von Einzelsitzungen über einen längeren Zeitraum hinweg mit 24 Personen mit Aphasie getestet. Mit Zustimmung der Patient*innen wurden die Spracheingaben zur Benennung von Gegenständen gespeichert. Die Sprachdaten wurden zur Optimierung der Konfiguration der Erkennungsmodule, zur Verbesserung der kombinierten Auswertung der parallel gelieferten Erkennungsergebnisse und zum adaptiven Training des Modells eines Erkennungsmoduls verwendet. Damit konnte die Spracherkennung deutlich verbessert werden, was zu einer insgesamt sehr positiven Beurteilung der Patient*innen führte. Die Patient*innen waren in der Lage, mit dem Trainingssystem eigenständig zu arbeiten. Damit konnte die Verwendbarkeit als eine weitere Komponente in der Therapie von Personen mit Aphasie aufgezeigt werden.
Zum Abschluss des Vorhabens wurde neben der Benennung von Gegenständen die anspruchsvollere sprachliche Beschreibung kurzer Szenen, die in einem kurzen Video präsentiert werden, betrachtet. Durch das Hinzufügen einer weiteren Verarbeitung des Erkennungsergebnisses mit einem "Natural Language Processing" konnte bestimmt werden, ob in der Äußerung die korrekte Beschreibung der Handlung enthalten ist oder nicht. Der Abschluss bericht kann über den unten angegebenen Link eingesehen werden.
