Emotionen beeinflussen unseren Alltag und den Umgang mit anderen Menschen. Doch können Emotionen bei Menschen mit einer Facialisparese schwer am Gesichtsausdruck abgelesen werden, da es sich bei einer Facialisparese um eine mimische Bewegungsstörung handelt, die u.a. nach einem Schlaganfall auftreten kann. Diese in Alltagssituationen einschränkende Tatsache kann bei den Betroffenen Stress und Angst hervorrufen. Um die Gesichtsmuskeln wieder zu aktivieren und somit die Mimik zu verbessern, sollen die Patienten auch eigenständig Mimikübungen durchführen – dafür liegen jedoch kaum therapiebegleitende Trainingsmaßnahmen vor. Daher wurde sich innerhalb des Projekts der Problemstellung angenommen, eine solche Trainingsmaßnahme zu entwickeln. Dabei wurden die Forschungsbereiche Serious Gaming und Affective Computing miteinander verknüpft.
Um den Spaßfaktor und somit die Motivation zur Therapie zu erhöhen, wurde sich dazu entschieden, ein 2D-Jump‘n‘Run-Spiel als Serious Game zu programmieren. Dies erfolgte innerhalb der Spiel-Engine Unity, in welcher mit Hilfe von kostenlosen Assets für die unterschiedlichen Level, die im Start-Menü ausgewählt werden können, verschiedene Maps mit Gegnern und Parcours erstellt wurden. Die einzelnen Spiel-Funktionen, denen Sounds hinterlegt sind, wurden innerhalb der Bedienoberfläche Unitys verknüpft mit Skripts in C# umgesetzt. Zu ihnen zählen das Laufen nach links und rechts, das Springen und Ducken, Einsammeln von Diamanten zum Erreichen eines Scores oder von Kirschen zum Erhalten eines zusätzlichen Lebens sowie das Schießen. Mit der letzten Funktion kann sich gegen die Gegner gewehrt werden, denn durch eine Berührung mit diesen verliert der Spieler sonst ein Leben. Einzelnen Gegnern ist es durch einen Pathfinding-Algorithmus möglich, den Spieler in einem begrenzten Bereich zu verfolgen.
Der Trainingseffekt des Serious Games soll dadurch erreicht werden, dass die Funktionen des Springens und Duckens über Emotionen gesteuert werden. Hierfür wurde eine geeignete freie Software zur Emotionserkennung gefunden und angepasst, die mit Hilfe einer Webcam am Gesichtsausdruck erkennt, welche Emotion der Spieler am wahrscheinlichsten zeigt. Durch das Erkennen der jeweiligen Emotion wird die zugehörige Spielfunktion ausgelöst.
Die Emotionserkennung ist, wie die Stressdetektion, die ebenfalls in das Spiel eingebaut wurde, in den Bereich des Affective Computings einzuordnen. Der Stress wird über einen an zwei Fingern angebrachten Sensor, welcher den Hautleitwert misst, detektiert: Überschreitet der Hautleitwert einen festgesetzte Grenzwert, so wird das Spielniveau vereinfacht; wird der Grenzwert im weiteren Spielverlauf nicht mehr überschritten, so wird das Spielniveau wieder hochgesetzt. Durch die Anpassung des Schwierigkeitsgrades an das Stresslevel sollen Frustration durch ein zu hohes Spielniveau sowie Langeweile durch ein zu geringes Spielniveau verhindert werden. Die Spielanpassung erfolgt durch die Anzahl von Leben und Gegnern.
Da sowohl die Software zur Stressdetektion als auch zur Emotionserkennung in Python geschrieben sind, Unity jedoch mit C#-Skripts arbeitet, musste zudem eine Software zur Kommunikation zwischen Unity und Python gefunden werden, welche die Einbindung der Emotionen und des Stresslevels in das Spiel ermöglicht. Diese Software basiert auf dem Server-Client-Prinzip.
Im Projekt wurde demnach eine mögliche motivierende Trainingsmaßnahme für Schlaganfallpatienten mit einer Facialisparese entwickelt, die therapiebegleitend ohne die Anwesenheit eines Therapeuten durchgeführt werden kann. Es handelt sich dabei um ein Serious Game, welches einige Spiel-Aktionen über Emotionen steuert und seinen Schwierigkeitsgrad an das Stresslevel des Spielers anpasst. Inwieweit das entwickelte Spiel tatsächlich die Motivation und die Therapie fördert, muss zukünftig in Tests mit der Zielgruppe untersucht werden.