Bachelor Project WS 24/25
Mirror Therapy in Virtual Reality (VR)
Introduction
As part of our HCI project during winter semester 2024/25, we designed a virtual reality game inspired by the concept of mirror therapy. Mirror therapy is used to aid in motor recovery and pain management, particularly for patients with conditions such as stroke, phantom limb pain, and complex regional pain syndrome (CRPS). It works by creating a visual illusion using a mirror that helps the brain relearn movement patterns and reduce pain perception. In our game, we used virtual reality instead of a physical mirror to create this illusion. The player's right hand is tracked, and its movements are mirrored onto the avatar's left hand. The objective is to guide a marble through a maze to the target area using the avatar's left hand (a mirrored image of the player's right hand), while the player moves only their right hand. Our research question explored whether increasing the level of gamification—such as adding collectible coins and a point system—has a significant effect on embodiment and player motivation.
© 2024/25 Melina Bergen, Mohammad Fathi, Evgeniia Potapova, Kamilla Rajnai. All rights reserved.
Project Team
|
Supervision
|
Design
The game was set in a virtual living room. A square maze was placed on a table, with a marble starting in the far left corner and a target area marked by a green circle in the near right corner. Players controlled the marble using a mirrored version of their right hand, simulating mirror therapy. Two game versions were created:
- Game A (Low Gamification): No scoring system, simple cylindrical obstacles.
- Game B (High Gamification): Players earned points by collecting coins, with ghost NPCs as interactive obstacles. Points were deducted if the marble touched a ghost.
Game B also featured confetti effects at the level's end, while Game A used only a text message indicating the end of the level.
Each game had two levels, with Level 2 being slightly more challenging due to a more complex maze layout.
Implementation
The game was developed using Unity 3D (2022.3.50f1). Hand tracking was achieved using Meta Hand Tracking. The left hand tracking was disabled, and a custom script mirrored the right hand's movements to create a virtual left hand. This mirrored hand interacted with the marble via capsule colliders, while the real right hand remained visible but did not interact with the environment.
Future Work
We hope that our work could inspire future researchers to explore the application of similar games as a possibly more enjoyable alternative to traditional mirror therapy in real therapeutic settings. However, further studies and clinical trials are necessary to evaluate the effectiveness of such games in comparison to conventional methods. Future research should focus on (long-term) therapeutic benefits, patient outcomes, and potential improvements in motor recovery and pain management.
Touch vs. Tangibles: a comparative study of interaction methods for a multi-user flood crisis simulation on a touch table
As part of our HCI bachelor project, we developed a multi-user flood crisis simulation to compare two interaction methods on a touch table. It lets three emergency officials collaborate to minimize flood damage using a detailed map of Hamburg, which is split up into smaller, possibly affected areas. The rising water level triggers area-related events such as road closures, evacuations, or dike breaches, that require strategic management of available resources. We tested common multitouch input methods against a tangible interface using 3D-printed tangible objects for map navigation and event handling. Usability, user experience, task load, subjective ratings, and game performance were evaluated. While most aspects showed no significant difference between the methods, the touch-based interface was rated higher in usability. Our findings provide insights into the effectiveness of tangible interfaces for collaborative crisis simulations and their potential real-world use.
Project Team
|
Supervision
|
Untersuchung des unterstützenden Einflusses räumlicher Sortierung von Papern in AR auf die Recherche in wissenschaftlichen Forschungsfeldern
Thema
In unserem Projekt haben wir uns mit der Optimierung des Lesens von wissenschaftlichen Paper durch Augmented Reality Technologien beschäftigt. Häufig ist es schwer die Verknüpfungen verschiedener Forschungsarbeiten innerhalb eines Themensfeldes bei Recherchen nachzuvollziehen. Der Einsatz von AR-Technologien kann dabei Unterstützen Informationen räumlich zu sortieren, eigene Strukturen zu schaffen und erweitert die begrenzte Fläche eines Laptops auf den gesamten Raum. Inwiefern Augmented Reality in der Lage ist Paper Recherche zu unterstützen, indem räumliche Informationsverarbeitung ermöglicht wird und die Zusammenhänge wissenschaftlicher Texte visualisiert, wurde in unserer Studie untersucht.
Implementation
Unter Verwendung der Meta Quest 3 haben wir eine AR-Anwendung entwickelt, welche die oben beschriebenen Vorteile im Kontext des Lesens wissenschaftlicher Texte umsetzt. So können mehrere Paper im Raum frei angeordnet werden. Zudem werden die Zusammenhänge der einzelnen Texte durch eine Baumstruktur visualisiert. Das öffnen neuer Paper funktioniert über direkte Verlinkungen in den Texten. Als Vergleichskondition entwickelten wir eine Anwendung, in der nur ein Text zur Zeit an immer der selben Position gelesen werden konnte. Um zwischen den Papern zu wechseln musste das gesuchte Paper aus einer Liste ausgewählt werden. 
Studie
In einem within subject Design Experiment durchliefen 28 Versuchspersonen die beiden Konditionen. Dabei lasen sie kurze Informationstexte, die in den Anwendung präsentiert wurden. Die Texte referenzierten einander als Quellen, sodass Informationsursprünge zurückverfolgt werden konnten. Aufgabe für die Versuchspersonen war es sich innerhalb von 10 Minuten möglichst gut über ein vorgegebenes Thema zu informieren. Anschließend wurde durch ein Single-Choice Quiz das Leseverständnis abgefragt, die User Experience durch den UEQ-Fragebogen erfasst und die Arbeitslast durch den NASA TLX-Fragebogen gemessen.
Eregbnisse
Die Antworten des Quizes wurden in eine Punktzahl umgerechent. Ein statistischer Test ergab, dass keine signifikanten Unterschiede des Leseverständnisses zwischen den beiden Konditionen gefunden wurden. Für die User Experience ergaben sich nur in den Dimensionen Neuheit und Stimulation signifikante Unterschiede. Andere signifikante Abhängkeiten bezüglich der Themen oder der Reihenfolge gab es für diesen Faktor nicht. Die gemessene Arbeitsbelastung zwischen den beiden Konditionen war widerum nicht signifikant unterschiedlich.
Project Team
|
Supervision
|
Floodsimulation in Hamburg - A VR Serious Game
As part of our HCI project from October 2024 to March 2025, we developed a prototype of a VR serious game concering Floodmanagement. We simulate a flood in Hamburg in the year 2075, where the water is starting to reach buildings and endanger people. Users have to manage this flood by evacuating and securing buildings, dropping sandbags on the map and choosing resources to resolve different types of events, such as a tree that is blocking a street. On a big screen they have an overview of all their score values, like the remaining ressources or the total financial damage. The goal is to keep the injured numbers and the financial damage as low as possible. We conducted a study to check wether we can increase a users awareness for floods and sustainibility by playing a VR serious game. The results showed a significant increase in flood risk awareness and a significant, albeit smaller, increase in sustainability awareness following the intervention. These findings suggest that serious games can effectively enhance awareness of environmental risks.
Project Team
|
Supervision
|
Kreativität verbessern durch generative Augmentation
Ziel
Wir haben im Rahmen des HCI-Projektes (2024/25) untersucht, inwiefern sich das Schreiben eines kreativen Textes mit Hilfe von KI generierten Kommentaren auf die Kreativität der Texte auswirkt. Dabei wurde untersucht, ob minimalinvasive Kommentare einer KI, anstelle einer vollständigen Textgenerierung, zu einer verbesserten Kreativität in Texten beiträgt. Zusätzlich wurde geprüft, ob dabei die Benutzerfreundlichkeit erhalten bleibt und die Arbeitslast durch den Einsatz der KI verringert wird.
Dafür haben wir einen Texteditor als Webanwendung erstellt, in dem zu jedem geschriebenen Absatz nach dem Drücken der Eingabetaste ein KI-Kommentar generiert wird. Dieser soll helfen, den Text fortzusetzen und ihn noch kreativer zu gestalten. Dabei haben wir darauf geachtet, dass die Kommentare nur Denkanstöße liefern und keine vollständigen ausformulierten Texte, die einfach übernommen werden können, um der Ideenentwicklung der Nutzenden ausreichend Freiraum für die eigene kreative Entfaltung zu geben.
Studienablauf
Anschließend haben wir eine Studie im Within-Subject-Design durchgeführt, in der jede Versuchsperson zwei Konditionen durchlief. Die Versuchspersonen schrieben in jeder Kondition einen kreativen Text. Die Themen konnten frei gewählt werden, mussten aber voneinander unterschiedlich sein. Je nach Kondition wurde bei der Verwendung eines Absatzes durch die Eingabetaste ein KI-Kommentar zum letzten Absatz erzeugt oder nicht. Für jeden Text erhielten die Versuchspersonen 15 Minuten Zeit zum schreiben. Die Reihenfolge der Konditionen wurde randomisiert, um einen Lerneffekt auszuschließen. Nach einem Schreibintervall sollten die Versuchspersonen die System Usability Scale und den NASA Task Load Index ausfüllen. Die Kreativität der Texte haben wir anhand von 5 Kriterien bewertet: Emotionale Ausdruckskraft, Szenenaufbau und Atmosphäre, Soziale und Kulturelle Reflexion, Unkonventionelle Denkweise, Charakterentwicklung.
Ergebnisse
Die Ergebnisse der Studie zeigen, dass die KI-Kommentare die Kreativität der Texte nicht signifikant beeinflusst haben. Die KI-Unterstützung hatte zudem keinen negativen oder positiven Einfluss auf die Arbeitslast und Benutzerfreundlichkeit. Grund hierfür könnte die geringe Schreibzeit sein, die die Nutzenden aus Zeitdruck dazu veranlasst haben könnte, nicht auf die KI-Kommentare einzugehen oder die Qualität der Kommentare, welche von einigen bemängelt wurde. Dennoch wurde das System aufgrund seiner Zurückhaltung insgesamt von der Mehrheit positiv bewertet und von zwei Dritteln mindestens gelegentlich genutzt.
Project Team
|
Supervision
|
Überschrift unseres Projektes
Im Rahmen des Bachelor MCI Projekts (WiSe 24/25) haben wir das Potential von EMG (Electromyographie) als Eingabemethode im VR Kontext untersucht. Hier ging es spezifisch darum, diese noch deutlich unerforschtere Interaktionsmöglichkeit mit konventionelleren etablierteren Methoden zu vergleichen. Tiefergehend lag unser Interesse darin, herauszufinden, wo EMG potentiell Interaktionsmöglichkeiten ermöglicht, die deutlich intuitiver als die der konventionelleren Mittel sind. Spezifisch haben wir also untersucht, inwieweit EMG als Interaktionsmethode in VR das Potential hat, Motivation und daraus folgend die Präsenz zu steigern. Um dies herauszufinden, haben wir EMG als Interaktionsmethode um magische Kräfte zu kontrollieren, der des reinen Handtrackings gegenübergestellt.
Project Team
|
Supervision
|
KI-Steganography in Virtual Meetings
Im Rahmen dieses Bachelorprojekts wurde die Anwendung von KI-gestützter Stenografie in virtuellen Meetings untersucht. Das Ziel bestand in der Entwicklung einer VR-Anwendung, die es Benutzern ermöglicht, in einer virtuellen Umgebung als humanoider Avatar mit einem virtuellen Agenten zu interagieren. Aufgabe des virtuellen Agenten war es gesprochene Inhalte zu transkribiert. Während des Experiments wurden die Teilnehmer aufgefordert, ihre Ideen in freigewählten Themenbereichen unter zwei Bedingungen zu äußern: Einmal in Anwesenheit eines virtuellen Agenten und einmal ohne dessen Präsenz. Die Studie erfasste anhand von Fragebögen sowohl quantitative als auch qualitative Daten zur wahrgenommenen Qualität der Transkription und dem Einfluss des Agenten auf den Gesprächsprozess. Die Anweseheit des virtuellen Agenten wurde größtenteils positiv bewertet.
Ergebnisse
Bezüglich der User Experience zeigen die quantitativen Ergebnisse signifikante Unterschiede in den Kategorien Stimulation und Originalität zwischen den beiden Bedingungen. In der Variante mit virtuellem Agenten wurden beide Dimensionen im Durchschnitt höher bewertet. Diese Tendenz wird durch die qualitativen Daten gestützt: Die Mehrheit der Teilnehmenden nahm die Präsenz des virtuellen Agenten als positiv und unterstützend wahr. Kritik gab es für fehlende Wörter, Probleme mit „Denglisch“ und eine teils langsame Reaktionszeit. Viele empfanden die Präsenz des Agenten als angenehm, da sie das Gespräch natürlicher und interaktiver gestaltete. Einige berichteten, dass sie dadurch freier und spontaner sprechen konnten. Zu den Verbesserungsvorschlägen gehörten eine schnellere Transkription, eine genauere Worterkennung sowie eine flexiblere Anpassung der erfassten Inhalte, etwa durch mehr Stichpunkte. Unsere Erkenntnisse verdeutlichen das Potenzial virtueller Agenten zur Verbesserung virtueller Meetings.
Project Team
|
Supervision
|