Project: Human-Robot Interaction / Mensch-Roboter Interaktion

Winter Semester 2020/2021

News/Aktuelles

First registration period/Erste Anmeldephase (STiNE): 01.09.2021 (09:00h) - 07.10.2021 (16:00h)
First meeting/erstes Treffen: 14.10.2021 Online Zoom Meeting
For this course we use our WTM Wiki and git repositories at our local GitLab - all participants will be affirmed during the first meeting.
Check previous HRI projects to experience the scenarios the students have chosen and their results! Previous (2019) and former 2018 2017, 2016, 2015, 2014, 2013, 2012, 2011

General Information/Allgemeine Informationen
LV-Number:	64-868-P and 64-868-S
Lecturer :	Tom Weber, Dennis Becker, Kyra Ahrens, Erik Strahl, Dr. Cornelius Weber, Prof. Stefan Wermter
Period:	Thu/Do 14-18 + Fri/Fr 10-18
Room:	Online (F-235)
Credit Hours	6 SWS Project + 2 SWS Seminar (Winter Semester), 12 ECTS
Language:	English/Deutsch
Module:	MPM2

Contents/Inhalte

The project centers on the topic of Human-Robot Interaction. As the name HRI already conveys - the fundamental aspects come from research areas such as cognition, learning, interaction, and robotics. Research questions in HRI usually center on these questions:
What does it take for a robot to make us feel comfortable around it? How can such a robot learn independently or by interaction with a person? How can a robot interact with a person?
Inspired by the idea of having a robot at home, at work, or in public areas which help with your everyday tasks, we want to define and solve tasks like e.g. a coffee-serving or informational robot in a home or office environment. As exemplary possible scenarios, you should have a look at the current RoboCup@Home scenarios. Even such seemingly simple tasks/interactions require a broad set of interconnected, and robust capabilities like vision, communication, motion, and planning, and a good idea on how humans interact with each other. Within this project, we will focus on the interaction between humans and robot(s). The project may also include programming bio-inspired methods, interaction research, and implementing a robotic framework.

Das Projekt dreht sich um das Thema Mensch-Roboter-Interaktion. Wie der Name MRI (HRI) bereits ausdrückt – fundamentale Aspekte stammen aus Forschungsgebieten wie Kognition, Lernen, Interaktion und Robotik. Forschungsfragen in HRI drehen sich in normalerweise um:
Was macht es aus, dass wir uns mit einem Roboter wohlfühlen? Wie kann solch einen Roboter unabhängig oder über Interaktion mit einer Person lernen? Wir kann ein Roboter mit einer Person interagieren?
Inspiriert von der Idee einen Roboter zuhause, in der Arbeit oder an öffentlichen Orten zu haben, um mit Alltagsaufgaben zu helfen, wollen wir Aufgaben, wie das Servieren eines Kaffees oder das Informieren durch einen Roboter, aufstellen und lösen. Als mögliches Beispielszenario, solltet ihr euch die aktuellen RoboCup@Home Szenarien ansehen. Sogar scheinbar einfache Aufgaben oder Interaktionen setzen eine große Mengen an verbundenen und robusten Fähigkeiten voraus, zum Beispiel Bildverarbeitung, Kommunikation, Bewegung, Planung, und eine gute Idee wie Menschen miteinander interagieren. Innerhalb dieses Projektes werden wir uns auf die Interaktion zwischen Menschen und Robotern fokussieren. Das Projekt kann ebenfalls die Programmierung von bio-inspirierten Methoden, internationale Forschung und die Implementierung eines Roboter-Frameworks enthalten.

Objective/Lernziel

The project Human-Robot Interaction offers the opportunity to learn about the complexities of daily action, basic control of humanoid robots as well as the development of simple service robot applications. During the course of the project, special emphasis will be put on teamwork, i.e. collaborative problem-solving. In this way, the students can learn and experience the special difficulties and chances of project development, from research and conceptualization via implementation and validation to presentation and demonstration. The project will prepare them for research and the industry in booming sectors such as Knowledge Engineering, Human-Robot Interaction, and Robotics with both skills in computer science (programming and robotics) and soft skills (teamwork and the English language).

Das Projekt Mensch-Roboter Interaktion bietet die Gelegenheit, die Komplexität einfacher täglicher Handlungen zu verstehen, erste Erfahrungen mit der Kontrolle von Humanoiden Robotern zu sammeln und erste Anwendungen für Service Roboter zu entwickeln. Besonderer Fokus dazu ist im diesem Project die Teamarbeit, also das kollaborative Lösen von Problemen. Auf diese Weise können die Studierenden die speziellen Anforderungen und Chancen in der Projektentwicklung erlernen und erfahren von Forschung und Konzeptualisierung über Realisierung und Evaluation bis hin zu Präsentation und Demonstration. Das Projekt bereitet die Studierenden darauf vor, in der Forschung und freien Wirtschaft in boomenden Sektoren wie z.B. Wissenstechnologie, Mensch-Roboter Interaktion und Robotik sowohl mit Fachkompetenzen (Programmierung und Robotik) als auch mit sozialer Kompetenz (Teamarbeit und die englische Sprache) beizutragen.

Procedure/Vorgehen

This year, the full project will be concentrated on a single semester. In the first quarter, the integrated seminar offers the opportunity to dive into the topic and exploring interesting approaches that could be implemented later. Also, in the first half, the project will focus on learning how to use the available hardware and software as well as acquire general concepts and some practical experience on biologically inspired robotics, robot control architectures, and project management. In the second half of the semester, the project will focus on the implementation and execution of an HRI scenario that will be chosen by the students. To facilitate development, the whole robot control can be divided into several modules and later get integrated via a robot middleware such as ROS. We plan to make use of two full days each week until the end of March on which the students will have the opportunity for self-study or team-work in a modern research environment within the WTM lab. Ultimately, the results will be documented and presented.

In diesem Jahr wird das gesamte Projekt in einem Semester durchgeführt. In der ersten Hälfte des Semesters gibt es mit dem integrierten Seminar die Gelegenheit, sich in die Thematik einzuarbeiten und die interessanten Fähigkeiten, die dem Roboter verliehen werden können, kennenzulernen. Außerdem wird in der ersten Hälfte Gelegenheit gegeben Hardware- und Software-Umgebungen auszuprobieren und Erfahrungen mit biologisch inspirierten Robotern, Steuerungsarchitekturen und der Projektplanung zu machen. Das Projekt wird in der zweiten Hälfte des Semesters auf die Implementierung und Ausführung HRI Scenarios konzentriert, welches die Studierenden selbst ausgewählt haben. Einzelne Fähigkeiten des Roboters können in unabhängigen Modulen entwickelt und mit Hilfe einer Roboter-Middleware schließlich zu einem funktionierenden Gesamtsystem zusammengeführt werden. Wir planen zwei volle Tage pro Woche bis Ende März zu nutzen, um den Studierenden die Möglichkeit zum Selbststudium und zum Teamwork in einer modernen Forschungsumgebung innerhalb des WTM Labs, zu geben. Abschließend werden die Ergebnisse dokumentiert und präsentiert.

Literature/Literatur

C. Bartneck, T. Belpaeme, F. Eyssel, T. Kanda, M. Keijsers, and S. Šabanovic, Human-Robot Interaction. Cambridge University Press, 2020-02. doi: 10.1017/9781108676649.I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. MIT Press, 2016.
Marsland, S. Machine Learning: An Algorithmic Perspective. CRC Press, 2009.
G. Hoffman and X. Zhao, “A Primer for Conducting Experiments in Human–Robot Interaction,” ACM Transactions on Human-Robot Interaction, 10(1), 2021, doi: 10.1145/3412374.

Material

The initial working platforms will be the NICO humanoid robot and simulation software. These platforms have good abstraction layers from hardware and an API that permit us to focus on behavioral aspects of human-robot interaction and service robot applications. NICO (Neuro-Inspired COmpanion) is a child-sized humanoid robot that is designed to have human-like sensing and motor capabilities. The NICO robot was built by the knowledge technology group to be a research platform for multimodal human-robot interaction and neurocognitive models. Additionally, code and documentation developed in previous semesters will be made available to get started, use and extend as required.

Für den Start in das Projekt wird ein humanoider interaktiver NAO Roboter sowie eine Simulationssoftware eingesetzt. Diese Plattformen bieten eine sehr gute Abstraktion von der Hardware in eine vollständige API und erlauben damit, dass wir uns direkt auf Verhaltensaspekte von Mensch-Roboter Interaktion und Serviceroboteranwendungen konzentrieren können. NICO (Neuro-Inspired Companion) ist ein kindgroßer, humanoider Roboter, der mit dem Ziel entwickelt wurde, menschliche Wahrnehmungsfähigkeiten und Motorik zu haben. Der NICO Roboter wurde von der WTM Gruppe gebaut, um als Forschungsplattform für multimodale Mensch-Roboter Interaktion und neurokognitive Modelle zu dienen. Aus den früheren erfolgreichen HRI Projekten können Module zur Navigation, Kommunikation, dem Lernen und der Objekt-Erkennung benutzt oder weiterentwickelt werden.

Templates for seminar papers and presentations as well as further hints can be found on the web page: Hints for Seminars
Additional information and material for this course will be provided in the first meeting and shared via a project git.