Project: Human-Robot Interaction/Mensch-Roboter Interaktion

News/Aktuelles

• The project team published their work as a professional paper on the conference ICRA 2019! Get the paper.
• First registration period/Erste Anmeldephase (STiNE): 01.09.2017 - 21.09.2017 (13:00h)
• First meeting/erstes Treffen: 19.10.2017 14h ct, F-235
• For this course we use our WTM Wiki and git repositories at our local GitLab - all participants will be affirmed during the first meeting.
• Check previous HRI projects to experience the scenarios the students have chosen and their results! Previous (2016) and former 2015, 2014, 2013, 2012, 2011

General Information/Allgemeine Informationen
LV-Number:	64-868 + 64-868-S
Lecturer :	Prof. Stefan Wermter, Dr. Stefan Heinrich, Dr. Cornelius Weber, Dr. Sascha Griffiths, Tayfun Alpay MSc.
Period:	Thu/Do 14-18 + Fri/Fr 14-18
Room:	F-235
Credit Hours	6 SWS Project + 2 SWS Seminar (Winter Semester), 12 ECTS
Language:	English/Deutsch
Module:	MPM2

Contents/Inhalte Several research groups around the world and big companies like iRobot, Google, Bosch and even BMW are currently working on robotic devices capable of interacting with people as naturally as we interact with each other. What does it take for a robot to make us feel comfortable around it? And how can such a robot learn independently or by interaction with a person? These are the key topics in this project between interaction, cognition, learning and robotics. Inspired by the idea of having a robot solve a complex task in a simple environment, we want to define and solve a task like e.g. coffee-serving in a home environment - which is currently a central RoboCup@Home challenge. Even such a seemingly simple task requires a broad set of interconnected, robust capabilities like vision, communication, motion, and planning, which motivates a bio-inspired approach to robotics. Adaptive mechanisms like machine learning and neural networks are of particular interest to make such systems robust. Wissenschaftsinstitute in der ganzen Welt und große Unternehmen wie zum Beipiel iRobot, Google, Bosch und sogar BMW arbeiten an Robotern, die in der Lage sind, mit Menschen zu interagieren, wie Menschen dies untereinander können. Was macht einen Roboter aus, den wir in unserem Haushalt zu schätzen wüssten? Wie kann dieser selbstständig oder durch Interaktion mit dem Menschen lernen? Dies sind die zentralen Fragen in diesem Projekt zwischen Interaktion, Kognition, Lernen und Robotik. Inspiriert von der Idee, dass ein Roboter eine komplizierte Aufgabe in einer einfachen Umgebung löst, wollen wir eine Tätigkeit wie z.B. das Servieren eines Kaffees im eigenen Heim entwerfen und lösen, was aktuell eine zentrale Aufgabe beim RoboCup@Home darstellt. Bereits für eine solch augenscheinlich einfache Aufgabe bedarf es aber einer ganzen Reihe an zusammenspielenden und robusten Fähigkeiten wie Bildverstehen, Kommunikation, Bewegungsfähigkeit und auch Planung, welche wiederum einen biologisch inspirierten Ansatz motivieren. Adaptive Verfahren wie das maschinelle Lernen und neuronale Netzwerke sind für dieses Projekt besonders interessant, um Systeme robust zu gestalten.

Objective/Lernziel

The project Human-Robot Interaction offers the opportunity to learn about the complexities of daily action, basic control of humanoid robots as well as the development of simple service robot applications. During the course of the project, special emphasis will be put on teamwork, i.e. collaborative problem solving. In this way, the students can learn and experience the special difficulties and chances of project development, from research and conceptualization via implementation and validation to presentation and demonstration. The project will prepare them for research and the industry in booming sectors such as Knowledge Engineering, Human-Robot Interaction and Robotics with both skills in computer science (programming and robotics) and soft skills (teamwork and the English language).

Das Projekt Mensch-Roboter Interaktion bietet die Gelegenheit, die Komplexität einfacher täglicher Handlungen zu verstehen, erste Erfahrungen mit der Kontrolle von Humanoiden Robotern zu sammeln und erste Anwendungen für Service Roboter zu entwickeln. Besonderer Fokus dazu ist im diesem Project die Teamarbeit, also das kollaborative Lösen von Problemen. Auf diese Weise können die Studierenden die speziellen Anforderungen und Chancen in der Projektentwicklung erlernen und erfahren von Forschung und Konzeptualisierung über Realisierung und Evaluation bis hin zu Präsentation und Demonstration. Das Projekt bereitet die Studierenden darauf vor, in der Forschung und freien Wirtschaft in boomenden Sektoren wie z.B. Wissenstechnologie, Mensch-Roboter Interaktion und Robotik sowohl mit Fachkompetenzen (Programmierung und Robotik) als auch mit sozialer Kompetenz (Teamarbeit und die englische Sprache) beizutragen.

Procedure/Vorgehen

This year, the full project will be concentrated on a single semester. In the first quarter, the integrated seminar offers the opportunity of dive into the topic and of explore interesting approaches that could be implemented later. Also, in the first half, the project will focus on learning how to use the available hardware and software as well as acquire general concepts and some practical experience on biologically inspired robotics, robot control architectures, and project management. In the second half of the semester, the project will focus on the implementation and execution of a HRI scenario that will be chosen by the students. To facilitate development, the whole robot control can be divided into several modules and later get integrated via a robot middleware such as ROS. We plan to make use of two full days each week until end of March on which the students will have the opportunity for self-study or team-work in a modern research environment within the WTM lab. Ultimately, the results will be documented and presented.

In diesem Jahr wird das gesamte Projekt in einem Semester durchgeführt. In der ersten Hälfte des Semesters gibt es mit dem integrierten Seminar die Gelegenheit, sich in die Thematik einzuarbeiten und die interessanten Fähigkeiten, die dem Roboter verliehen werden können, kennenzulernen. Außerdem wird in der ersten Hälfte Gelegenheit gegeben Hardware- und Software-Umgebungen auszuprobieren und Erfahrungen mit biologisch inspirierten Robotern, Steuerungsarchitekturen und der Projektplanung zu machen. Das Projekt wird in der zweiten Hälfte des Semesters auf die Implementierung und Ausführung HRI Scenarios konzentriert, welches die Studierenden selbst ausgewählt haben. Einzelne Fähigkeiten des Roboters können in unabhängigen Modulen entwickelt und mit Hilfe einer Roboter-Middleware schließlich zu einem funktionierenden Gesamtsystem zusammengeführt werden. Wir planen zwei volle Tage pro Woche bis Ende März zu nutzen, um den Studierenden die Möglichkeit zum Selbststudium und zum Teamwork in einer modernen Forschungsumgebung innerhalb des WTM Labs, zu geben. Abschließend werden die Ergebnisse dokumentiert und präsentiert.

Literature/Literatur

• Stückler, J., Holz, D., Behnke, S. RoboCup@Home: Demonstrating Everyday Manipulation Skills in RoboCup@Home. Robotics Automation Magazine, IEEE, 19(2): 34-42, 2012.
  Get the paper, Get more information on RoboCup@Home
• Krichmar , J.L., Wagatsuma, H. Neuromorphic and Brain-Based Robots. Cambridge Uni. Press, 2011.
• Marsland, S. Machine Learning: An Algorithmic Perspective. CRC Press, 2009.
• Murphy, R.R. Introduction to AI Robotics., MIT Press, Cambridge, MA, 2000.
• Webb, B., Consi, T.R. Biorobotics - Methods and Applications. AAAI Press, Menlo Park, CA., 2001.

Material

The initial working platforms will be the NICO humanoid robot and simulation software. These platforms have good abstraction layers from hardware and an API that permit us to focus on behavioural aspects of human-robot interaction and service robot applications. NICO (Neuro-Inspired COmpanion) is a child-sized humanoid robot that is designed to have human-like sensing and motor capabilities. The NICO robot was built by the knowledge technology group to be a research platform for multimodal human-robot interaction and neurocognitive models. Additionally, code and documentation developed in previous semesters will be made available to get started, use and extend as required.

Für den Start in das Projekt wird ein humanoider interaktiver NAO Roboter sowie eine Simulationssoftware eingesetzt. Diese Plattformen bieten eine sehr gute Abstraktion von der Hardware in eine vollständige API und erlauben damit, dass wir uns direkt auf Verhaltensaspekte von Mensch-Roboter Interaktion und Serviceroboteranwendungen konzentrieren können. NICO (Neuro-Inspired Companion) ist ein kindgroßer, humanoider Roboter, der mit dem Ziel entwickelt wurde, menschliche Wahrnehmungsfähigkeiten und Motorik zu haben. Der NICO Roboter wurde von der WTM Gruppe gebaut, um als Forschungsplattform für multimodale Mensch-Roboter Interaktion und neurokognitive Modelle zu dienen. Aus den früheren erfolgreichen HRI Projekten können Module zur Navigation, Kommunikation, dem Lernen und der Objekt-Erkennung benutzt oder weiterentwickelt werden.

Templates for seminar papers and presentations as well as further hints can be found on the web page: Hints for Seminars
Additional information and material for this course will be provided in the first meeting and shared via a project git.