Image Understanding Research Group
Technische Universität München
Informatik IX - Image Understanding and Knowledge Based Systems
Boltzmannstr. 3
85748 Garching bei München
Telephone: +49 (89) 289-17784 — Room: 02.09.053
Challenge
Even today it is not an easy task to handle computers for some people. The reasons include the limited interaction channels and interaction devices, the fixed interaction procedure, and the limited knowledge about the environment. Like that strict rules have to be obeyed while communicating with a machine. The communication style is not intuitiv and it does not adapt to the situation, the user, his preferences, or even his handicaps.For future applications it will become increasingly important to gather information about the environment. Computers will be able to consider the situation around them and provide an adaptive behavior for an intuitive communication. Humans will be able to interact with computers just like they interact with humans. This will involve natural language, gesture, facial expresseions, body language, and many more.
Goals
We aim at visually perceiving the environment of the computer system, analyzing it, and gaining knowledge about it. The techniques we intend to invent will move human-machine-interaction (HMI) into an adaptive and intuitive shape. This way of interaction is inevitable for smart homes, smart cars, service robots, future internet services, and so on.The task of gathering knowledge about the environment is divided into several subtask. Each of those aims at detecting a special kind of information. The following applications are able to detect the position of the face and the eyes, recognize human emotion via facial expressions, track the 3D position of a person, and evaluate predefined arm gesture.
Project EyeFinder
The goal of this project is to locate the eyes within a human face. This information can support applications for gaze tracking, drowsiness detection for advanced driver assistance systems (ADAS), facial expression recognition, and many more. We make use of Intel's Open Computer Vision Library (OpenCV) and its Haar Classifier.
locating the eyes
Project Skin Color Classification
Correctly segmenting skin color within an image helps to be aware of a person's face or hands. This information can support applications for facial expression recognition, gesture recognition, and many more.
extracting skin color
Project Emotion Recognition
In order to improve the human machine interface (HMI) the computer has to be aware of the user's emotional constitution. Like that the computer can adapt its responses to the situation. The user might not understand the machine's question or he might not be pleased with the its reaction. That will optimize the interaction and computers will be able to adaptively support the user, negotionate with a customer, and even gamble.
recognizing facial expressions
Project Person Tracking
For supporting people in their everyday life computers have to judge situations correctly. Amongst others, that requires detecting the presence of persons, counting them, localize them accurately, and track them while they are moving. This information supports applications such as activity detection, action recognition, classification of the intention of activity, and so on.
tracking people
Project Gesture Recognition
This computer system is prompted to accomplish certain tasks via gestures. Like that there is no need for a keyboard or a mouse. The user can interact with hands free and from any remote location. Our system supports people within their own flat. They can control household devices like the illumination, the radiator, and so on using just simple gestures.
detecting gestures
Die selbe Information auf deutsch
Herausforderung
Für viele Leute ist es auch heutzutage noch schwierig, Computer zu bedienen. Die Gründe sind unter anderem die beschränkten Interaktionskanäle, und Interaktionsgeräte, der festegelegte Interaktionsablauf, und das limitierte Wissen über die Umgebung. Auf diese Weise müssen strenge Regeln befolgt werden, um mit einer Maschine zu kommunizieren. Die Art und Weise der Kommunikation ist nicht intuitiv und passt sich nicht an die Situation, den Benutzer, seine Vorlieben oder seine Behinderung an.Für zukünftige Anwendungen wird es immer wichtiger, Informationen über die Umgebung zu sammeln. Computern wird es möglich sein, ihre Umgebungssituation zu erfassen und sich adaptiv zu verhalten, um eine intuitive Kommunikation bereit zu stellen. Menschen werden mit Computern genau so wie mit anderen Menschen interagieren. Dies bezieht sich auf die natürliche Sprache, Gestik, Mimik, Körpersprache und vieles mehr.
Unsere Ziele
Unser Ziel ist es, visuell die Umwelt des Computers zu erfassen, sie zu analysieren und Wissen daraus zu gewinnen. Wir werden Techniken entwickeln, die die Mensch-Maschine-Kommunikation (MMK) adaptiv und intuitiv werden lässt. Diese Art der Interaktion ist unerlässlich für Smart Homes, Smart Cars, Service Roboter, zukünftige Internet Services u.s.w.Wir unterteilen die Aufgabe, Wissen über die Umwelt zu gewinnen, in viele kleine Teilaufgaben. Jede dieser Teilaufgaben zielt darauf ab, eine ganz bestimmte Art von Information zu erhalten. Die folgenden Anwendungen sind in der Lage, die Postioin des Gesichtes und der Augen zu erfassen, menschliche Emotionen und deren Mimiken zu erkennen, die 3D Position einer Person zu verfolgen und vordefinierte Gesten auszuwerten.
Project EyeFinder
Das Ziel dieses Projekts ist es, die Augen in einem menschlichen Gesicht zu lokalisieren. Diese Information hilft Anwendungen für gaze tracking, drowsiness detection für Fahrerassistenzsysteme (FAS), Mimikerkennung, u.s.w. Wir benutzen Intel's Open Computer Vision Library (OpenCV) und dessen Haar Klassifikator.Lokalisation der Augen
Project Skin Color Classification
Erkennung der Hautfarbe von Menschen unterstützt die Positionsbestimmung von Gesichtern und Händen. Somit können Applikationen wie Mimikerkennung, Gestikerkennung, u.v.m. realisiert werden.
Extraktion von Hautfarbe
Project Emotion Recognition
Um die Mensch-Maschine-Schnittstelle (MMS) auf eine neue Stufe zu bringen, muss der Computer unter anderem die emotionale Situation seines Gegenübers einschätzen können. Somit kann die Maschine sich angepasst verhalten und situationsgemäß antworten. Der Benutzer versteht möglicherweise die Frage des Computers nicht oder er ist mit dessen Aktion nicht einverstanden. So werden Benutzerschnittstellen optimiert und Computer können den Benutzer adaptiv unterstützen, mit Kunden verhandeln, u.s.w.Erkennen von menschlichen Mimiken
Project Person Tracking
Um Menschen in ihrem täglichen Leben gut unterstützen zu können, müssen Computer Situationen korrekt einschätzen können. Unter anderem benötigt dies eine gute Detektion der Präsenz von Menschen, eine Bestimmung der Anzahl der anwesenden Personen, eine genaue Lokalisation und eine Verfolgung der Personen, während sie sich bewegen. Diese Information unterstützt Anwendungen wie Aktivitätserkennung, Handlungserkennung, Erkennung der Intention von Handlungen, u.s.w.Verfolgung von Personen
Project Gesture Recognition
Über Gesten löst man bei dieser Anwendung ein spezielles Verhalten aus. Somit ist es nicht nötig, die Tastatur oder die Maus zu benutzen. Der Benutzer kann das System von einer entfernten Position aus steuern und hat dabei beide Hände frei. Unser System unterstützt Leute in ihren eigenen Wohnungen. Sie können Haushaltsgeräte wie Belüftung, Beleuchtung, u.s.w. mit einfachen Gesten steuern. Erkennen von Gesten
