ams 3D technology to address driver drowsiness and distraction: new demo system combines 3D sensing with eye tracking ams‘ 3D-Technologie gegen Müdigkeit und Ablenkung des Fahrers: ein neues Demosystem kombiniert 3D-Sensorik mit Blickverfolgung
2020/12/09
Driver monitoring system (DMS) demonstrator includes robust 3D optical sensing and facial recognition technology from ams
Der Demonstrator des Fahrerüberwachungssystems (Driver Monitoring System DMS) umfasst eine solide optische 3D-Sensorik- und Gesichtserkennungstechnologie von ams
German version
News facts:
-
Driver monitoring system (DMS) demonstrator includes robust 3D optical sensing and facial recognition technology from ams
-
Eye-tracking software from Eyeware detects the direction of the driver’s gaze
-
3D images and 3D head pose estimation enables precise monitoring of the so called “micro sleeps” for early detection of sleepy drivers, not possible with 2D systems
-
Automotive manufacturers can create proof-of-concept designs for drowsiness detection, distraction alerts, and heads-up display and other applications
Premstaetten, Austria (December 9, 2020) -- ams (SIX: AMS), a leading worldwide supplier of high-performance sensor solutions, today enables automotive manufacturers to create proof of concept demonstrations through a new automotive driver monitoring system (DMS) demonstrator which implements 3D and eye tracking for use in advanced safety functions such as drowsiness detection and distraction alerts. These important features are required to support new assisted and autonomous driving technologies, and go beyond what today´s 2D systems are capable of providing. The 3D optical sensing technology from ams provides a detailed ‘depth map’ image of the driver’s head and analyzes it to recognize the driver’s unique facial features to identify the driver.
Firat Sarialtun, In-Cabin Sensing Segment Manager of ams, said: “The automotive industry has been actively evaluating 3D optical sensing technologies for driver monitoring, as it provides more accurate and robust information about the position and movement of the driver’s head and eyes compared to existing less sophisticated 2D systems. Now, by developing a 3D demonstration system for eye tracking, ams and Eyeware have shown the industry the way to integrate the 3D sensing hardware and eye-tracking software elements and produce a reliable method for detecting drowsiness and distraction.”
Bastjan Prenaj, Co-founder and Chief Business Development Officer at Eyeware, said: “Driver monitoring has the potential to make a vital contribution to improving road safety, but the systems and components used in a DMS must be ultra-reliable. That is a key benefit of the
Eyeware software: together with the ams 3D sensing technology, it performs in all lighting and usage conditions, and gives accurate data on which OEMs can build applications such as drowsiness alerts.”
Active Stereo Vision (ASV)-based demonstrator for precise automotive cabin monitoring
Flood and dot pattern illuminators from ams are used in the ASV-based demonstrator to provide robust illumination, resisting interference from sunlight and reflection from sunglasses. This com-bines with advanced eye-tracking software from Eyeware Tech SA, to apply proprietary algorithms to the depth-mapped images of the driver’s eyes and head posture to calculate in real time the direction of the driver’s gaze
Designers developing driver and cabin monitoring systems can use the outputs of this demonstrator to build sophisticated safety features which can detect when the driver is drowsy or asleep at the wheel. Using 3D images and 3D head pose estimation enables precise monitoring of the so called “micro sleeps” for early detection of sleepy drivers, not possible with 2D systems. The DMS also detects drivers when their gaze has been distracted from the road, for instance to read a text message on their mobile phone. This can help reduce a leading cause of road accidents.
The signals from the 3D DMS demonstrator will also enable next-generation heads-up displays, detecting where the driver’s gaze is directed to control the projection of displayed information on the windshield. This enables groundbreaking visual applications in the car based on augmented reality. The demonstration system is based on the ams Active Stereo Vision evaluation kit, which uses the ams face image processing library and Eyeware’s eye-tracking software. Customer implementations can use a dedicated software development kit supplied by Eyeware, which is fully compatible with the ams 3D sensing components.
For more information on ams’ driver monitoring technology please go to https://ams.com/automotive
Eckdaten:
-
Der Demonstrator des Fahrerüberwachungssystems (Driver Monitoring System DMS) umfasst eine solide optische 3D-Sensorik- und Gesichtserkennungstechnologie von ams
-
Die Blickverfolgungssoftware von Eyeware erkennt die Blickrichtung des Fahrers
-
3D-Bilder und die 3D-Kopfpositionsschätzung ermöglichen eine präzise Überwachung des so genannten „Mikroschlafs“ zur frühzeitigen Erkennung von Müdigkeitserscheinungen bei Fahrern, was mit 2D-Systemen nicht möglich ist
-
Automobilhersteller können somit den Konzeptnachweis für Müdigkeitserkennung, Ablenkungswarnungen, Heads-up-Display und andere Anwendungen erstellen
Premstätten, Österreich (9. Dezember 2020) -- ams (SIX: AMS), ein weltweit führender Anbieter von Hochleistungssensorlösungen, ermöglicht es Automobilherstellern heute, mit Hilfe eines neuen DMS-Demonstrators Konzeptnachweise zu erstellen, bei denen 3D-Technologie und die Blickverfolgung für den Einsatz in fortschrittlichen Sicherheitsfunktionen wie Müdigkeitserkennung und Ablenkungswarnungen verwendet werden. Diese wichtigen Merkmale sind erforderlich, um neue Technologien für Fahrerassistenzsysteme und autonomes Fahren zu unterstützen und gehen über das hinaus, was heutige 2D-Systeme bieten können. Die optische 3D-Sensortechnologie von ams liefert eine detaillierte Tiefenkarte des Fahrerkopfes und analysiert diese, um die einzigartigen Gesichtszüge des Fahrers zu erkennen und den Fahrer zu identifizieren.
Firat Sarialtun, In-Cabin Sensing Segment Manager von ams, sagte dazu: „Die Automobilindustrie hat optische 3D-Sensortechnologien für die Fahrerüberwachung aktiv evaluiert, da sie im Vergleich zu bestehenden, weniger hochentwickelten 2D-Systemen genauere und solidere Informationen über die Position und Bewegung von Kopf und Augen des Fahrers liefern. Mit der Entwicklung eines 3D-Demonstrationssystems für das Eye-Tracking haben ams und Eyeware der Industrie gezeigt, wie man die 3D-Sensor-Hardware und die Eye-Tracking-Software-Elemente integrieren und eine zuverlässige Methode zur Erkennung von Müdigkeit und Ablenkung entwickeln kann.“
Bastjan Prenaj, Mitbegründer und Chief Business Development Officer bei Eyeware sagte: „Die Fahrerüberwachung hat das Potenzial, einen entscheidenden Beitrag zur Verbesserung der Verkehrssicherheit zu leisten, aber die in einem DMS verwendeten Systeme und Komponenten müssen äußerst zuverlässig sein. Das ist ein wesentlicher Vorteil der Eyeware-Software: Zusammen mit der 3D-Sensortechnologie von ams funktioniert sie unter allen Licht- und Nutzungsbedingungen und liefert genaue Daten, auf deren Grundlage OEMs Anwendungen wie z.B. Müdigkeitswarnungen entwickeln können.“
Ein auf der Active Stereo Vision (ASV) basierender Demonstrator für die präzise Überwachung des Fahrzeugsinnenraums
Flood- und Punktmuster-Illuminatoren von ams werden im ASV-basierten Demonstrator eingesetzt, um eine robuste Beleuchtung zu gewährleisten, die Störungen durch Sonnenlicht und Reflexionen von Sonnenbrillen ausmerzt. In Kombination mit der fortschrittlichen Eye-Tracking-Software von Eyeware Tech SA werden proprietäre Algorithmen auf die Tiefenkartenabbildungen der Augen und der Kopfhaltung des Fahrers angewendet, um die Blickrichtung des Fahrers in Echtzeit zu berechnen.
Entwickler, die Fahrer- und Fahrzeuginnenraum-Überwachungssysteme entwickeln, können die Ergebnisse dieses Demonstrators nutzen, um ausgeklügelte Sicherheitsfunktionen zu bauen, die erkennen können, wenn der Fahrer am Steuer müde oder kurz vor dem Einschlafen ist. Die Verwendung von 3D-Bildern und die 3D-Kopfpositionsschätzung ermöglichen eine präzise Überwachung des so genannten „Mikroschlafs“ zur Früherkennung von Müdigkeit bei Fahrern, was mit 2D-Systemen nicht sehr genau möglich ist. Das DMS erkennt auch, wenn der Blick des Fahrers von der Straße abgelenkt wurde, um beispielsweise eine SMS auf dem Mobiltelefon zu lesen. Dies kann dazu beitragen, eine der Hauptursachen von Verkehrsunfällen zu reduzieren.
Die Signale des 3D-DMS-Demonstrators werden auch Heads-up-Displays der nächsten Generation ermöglichen, die erkennen, wohin der Blick des Fahrers gerichtet ist, um die Projektion der angezeigten Informationen auf die Windschutzscheibe zu steuern. Dies ermöglicht bahnbrechende visuelle Anwendungen im Auto auf der Basis von Augmented Reality. Das Demonstrationssystem basiert auf dem Active Stereo Vision Evaluation Kit von ams, das die ams-Bildverarbeitungs-Bibliothek für das Gesicht und die Eye-Tracking-Software von Eyeware nutzt. In bedarfsgerechten Konfigurationen kann ein spezielles Softwareentwicklungskit von Eyeware verwendet werden, das vollständig mit den 3D-Sensorikkomponenten von ams kompatibel ist.
Weitere Informationen zur Fahrerüberwachungstechnologie von ams finden Sie unter https://ams.com/automotive.