Продвинутая система помощи водителюAdvanced Driver Assistance System (ADAS)

Задачи ADAS

Адаптивный круиз-контроль

Обнаружение препятствия, предупреждение о столкновении, экстренное торможение

Распознавание дорожной разметки, знаков,фар и сигналов светофора

Контроль слепых зон

Система кругового обзора

Помощь при перестроениях

Предупреждение о столкновении

Информация поступает от радаров, камер и ультразвуковых датчиков. На основании собранной информации о дорожной обстановке система принимает решение о предупреждении водителя или корректировки траектории движения автомобиля (подруливание, торможение)

Помощь при парковке

НПП ИТЭЛМА – российский разработчик и системный интегратор ADAS

При разработке элементов системы ADAS НПП ИТЭЛМА использует опыт, накопленный при разработке и серийном производстве блоков управления бортовыми системами и двигателем автомобиля. НПП ИТЭЛМА является поставщиком электроники для Рено-АвтоВАЗ, группы ГАЗ, Соллерс, КАМАЗ и других автопроизводителей.

Блок обработки видео информации

Блок обработки информации от

радаров

Блок обработки информации от ультразвуковых

датчиков

Блок обработки информации о

местоположении автомобиля

Блок анализа информации и принятия

решения

Предупреждение водителя

Торможение

Подруливание

Управление двигателемДанные Анализ Действие

Система ADAS

Vision

Блок обработки

видео информации

Система кругового

обзора

Fusion

Блок обработки и управления

Radar

Радар ближнего действия

Радар дальнего действия

Радар контроля

слепых зон

V2X

Модуль связи между автомобилями

(V2V)

Модуль связи между автомобилем и

дорожной инфраструктурой

(V2I)

Модули автоматизации

дорожной инфраструктуры

(V2I)

Направления развития системы ADAS

• Увеличение производительности обработки изображений встраиваемых мобильных систем

• Развитие алгоритмов компьютерного зрения.

Предпосылки реализации задач Vision

• Отвечающие за стабильность вождения контроль тяги, поддержка рулевого управления,

электронные самоблокирующиеся дифференциалы• Отвечающие за свет и видимость автоматическая адаптация радиуса освещения фар,

ночная видимость, системы контроля дождя, предупреждающее зажигание фар

• Отвечающие за парковку камера заднего вида, датчики приближения, объемное

зрение области• Продольный контроль автоматический круиз-контроль, информация о лимите

скорости, предупреждение о дорожных знаках, помощь в торможении, автоматическое экстренное торможение

Классификация задач

Направление Vision

Блок обработки видео информации

Система кругового обзора

Распознавание и контроль за дорожной разметкой Распознавание дорожный знаков Распознавание пешеходов и велосипедистов Контроль дистанции до впереди идущего транспорта Выдача информации в CAN-шину автомобиля.

Возможность вывода изображения с любой из 4-х камер Отображение траектории движения автомобиля

Направление Radar

Радар ближнего/среднего действия (S/MRR) Диапазон 24ГГц Дальность действия до 50м. Функция предупреждения о столкновениях с впереди

идущим транспортом (FCW) Функция «Stop & Go» Выдача информации в CAN-шину автомобиля.

Радар дальнего действия (LRR)

Радар контроля слепых зон автомобиля

Диапазон 60 ГГц Дальность действия до 200м. Функция «Адаптивный круиз-контроль» (ACC). Выдача информации в CAN-шину автомобиля.

Диапазон 24 ГГц Дальность действия до 15 м. Выдача информации в CAN-шину автомобиля.

Направление V2X

Система связи между автомобилями (V2V) Интеллектуальная система мониторинга трафика. Интеллектуальная система предотвращения аварий Интеллектуальная система информирования водителя о

дорожной обстановке

Система связи между автомобилями и дорожной инфраструктурой (V2I)

Примеры интеллектуальных систем дорожной инфраструктуры

Интеллектуальная система мониторинга трафика. Интеллектуальная система предотвращения аварий Интеллектуальная система управления трафиком

Интеллектуальная система управления светофором Система предупреждения о приближении к

пешеходному переходу

Направление Fusion

Блок обработки и управления

Обработка информации от радаров Обработка информации от ультразвуковых датчиков Обработка информации от блока Vision Принятие решения о способе корректировки управления

автомобилем Выдача управляющих команд в исполнительные

устройства

Эволюция ADAS

Система предупреждения аварий

Водитель участвует в управленииСтеп

ень

авто

мат

изац

ии у

прав

лени

я

Система предотвращения аварий

Водитель не участвует в управлении

Автопилот

• Передвижение в городе «от двери до двери»

• Управление без участие водителя

• Система активного предотвращения аварий

Автопилот на шоссеПомощь на

шоссе

АСС / помощь при смене полосы

• Информирование о фронтальных столкновениях

• Контроль слепых зон

Расширенный круиз контроль

• Частично автоматизированная помощь при перестроениях

• Круиз контроль до 130 км/ч

• Частично автоматизированная помощь при перестроениях• Смена полосы после подтверждения водителем• Система мониторинга трафика вокруг автомобиля

• Автоматизированная помощь при перестроениях• Система прогнозирования дорожной обстановки • Управление автомобилем с частичным участием водителя

Причины развития ADAS

Социальные По данным ВОЗ ежегодно в мире в ДТП погибает 1,24 миллиона человек

Законодательные -Изменение регламента по оценке безопасности автомобиля согласно стандарту Euro NCAP(европейский комитет по проведению краш-тестов автомобиля с присуждением ему оценки безопасности). -Ужесточение федерального закона РФ о безопасности автомобильного транспорта.

Примеры встраиваемых мобильных систем Пример встраиваемой мобильной системы

• Увеличение производительности обработки изображений встраиваемых мобильных систем

• Развитие алгоритмов компьютерного зрения.

Предпосылки реализации задач Vision

Теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов.

• Распознавание: один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны, обычно вместе с их положением на изображении.

• Идентификация: распознается индивидуальный экземпляр объекта.

• Обнаружение: видеоданные проверяются на наличие определённого условия. Обнаружение используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Компьютерное зрение

УУУлучшениеизображения

Детектирование

Камера Обработка кадра

Распознавание

Трекинг

Обработкавидеопотока

Блок принятия решений

Фазы обработки изображения

• Удаление шумов• Выравнивание

гистограммы(увеличение контраста)• Гамма коррекция

Улучшение изображения

• Оператор Собеля (вертикальный и горизонтальный)

• Оператор Робертса• Детектор границ Кэнни

Детектирование границ

Исходные снимки

Без шумов С шумами

Снимки

Без шумов С шумами

Оператор Собела

Оператор Кэнни

Сравнение

Примеры:• Преобразование Хафа для прямых и кругов• Разделение объектов по цвету и форме• Смесь Гауссиан

Детектирование ROI(регионов интереса)

Классическая постановка задачи распознавания : Дано множество объектов. Относительно них необходимо

провести классификацию. Множество представлено подмножествами- классами. Заданы: информация о классах, описание всего множества и описание информации об объекте, принадлежность которого к определенному классу неизвестна. Требуется по имеющейся информации о классах и описании объекта установить - к какому классу относится этот объект.

- Методы поиска особых точек(features)-Методы, основанные на машинном обучении(Нейронные сети, SVM)

Распознавание объектов

При трекинге используют модель движения, которая описывает, как может изменяться изображение целевого объекта при всевозможных различных его движениях.

Основан на математическом аппарате временных рядов.

Трекинг

Будни разработчиков

Тестирование системы автоматического торможения

Изучение поведения дальневосточного леопарда

Обобщенный антропологический портрет

0 1 2 3

7 8 9 10 11 12 13

4 5 6

АВТОМАТИЗАЦИЯ РАСПОЗНАВАНИЯ ДВИЖЕНИЙ БИОЛОГИЧЕСКИХ ОБЪЕКТОВ

Вылизывание ладонейУмывание нос-глазаУмывание носа

Быстрое умывание носаУмывание головы с ушами

И тд Всего 23 типа движения

Автоматическое обнаружение изображений на аэрофотоснимках