Санкт-Петербургский государственный университет...
DESCRIPTION
Санкт-Петербургский государственный университет информационных технологий, механики и оптики. Кафедра компьютерной фотоники и видеоинформатики Научно-образовательный инновационный центр Интеллектуальных систем компьютерного восприятия и управления Алексей Потапов. Деятельность Центра. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/1.jpg)
Санкт-Петербургский государственный университет Санкт-Петербургский государственный университет информационных технологий, механики и оптикиинформационных технологий, механики и оптики
Кафедра компьютерной фотоники и Кафедра компьютерной фотоники и видеоинформатикивидеоинформатики
Научно-образовательный Научно-образовательный инновационный центринновационный центр
Интеллектуальных систем Интеллектуальных систем компьютерного восприятия и компьютерного восприятия и
управленияуправленияАлексей ПотаповАлексей Потапов
![Page 2: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/2.jpg)
Деятельность Центра
• Окружающий интеллект: бытовые роботы, системы помощи водителю, умные дома, ...
• Эволюционная робототехника: очувствленные и обучающиеся роботы, нейронные сети, генетические алгоритмы, …
![Page 3: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/3.jpg)
Деятельность Центра
• Многое другое:• системы дополненной реальности,• игровой интеллект,• бизнес-интеллект
![Page 4: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/4.jpg)
Что такое искусственный интеллект?
![Page 5: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/5.jpg)
МифыРусские сказки• ковер-самолет• скатерть-самобранка• самоходные повозки• меч-кладенец
Прочее• гомункулусы• големы• …
![Page 6: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/6.jpg)
Суть технического прогресса
История техники – история замены или дополнения живого искусственным
• палка • колесо• рычаг• счеты• линза• …
Но техника пассивна => неавтономна
![Page 7: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/7.jpg)
История мехатроники
До н.э.Механические:• птицы • танцовщицы• музыканты• …
Позднее• Железный «человек-привратник» Альберта Великого (XIII в.)• Искусственный шахматист и говорящая машина Вольфганга фон Кемпелена (XVIII-XIX в.)• Промышленная революция XIX в.: механические швеи и т.д.
![Page 8: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/8.jpg)
История интеллектуальных систем
До н.э.• счеты• часы• …
Позднее• Арифметические машины Блеза Паскаля на основе часового механизма (XVII в.) воспроизводят искусство счета, доступное лишь интеллектуалам• Идеоскоп Корсакова (XIX в.)
![Page 9: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/9.jpg)
Чего не хватало роботам?
![Page 10: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/10.jpg)
Что такое компьютер?
![Page 11: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/11.jpg)
Разделы ИИ, выделяемые на основе решаемых задач
Машинный перевод;
Автоматическое реферирование;
Информационный поиск;
Системы речевого общения;
Игровой интеллект;
Автоматическое доказательство теорем;
Автоматическое программирование;
Извлечение данных;
…
![Page 12: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/12.jpg)
Разделы ИИ, выделяемые на основе используемых методов
Искусственные нейронные сети;
Эволюционные вычисления;
Распознавание образов;
Экспертные системы;
Эвристическое программирование;
Мультиагентный подход;
…
![Page 13: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/13.jpg)
Смена парадигм ИИ
1. Поиск в пространстве решений; 1950-е – 1960-е гг.; Решение формализованных задач; Ограничение: формализация задач выполняется вручную
2. Представление знаний 1970-е – середина 1980-х гг.; Решение задач из описанной узкой предметной области; Ограничение: извлечение знаний выполняется вручную
3. Машинное обучение середина 1980-х гг. – 1990-е гг.; Построение описания узкой предметной области в рамках заданного представления; Ограничение: структура области определяется вручную
![Page 14: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/14.jpg)
Мышление как поиск
1. Формальное понятие алгоритма Алгоритм как цепочка операций над символами моделирует
процесс решения задач или доказательства теорем математиком; решение задачи как поиск цепочки операций над строками символов, приводящих от условия задачи к решению
2. Лабиринтная гипотеза мышления Мышление животных и человека может быть представлено как
поиск пути в некотором «лабиринте», в котором развилки соответствуют ситуациям, а коридоры – доступным переходам между этими ситуациями.
3. Эвристическое программирование Первая парадигма в искусственном интеллекте, в рамках
которой мышление рассматривалось как поиск в пространстве решений и изучались вопросы оптимизации этого поиска.
![Page 15: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/15.jpg)
Основные понятия эвристического программирования
Дерево вариантов• Дерево игры• Дерево целей
• Дерево эксплицитное• Дерево имплицитное
Порождающая процедура
• Поиск в ширину• Поиск в глубину
NP-полнота
Комбинаторный взрыв
Эвристика
![Page 16: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/16.jpg)
Поиск в пространстве решений
Решаемые задачи:
Игровой интеллект
Автоматическое доказательство теорем
Некоторые задачи планирования
![Page 17: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/17.jpg)
Общий решатель задачСоздан А. Ньюэллом и Г. Саймоном на основе
программы «Логик-теоретик» в 1957 году и развивался более 10 лет
Описание проблемной среды Описание операторов
Описание различий
Таблица связей
Упорядоченье различий
Описание задачи Совокупность состояний объектов в начальной ситуации Совокупность состояний объектов в начальной ситуации
Метод решения: анализ целей и средств
![Page 18: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/18.jpg)
Пример ограничений эвристического программирования
![Page 19: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/19.jpg)
Системы представления знаний
Логические модели
Системы продукций
Семантические сети
Фреймы
Объектно-ориентированные представления
Сценарии
Системы с досками объявлений
…
![Page 20: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/20.jpg)
Системы продукций
Правило или продукция имеет вид A=>B
Примеры
Преобразование символов (переход от именительного к дательному падежу)
рожь => ржи
Xь => Xи
Xа => Xе
X => Xу
Описание действий1. Автомобиль не заводится и есть бензин => проверить
зажигание.2. Автомобиль не заводится => проверить наличие бензина.3. … Распознавание объектов1. Зеленый, полосатый, вкусный => Арбуз2. Желтый, кислый => Лимон3. …
![Page 21: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/21.jpg)
Ассоциативные сети
Сети, в узлах которых находятся понятия, а дуги задают ассоциативные связи между понятиями; структура связей, как правило, определяется из психофизических экспериментов
Животное
Птица
Канарейка Страус
ЛетатьПерья
ДышатьКожа
Желтый
Петь
![Page 22: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/22.jpg)
Семантические сети
Сети, в узлах которых находятся понятия или некоторые объекты, а дуги произвольные связи и отношения между ними; эти сети служат для представления знаний
Мебель
Стул
Спинка Ножка
Сидеть
состоит из состоит из
назначение
относится к
![Page 23: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/23.jpg)
Падежные фреймыПадежные фреймы имеют структуру, подобную структуре семантических сетей, и служат для представления глубинной структуры предложений на естественном языке
Гвоздь
ЗабитьИван
Молоток
Будущеесубъект
инструмент
времяобъект
![Page 24: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/24.jpg)
Представления знанийМебель
СтулСпинка
Ножкасостоит из
состоит из
относится к
Материал дерево
Вес 4 кг
Ножек 4
Вращается Нет
Спинка (…)
Ножка 1 (…)
Высота 39 см.
Наклон 0о
Форма кругл.
Высота 48 см.
… …
![Page 25: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/25.jpg)
Экспертные системы
Основные элементы
База знаний
Машина вывода
Блок общения
Основные функции
Приобретение знаний
Представление знаний
Манипулирование знаний
Разъяснение решений
Проблема приобретения знаний стала узким местом в разработке экспертных систем. Извлечение знаний, осуществляемое инженерами по знаниям, было крайне трудоемким в связи с чем возникла необходимость разработки автоматических методов приобретения знаний или в общей постановке – обучения.
![Page 26: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/26.jpg)
Машинное обучение
Типы обучения по виду предоставляемой информации
Обучение с учителем
Обучение с подкреплением
Обучение без учителя
Усвоение знаний, умений и навыков путем или получения и восприятия информации от учителя или обработки наблюдаемой информации с последующим построением на основе этих наблюдений новых общих правил и закономерностей.
Входное представление
Обучающая информация
Система машинного обучения
Выходное представление
Результат обучения
![Page 27: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/27.jpg)
Схема взаимодействия интеллектуального агента со средой
Агент
эффекторырецепторы управление
«тело»
Среда действиесигналы
подкрепление наказание
![Page 28: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/28.jpg)
Поколения роботов
• Программные• Адаптивные• Интеллектуальные~ Когнитивные
Суть различий: в степени недетерминированности среды
![Page 29: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/29.jpg)
Области применения робототехники
• промышленные роботы• медицинские роботы• роботы для оборонных задач• беспилотные летательные аппараты и роботизированные автомобили• роботы в сфере услуг• бытовые роботы
Особенности бытовых роботов:• применяются не организациями, а отдельными людьмижесткие требования к отношению стоимости к полезности, а также к компактности• наименьшая детерминированность условий функционирования
![Page 30: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/30.jpg)
Приложения бытовой робототехники• роботы-игрушки
• большое различие по функциональным возможностям• роботы, выполняющие работу по дому
• роботы-пылесосы• роботы-газонокосилки• роботы-повара• роботы-посудомойки• роботы-охранники• …
• роботы, взаимодействующие с людьми• роботы, помогающие инвалидам, больным и пожилым людям• роботы, приглядывающие за детьми (например, роботизированные люльки) или домашними животными (автоматическое кормление и т.д.)
Большинство продуктов не окупают стоимость разработки непосредственно за счет продаж.
![Page 31: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/31.jpg)
![Page 32: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/32.jpg)
Развитие бытовой робототехники• Коммерческое освоение рынка бытовой робототехники начинается с середины 1990-х годов. До этого существовали преимущественно академические исследования и разработки.
• Первые полноценные бытовые роботы стали выходить в продажу в 1999-2002 гг.; темпы их продаж составили свыше 100 экз./год.
• К 2005 г. некоторые типы роботов были проданы по несколько миллионов экземпляров.
• Тем не менее, до сих пор лишь отдельные типы роботов являются умеренно прибыльными; в большинстве же своем они используются для повышения престижа компании и отработки новых технологий.
![Page 33: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/33.jpg)
Примеры развития бытовой робототехники• 1999: AIBO (Sony); стоимость 2500$; темп продаж в среднем (1999-2006 гг): 20000 экз./год.
• 2003: Робот-газонокосилка Robomow (FriendlyRobotics); стоимость 1000$; темп продаж 10000 экз./год.
• 2002-3: роботы-пылесосы:• Roboking (LG), стоимость 2500$;• Roomba (iRobots), стоимость >300$;• Характерная стоимость сейчас: ~500$; темпы продаж одной модели: 10000-100000 экз./год (в сумме >500000 экз./год).
• Исходно эти модели роботов для навигации использовали сонары и датчики касания
![Page 34: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/34.jpg)
Примеры развития бытовой робототехники• 2003: робо-охранники (подвижные автоматизированные системы видеонаблюдения)
• MARON-1 (Fujitsu); стоимость 1500$;• Существуют модели со стоимостью >10000$.
• Коммуникационные роботы:• 2005: Wakamaru (Mitsubishi), стоимость 15000$.
• Роботы этих типов используют камеры. С 2008 года использование камер для навигации оказалось экономически оправданным для роботов-пылесосов.
![Page 35: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/35.jpg)
Особенности компьютерного зрения в бытовой робототехнике
• Современная тенденция развития бытовой робототехники заключается в добавлении видеокамер в «бюджетные» модели, а не только в «высокотехнологичные» разработки.• По-прежнему существуют существенные ограничения на вычислительную мощность бортовых вычислителей:
• Наиболее дешевыми решениями являются мобильные процессоры типа ARM.• Возможно использование DSP и FPGA, которые, однако, также менее эффективны процессоров персональных компьютеров.• В «высокотехнологичных» моделях могут использоваться более мощные процессоры, однако и их производительность недостаточна для решения многих задач анализа изображений существующими методами.
![Page 36: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/36.jpg)
Особенности задач компьютерного зрения в бытовой робототехнике
• Использование низкокачественных видеокамер.• Существенно трехмерные изображения.• Отсутствие фотограмметрических меток и векторных моделей объектов.
• В ряде решений подобные метки используются.• Непредсказуемое взаимодействие пользователя с роботом.• Для многих задач компьютерного зрения в бытовой робототехнике, характеризующихся высокой априорной неопределенностью, вообще отсутствуют методы решения.
![Page 37: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/37.jpg)
Существующие технологии• Методы быстрого выделения контуров и построение на их основе структурных элементов.
• Решение задач стереозрения, определения точек схода.• Восстановление трехмерной структуры сцены (например, неплотной карты диспаратности).
• Системы локальных признаков.• Решение задач сопоставления изображений.
• Сенсорная локализация мобильного робота.• Распознавание объектов с низкой изменчивостью.
• Метод каскадов Хаара.• Обнаружение и распознавание лиц.
• Коммуникационные и игровые роботы.• Построение и анализ оптического потока
• Решение задач обнаружения движущихся объектов и слежения за ними; распознавание жестов.
• Робо-охранники.• Частные методы.
• Пример: текстурный анализ по априорным признакам.• Приложение: обнаружение смятой одежды.
![Page 38: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/38.jpg)
Изображения Контуры Структурные описания
Решение задачи стереозрения
![Page 39: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/39.jpg)
Измеренная глубина сцены
![Page 40: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/40.jpg)
Сопоставление изображений
Приложение: навигация мобильных роботов
![Page 41: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/41.jpg)
Чего сейчас не могут зрительные системы бытовых роботов
• Распознавать объекты с высокой изменчивостью.• Распознавать «неограниченные» классы объектов
(«посуда», «мебель», …).• Интерпретировать сцены.• Работать в условиях изменяющегося и плохого
освещения.• Строить «плотные» карты дальности.• Обучаться.• …
![Page 42: Санкт-Петербургский государственный университет информационных технологий, механики и оптики](https://reader036.vdocuments.site/reader036/viewer/2022081505/56814f7c550346895dbd2bde/html5/thumbnails/42.jpg)
Приглашаем школьников
Для школьников 9-11 классов предоставляется возможность принять участие в деятельности Центра
• Участие в реальных исследовательских и коммерческих проектах
• Современное оборудование• Постоянный обмен опытом в творческой атмосфере
• Семинары с выступлениями ведущих специалистов
Интересующиеся проблемами искусственного интеллекта, обращайтесь на кафедру или по e-mail: [email protected]