Программный комплекс «Интерактивная информационная...
DESCRIPTION
Программный комплекс «Интерактивная информационная доска». Дроздова Юлия. Текущее состояние доски. 1. Интерактивная информационная доска. 2. Схема программного комплекса. !. 3. Обзор существующих решений. ARToolKit. 4. Обзор существующих решений. 5. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/1.jpg)
Программный комплекс «Интерактивная информационная доска»
Дроздова Юлия
![Page 2: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/2.jpg)
Текущее состояние доски
1
![Page 3: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/3.jpg)
Интерактивная информационная доска
2
![Page 4: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/4.jpg)
Схема программного комплекса
!
3
![Page 5: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/5.jpg)
Обзор существующих решений
ARToolKit
4
![Page 6: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/6.jpg)
Обзор существующих решенийОсновные критерии
сравненияARToolKit Layar
парадигма видеозрение GPS-координаты
Размещаемый доп. контент определяются разработчиком
• текстовая информация;• гиперссылки;• изображения(non free).
Процесс разработки приложения
• возможные трудности при компиляции;• требуются программистские навыки;• свобода действий разработчика.
• существуют спец. приложения для разработки;• не требуется программистских навыков;• ограничение свободы.
Основные недостатки
•Устаревшие алгоритмы•Распознавание монохромных изображений•Неосмысленный выбор изображений
•Точность идентификации положения точек расширения не удовлетворяет требованиям предметной области
5
![Page 7: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/7.jpg)
Компонент обнаружения
Компонент распознавания
Изображение
Эталонные изображения
Сегменты для распознавания
?
Распознанные изображения
эталон
Компоненты обнаружения и распознавания. Принцип работы
6
![Page 8: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/8.jpg)
Компоненты обнаружения и распознавания. Принцип работы
7
![Page 9: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/9.jpg)
Распознаваемые маркеры
Информация о предлагаемых вакансиях (job)
Срочная информация(timed)
Информация о расписании(timetable)
Информация об успеваемости (marks)
Дополнительная информация(inf)
8
![Page 10: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/10.jpg)
Исходное изображение Бинарное изображение Сегмент изображения
Компонент обнаружения маркеров
9
![Page 11: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/11.jpg)
Сравнение алгоритмов бинаризации
Степень освещенности объекта
Адаптивная бинаризация Глобальная бинаризация
Вес пикселей равнозначен
Вес пикселей задан в соотв. с функцией Гаусса
Пороговое значение определенно средней яркостью изображения
Пороговое значение определенно эксперимент. путем
Слабое освещение(до 280 лк)
4,3% 60,5% 11,6% 2%
Офисное освещение(280-800лк)
42,4% 98,4% 36,4% 99,6%
10
![Page 12: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/12.jpg)
Контуры на изображении
1
Дерево контуров
2 354
6
Обнаружение маркеров. Дерево контуров
7
11
![Page 13: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/13.jpg)
Замкнутый контур
4 точки излома
Углы близкие к 90°
Одинаковые сегменты
1 2
4 3
90°
Обнаружение маркеров. Квадратный контур
12
![Page 14: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/14.jpg)
Контуры на изображении
12 3
54
6
Дерево контуров
7
Обнаружение маркеров. Дерево контуров
13
![Page 15: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/15.jpg)
Контуры на изображении
12 3
54
6
Дерево контуров
7
Обнаружение маркеров. Дерево контуров
13
![Page 16: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/16.jpg)
Распознавание маркеров. Задача классификации
Особые точки изображения
Метод потенциальных функций
?
14
![Page 17: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/17.jpg)
…
Распознаваемое изображение Эталонные изображения
Распознавание маркеров. Задача классификации
15
![Page 18: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/18.jpg)
Формула расчета потенциала:
Формула фильтрации:
P
PDF=
Распознавание маркеров. Задача классификации
16
![Page 19: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/19.jpg)
• Язык разработки Java, С++
• Используемая библиотека: OpenCV 2.4.3
• Устройства для тестирования: мобильные устройства на базе Android
• Объем тестовой выборки более 10000 изображений
• Характеристики выборки:▫ Угол обзора(до 80° от перпендикуляра к плоскости)▫ Масштаб (маркера занимает от 10% изображения)▫ Освещенность(офисное освещение и ниже)▫ Разрешающая способность видеокамеры(5mpx, 8mpx)
Реализация и тестирование
17
![Page 20: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/20.jpg)
Тестирование
0 0.1 0.2 0.3 0.4 0.5
0.600000000000001
0.700000000000001 0.8 0.9 105
10152025
0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 1 2
9 11
40 0 0 0 0 0 0
1821 23
50 0 0 0 0 0 0
4
13
300 0 0 0 0 0 0 0 1 0 1
Ошибки первого рода
jobtimedinfmarkstimetable
пороговое значение
мар
керы
, %
0 0.1 0.2 0.3 0.4 0.5
0.600000000000001
0.700000000000001 0.8 0.9 10
20406080
100120
100 100
50
219 0 0 0
100 100
0 0
75
34 38
5 0
100 100 100 10086
63
140
100 10086
60
30
0
100 100 96
4016
3 1 0 0 0 0
Отвергнутые маркеры
jobtimedinfmarkstimetable
пороговое значение
мар
керы
, %
18
![Page 21: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/21.jpg)
0 0.1 0.2 0.3 0.4 0.5
0.600000000000001
0.700000000000001 0.8 0.9 10
20
40
60
80
100
120
0 0 0 0 0 0 0.24.8
8.8 7.42
100 100
79
57.8 59.6
38.4
26.8
91.6 0.2 0
ошибки отвергнутые маркеры
порог
Мар
керы
, %Тестирование. Усредненный результат
19
![Page 22: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/22.jpg)
ОптимизацияПредыдущий кадр
Текущий кадр
?
job
jobmarks
20
![Page 23: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/23.jpg)
Тестирование
0.600000000000001
0.700000000000001 0.8 0.9 10123456
0 0 0 0 00 0 0 0 00 0 0
5
00 0 0 0 00 0 0 0 0
Ошибки первого рода
jobtimedinfmarkstimetable
Пороговое значение
мар
керы
,%
0.600000000000001
0.700000000000001 0.8 0.9 10
4
8
12
16
20 0 0 0
30 0 0 0
6
0 1 0 0
14
02
0 00 0 0 0 0
Отвергнутые с маркеры
jobtimedinfmarkstimetable
Пороговое значение
Мар
керы
, %
0.600000000000001
0.700000000000001
0.8
0.9
1
0 20 40 60 80 100 120
Прирост производительности (в среднем)
отвергнутые маркеры ошибки
прирост, %
поро
г
0.600000000000001
0.700000000000001 0.8 0.9 10123456
1
5
0.600000000000001
Усредненный результат
ошибки отвергнутые маркеры
Пороговое значение
Мар
керы
, %
21
![Page 24: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/24.jpg)
Тестирование
0 0.1 0.2 0.3 0.4 0.5
0.600000000000001
0.700000000000001 0.8 0.9 105
1015202530
0.2 0.20.2
18.2 19.223.4 25
Ошибки первого рода
ORBBRISK
пороговое значение
мар
керы
,%
0 0.1 0.2 0.3 0.4 0.5
0.600000000000001
0.700000000000001 0.8 0.9 10
20406080
100120 100
6082.8
295.4 1.2
0.600000000000001 0.4 0.2 0
100 100 99.688.4 81.4
47.631.2
20.86.6 0.4 0
Отвергнутые маркеры
ORBBRISK
пороговое значение
мар
керы
,%
22
![Page 25: Программный комплекс «Интерактивная информационная доска»](https://reader035.vdocuments.site/reader035/viewer/2022081418/56812a43550346895d8d6b7c/html5/thumbnails/25.jpg)
•Были применены:▫Контурный анализ▫Метод потенциальных функций▫Особые точки изображения
•Классификация маркеров с точность до 100%•Отсев маркеров в худшем случае до 9%
Выводы
23