![Page 1: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/1.jpg)
https://www.tu-chemnitz.de/informatik/mc/Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Roadshow@HoCare 2.0: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Anwendungspotentiale von intelligenten Audioanalyse-Algorithmen für den Bereich assistiertes Wohnen und Pflege
Jun.-Prof. Dr. rer. nat. Danny Kowerko
Technische Universität Chemnitz
Fakultät für Informatik
Juniorprofessur „Media Computing“
Straße der Nationen 62
09111 Chemnitz
Tel.: +49 (0)371 531-35660
Forschung: https://www.tu-chemnitz.de/informatik/mc/research.php
E-Mail: [email protected]
Klinisches Ökosystem Chemnitz: https://medien.informatik.tu-chemnitz.de/ehealth
![Page 2: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/2.jpg)
https://www.tu-chemnitz.de/informatik/mc/2Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Forschungsfrage im Rahme von HoCare2.0:
Wo und wie kann intelligente Audioanalyse in der Pflege sinnvoll eingesetzt werden?
Lösungsansatz:
Co-Creation und Entwicklung mit Endnutzenden
![Page 3: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/3.jpg)
https://www.tu-chemnitz.de/informatik/mc/3Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Entwicklungsprozesskette
2020
Kickoff
•Bewerbung
•Projektvorstellung
03/2021
1. Workshop
•Vorstellung der Technologie: Geräuscherkennung mit KI
•Priorisierung von Geräuschen
•Priorisierung von Geräte-Lösungen
05/2021
2. Workshop
•Vorstellung ähnlicher Apps
•Nutzenden-Feedback zu Apps
09/2021Praxistest
•Funktionaler Prototyp in Workshop in Dresden vorgestellt und getestet
11/12 2021
•Labor-Prototyp mit Fernzugriff (Dezember)
•Überarbeiteter Prototyp für daheim / Minimal Viable Product (Dezember/Januar)
Anfang 2022•Projektende mit evaluiertem MVP
Demonstrator zur Geräusch-Erkennung
(ACM 2019, [1])
Geräusche
[1] A. Sampath Kumar, R. Erler, and D. Kowerko, ‘A Real-Time Demo for Acoustic Event
Classification in Ambient Assisted Living Contexts’, in Proceedings of the 27th ACM
International Conference on Multimedia - MM ’19, Nice, France, 25.10 2019, pp. 2205–
2207, doi: 10.1145/3343031.3350600. https://www.youtube.com/watch?v=PpiL89t9_kY
![Page 4: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/4.jpg)
https://www.tu-chemnitz.de/informatik/mc/4Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 1. Workshop: Essentials
Geeignete Hardware/Mikrofone:
1. Smartphones
2. Hörgeräte
3. Tablets/Tablet-PCs
Einschränkungen:
- Billige Smartphones
- USB-Mikros
IphoneHuwai
Smartphone (M
ob. Cynus F9)
MiniPC (Nuc) m
it USB-M
ikro
Surface-B
luetooth-Hansatio
n
Surface-In
ternes Mikro
0
10
20
30
40
50
60
70
80
90
F1 s
core
Gerät
Lautstärke 50%
Klassifikation Original-Dateien
Interessante Hardware
Kompakte/vorhandene Geräte:
• Smartphone/Smart Watch
• Hörgerät
• Surface Tablet-PC
Relevante Klassen:
• Gefahrenerkennungsrelevanz
• Gesundheitsassoziierte Geräusche
![Page 5: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/5.jpg)
https://www.tu-chemnitz.de/informatik/mc/5Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 2. Workshop: Feedback zu vorgestellten Smartphone-Apps
1. BirdNet: Vogelstimmenerkennung
2. SnoreLab: Schnarcherkennung
3. Live Transcribe: Transkription/Geräuscherkennung
• Gute Bedienbarkeit
• Überraschungseffekt: Neue
Arten
• Import vom Dateien gewünscht
• Anbindung an andere Apps
• Gute Bedienbarkeit
• Klanglandschaften überflüssig
• Personenzuordnung gewünscht
• Kern/Nebenaufgaben abgrenzen
• Drucken/Arztbesuch
• Funktion zum Beenden fehlt
• Trennung Betreuende/Nutzende
• Personenzuordnung/Richtung
• Pegelanzeige gewünscht
• Kern/Nebenaufgaben abgrenzen
![Page 6: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/6.jpg)
https://www.tu-chemnitz.de/informatik/mc/6Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
Ziel:
• Überarbeitung / Vorbereitung einer einfach bedienbaren und funktionalen Browseranwendung
→ Feldstudie mit Demonstrator bei Ü60-Nutzenden
Work in Progress :
• Modularer Aufbau mit
• Live Stream
• Zeitreihen
• Statistiken
• Alarmfunktionen
• Kalender
• Nutzung als Labor-Demo auch auf Smartphone
• GUI via Webpage link: https://indoorsoundclassification.informatik.tu-chemnitz.de/demo
• Audio via Webroom: https://webroom.hrz.tu-chemnitz.de/gl/aru-gjv-s2s-pgv
![Page 7: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/7.jpg)
https://www.tu-chemnitz.de/informatik/mc/7Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 8: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/8.jpg)
https://www.tu-chemnitz.de/informatik/mc/8Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 9: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/9.jpg)
https://www.tu-chemnitz.de/informatik/mc/9Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 10: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/10.jpg)
https://www.tu-chemnitz.de/informatik/mc/10Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 11: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/11.jpg)
https://www.tu-chemnitz.de/informatik/mc/11Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 12: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/12.jpg)
https://www.tu-chemnitz.de/informatik/mc/12Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche
![Page 13: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/13.jpg)
https://www.tu-chemnitz.de/informatik/mc/13Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ergebnisse 3. Workshop: Feedback zur NutzeroberflächeNutzung als Labor-Demo auch auf dem Smartphone
Audio via Webroom:
https://webroom.hrz.tu-
chemnitz.de/gl/aru-gjv-s2s-
pgv
Demo-Webseite (GUI):
https://indoorsoundclass
ification.informatik.tu-
chemnitz.de/demo
![Page 14: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/14.jpg)
https://www.tu-chemnitz.de/informatik/mc/14Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
Nächste Schritte:
• Feldstudie mit Demonstrator bei Ü60-Nutzenden
• Online
• Lokal mit Surface Tablet
Nach der Studie:
• Debugging
• Optimieren
• GUI
• Klassengenauigkeit
• Art der Klassen
Langzeit-Ziel:
• Finden konkreter nutzenbringender Anwendungen in häuslicher Umgebung: Anwendungs-/Aufstellungsort
• nutzenbringender Anwendungen in anderen Domänen
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“
Ausblick auf dem Weg zum Produkt: die Hardware
Tablet-PC mit Tastatur
![Page 15: Anwendungspotentiale von intelligenten Audioanalyse](https://reader035.vdocuments.site/reader035/viewer/2022062604/62b52a3995caae0f8726c885/html5/thumbnails/15.jpg)
https://www.tu-chemnitz.de/informatik/mc/15Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko
• Ihnen für Ihr Interesse
• Corina Röllig, Carus Consilium
• Dr. Olaf Müller, Carus Consilium
Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse in Bereich assistiertes Wohnen“
Danksagung
B. Sc. Arunodhayan Sampath-Kumar, KI-Entwickler
Studiengang: „Automotive Software Engineering“
TU Chemnitz
Nutzung als Labor-Demo auch auf dem Smartphone
Audio via Webroom:
https://webroom.hrz.tu-
chemnitz.de/gl/aru-gjv-s2s-
pgv
Demo-Webseite (GUI):
https://indoorsoundclass
ification.informatik.tu-
chemnitz.de/demo