![Page 1: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/1.jpg)
1
Pētījums Nr. 11
Pētījums par
datorredzes
paņēmienu
attīstību
industrijas
procesu
norises
automatizācij
ai
Pētījums Nr. 11
Pētījums par datorredzes
paņēmienu attīstību industrijas
procesu norises automatizācijai
Ričards Cacurs
Elektronikas un datorzinātņu
institūts,
Dzērbenes iela 14,
Rīga, Latvija
Darbības programmas "Izaugsme un nodarbinātība" 1.2.1. specifiskā
atbalsta mērķa "Palielināt privātā sektora investīcijas P&A" 1.2.1.1.
pasākuma "Atbalsts jaunu produktu un tehnoloģiju izstrādei kompetences
centru ietvaros" projekta "Latvijas elektrisko un optisko iekārtu ražošanas
nozares kompetences centrs" (Nr. 1.2.1.1/16/A/002)
![Page 2: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/2.jpg)
2
Programma
● Ievads - Ievads par industrijas procesu automatizācijas problēmu un risinājumu aktualitāte.
Izstrādātās sistēmas kopējā arhitektūra.
● Industriālo robotu vadība - Industriālo robotu vadība izmantojot ROS. Pick and place
uzdevuma izklāsts un analīze. 3D kamera - robots kalibrācija.
● Datorredze - Mašīnredzes algoritmi objektu detektēšanai, objektu klasifikācijai. (Mākslīgais
intelekts, Mākslīgie neironu tīkli, Mašīnmācīšanās, apmācības datu ģenerēšana).
● Papildsensori - Cita veida sensoru (bezkontakta temperatūra sensors, attāluma sensors)
savietošana ar ROS, izmantojot LoRa bezvadu komunikāciju.
● Datorredze iegultās sistēmās - Attēlu apstrādes risinājumu implementēšana iegultās
sistēmās. FPGA SoC.
● Izstrādātās sistēmas demonstrācija un diskusija
![Page 3: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/3.jpg)
3
Aktualitāte
Uzstādīto industriālo robotu vienību skaits ( tūkstošos)
![Page 4: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/4.jpg)
4
Problēma
● Industriālie roboti spēj veikt iepriekš definētas
darbības ar augstu atkārtošanas precizitāti. Tas
ļauj automatizēt iepriekš precīzi definētus
scenārijus, bet ja scenārijos ir pieļaujamas
variācijas (mainīgi objekti, to novietojums, skaits
u.c), kuras nav iespējams robotam ieprogammēt,
šos scenāriju automatizēt ar vienkāršiem robotu
risinājumiem nav iespējams.
![Page 5: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/5.jpg)
5
Piemērs
Dažādi izkārtotu, dažāda veida objektu
izņemšana no konteinera. Vienkāršs uzdevums
cilvēkam, taču sarežģīts datoriem.
Uzdevuma veikšanai jāspēj:
● Noteikt atdālāmus objektus.
● Atpazīt šos objektus.
● Noteikt šo objektu atrašanās vietu telpā.
● Paņemt objektu un to pārvietot izvairoties
no šķēršļiem.
![Page 6: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/6.jpg)
6
Risinājumi
Dažādi izkārtotu, dažāda veida objektu
atlasīšana no konteinera. Vienkāršs uzdevums
cilvēkam, taču sarežģīts datoriem.
Uzdevuma veikšanai jāspēj:
● Noteikt atdālāmus objektus.
● Atpazīt šos objektus.
● Noteikt šo objektu atrašanās vietu telpā.
● Paņemt objektu un to pārvietot to
izvairoties no šķēršļiem.
Objektu detektēšana un atpazīšana no attēliem,
izmantojot mākslīgos neironu tīklus.
![Page 7: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/7.jpg)
7
Risinājumi
Dažādi izkārtotu, dažāda veida objektu
atlasīšana no konteinera. Vienkāršs uzdevums
cilvēkam, taču sarežģīts datoriem.
Uzdevuma veikšanai jāspēj:
● Noteikt atdālāmus objektus.
● Atpazīt šos objektus.
● Noteikt šo objektu atrašanās vietu telpā.
● Paņemt objektu un to pārvietot to
izvairoties no šķēršļiem.
Intel RealSense 3D kamera
![Page 8: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/8.jpg)
8
Risinājumi
Dažādi izkārtotu, dažāda veida objektu
atlasīšana no konteinera. Vienkāršs uzdevums
cilvēkam, taču sarežģīts datoriem.
Uzdevuma veikšanai jāspēj:
● Noteikt atdālāmus objektus.
● Atpazīt šos objektus.
● Noteikt šo objektu atrašanās vietu telpā.
● Paņemt objektu un to pārvietot to
izvairoties no šķēršļiem.
Intel RealSense 3D kamera (aktīvā un pasīvā
stereo redze) (cena līdz 200 euro)
Microsoft Kinect V2 sensors (aktīvā
stereo redze) (cena līdz 200 euro, vairs
neražo)
StereoLabs ZED kamera (pasīvā
stereoredze) (cena līdz 500 euro)
![Page 9: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/9.jpg)
9
Risinājumi
Dažādi izkārtotu, dažāda veida objektu
atlasīšana no konteinera. Vienkāršs uzdevums
cilvēkam, taču sarežģīts datoriem.
Uzdevuma veikšanai jāspēj:
● Noteikt atdālāmus objektus.
● Atpazīt šos objektus.
● Noteikt šo objektu atrašanās vietu telpā.
● Paņemt objektu un to pārvietot to
izvairoties no šķēršļiem. Vairāki robotu ražotāji: ABB, Universal
Robots, Kuka, Staubli u.c.
![Page 10: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/10.jpg)
10
Risinājums Izmantojot datorredzes risinājums iegūt 3D informāciju
par vidi un objektiem tajā, ļaujot realizēt adaptīvu
industriālo robotu darbību izpildi.
![Page 11: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/11.jpg)
11
Komponenšu integrēšana
Industriālie roboti
Attēlu apstrādes, mākslīgā
intelekta rīki
Datorredzes
aparatūra
Citi sensori
Kā efektīvāk
apvienot šo visu
vienā sistēmā?
![Page 12: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/12.jpg)
12
Komponenšu integrēšana
Industriālie roboti
Attēlu apstrādes, mākslīgā
intelekta rīki
Datorredzes
aparatūra
Citi sensori
![Page 13: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/13.jpg)
13
Robotu operētājsistēma
Robotu operētājsistēma (ROS) ir elastīga, uz atvērtā koda
programmatūras balstīta, robotu programmatūras izstrādes
platforma. Tā ietver sevī dažādus rīkus, bibliotēkas un
aparatūras draiverus.
Industriālo robotu atbalsts ROS:
● ABB
● Universal Robots
● Adept
● Comeau (Izstrādes stadijā)
● Kuka (Izstrādes stadijā)
● Motoman
● Robotiq
● u.c
3D sensoru atbalsts ROS:
● Intel RealSense
● Stereolabs ZED
● Microsoftt Kinect and
PrimeSense 3D sensori
● SICK Visionary-T (TOF camera)
● Orbbec Astra
● Basler ToF ES camera
● DUO3D stereo camera
● Sentis ToF M1000 camera
● u.c
![Page 14: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/14.jpg)
14
Kopējās sistēmas arhitektūra
![Page 15: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/15.jpg)
15
Projekta aktivitātes
1. Aktivitāte – Pētījums par datorredzes datu ieguves un apstrādes metodēm un
integrēšana ar industriālo robotu komponentēm:
○ Pētījums Par 2D un 3D (aktīvā un pasīva) datu ieguves paņēmieniem, to
realizācija un novērtēšana. (Kinect, Realsense, ZED)
○ Pētījums par datorredzes algoritmiem un metodēm, to piemērošana
industriālā robota vadīšanai un precīzai robota izpildei
○ Dziļā apmācības – deep learning metodes izpēte un realizācija. Marķētas datu
kopas izveide.
○ Industriālā robota pieejamo komponenšu izpēte un integrēšana ar datorredzes
risinājumiem, ieskaitot atbilstoša rūpniecisko pētījumu maketa izveidi.
2. Aktivitāte - Rīku komplekta izstrāde:
○ Rīku komplekta izstrāde
○ Rīku komplekta testēšana reāliem apstākļiem pietuvinātā vidē
![Page 16: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/16.jpg)
16
Projekta zinātniskie raksti
1. Janis Arents, Ricards Cacurs, and Modris Greitans, “Integration of
Computervision and Artificial Intelligence Subsystems with Robot Operating
System Based Motion Planning for Industrial Robots”, Automatic Control and
Computer Sciences, 2018, Vol. 52, No. 5, pp. 392–401
2. Elvijs Buls, Roberts Kadiķis, Ričards Cacurs, Jānis Ārents. “Generation of
Synthetic Training Data for Object Detection in Piles”, 2018 The 11th
International Conference on Machine Vision, November 1-3, 2018 | Munich,
Germany
![Page 17: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/17.jpg)
17
Paldies par uzmanību!
Jautājumi?
![Page 18: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/18.jpg)
18
Industriālo
robotu vadība
Jānis Ārents
![Page 19: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/19.jpg)
19
ROS ir atklātā pirmkoda programmatūra, kas vienkāršo sarežģītus robotu
uzdevumus, izmantojot aparatūras abstrakciju, 3D vizualizācijas rīkus,
pakotņu pārvaldību, ierīču draiverus, vienkāršotu procesu komunikāciju un
citas iespējas.
ROS-Industrial paplašina ROS iespējas darbam ar industriālajiem
Robotiem, un sastāv no dažādām programmatūras pakotnēm, kas atbalsta
ROS integrāciju industriālo robotu vadībā.
![Page 20: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/20.jpg)
20
ROS -Industrial atbalstītie robotu ražotāji
![Page 21: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/21.jpg)
21
Sistēmas arhitektūra
![Page 22: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/22.jpg)
22
MoveIt! programmatūra
![Page 23: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/23.jpg)
23
Kustību plānošana
Atvērtā kustību planošanas bibliotēka – OMPL
Stohastiska trajektorijas optimizācija kustību plānošanai - STOMP
![Page 24: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/24.jpg)
24
Pick & place uzdevums
![Page 25: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/25.jpg)
25
To, kur robotam jāpārvietojas
nosaka datorredzes programmatūra
Objekta pozīcija kastē ir mainīga,
kas liedz iepriekš definēt
pārvietošanās ceļu, tāpēc tas, kā
robots pārvietosies tiek aprēķināts
pēc objekta koordinātu saņemšanas
![Page 26: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/26.jpg)
26
Sistēmas veiktspēja ● Lineāru kustību ģenerēšana objekta paņemšanai - ~200ms
● Lineāru kustību ģenerēšana objekta pārvietošanai klasifikācijas pozīcijā - ~150ms
![Page 27: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/27.jpg)
27
Sistēmas veiktspēja ● Kustību plānošana objekta pārvietošanai pēc klasifikācijas rezultāta - ~30ms
● Objektu detektēšanas laiks - max ~1500ms , avg ~400ms
● Objektu klasificēšanas laiks - ~ 5ms
![Page 28: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/28.jpg)
28
Robots kamera kalibrācija
Base to Camera
Wrist to target
Base to wrist
Robotam un kamerai jādarbojas vienotā
koordinātu atskaites sistēmā
Nepieciešams noskaidrot kameras
atrašanās vietu un orientāciju attiecībā
pret robota pamatni.
![Page 29: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/29.jpg)
29
Robots kamera kalibrācija Ieejas dati -
● base to wrist transformācijas minējums,
● camera to base minējums,
● kameras iekšējie kalibrācijas dati,
● attēli ar redzamu kalibrēšanas rakstu,
● attiecīgā wrist pozīcija pie uzņemtā attēla
● kalibrācijas raksta parametri
Izejas dati - precīza +/- 1mm
transformācija base to camera, wrist to
target
![Page 30: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/30.jpg)
30
![Page 31: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/31.jpg)
31
Datorredze
Roberts Kadiķis
Kaspars Sudars
Elvijs Buls
![Page 32: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/32.jpg)
32
Uzdevums 1. Noteikt objektu kastes malas
2. Lokalizēt robotam paņemamus objektus haotiski sabērtā kaudzē
3. Klasificēt paņemtos objektus
![Page 33: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/33.jpg)
33
Kastes atrašana
Taisnstūra meklēšana dziļuma kartē:
● sliekšņošana ar krītošu slieksni
● kontūru atrašana un aizpildīšana
● kontūru solidity parametra noteikšana
![Page 34: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/34.jpg)
34
Attēlu segmentēšana Izaicinājumi:
● Objektu kastē var būt dažādi izvietoti ar
jabkādu orientāciju un rotāciju
● Paņemams objekts un tā fons ir ļoti līdzīgi
Lietotie segmentēšanas paņēmieni:
● Canny + paplašināšana (dilation)
● Watershed
● Selective Search [https://doi.org/10.1007/s11263-013-
0620-5]
![Page 35: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/35.jpg)
35
Kandidātu vērtēšana
Paņemamu objektu kandidāti tiek vērtēti pēc:
● izmēra
● formas (atbilstība objektiem, simetrija)
● dziļuma mediānas un variācijas
● apkārtnes dziļuma
Canny robežas
Selective Search
![Page 36: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/36.jpg)
36
Ojektu klasificēšana 1. Uzdevums ir izstrādāt programmatūras moduli, kas veic robota paņemtā
objekta atpazīšanu, lai robots varētu veikt tālākās manipulācijas ar satverto
objektu.
2. Uzdevuma risinājums ir izstrādāts, balstot to uz apmācītu deep learning
modeli. Tiek piedāvāts uz CNN arhitektūras un uzraudzītās apmācības
balstīts risinājums.
Atpazīstamo objektu satveršanas
gadījumu piemēri
Atpazīšanas klašu skaits 3-7
(principā nav noteikts)
![Page 37: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/37.jpg)
37
Ojektu klasificēšana
Veiktspējas uzlabošanai vispirms no ZED/Kinect kameras attēla tiek izgriezts
interesējošais reģions ar izmēriem (112, 112, 2)
Šeit attēlots interesējošā apgabala piemērs (melnbalts attēls un dziļuma attēls):
![Page 38: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/38.jpg)
38
Ojektu klasificēšana
Konvolūcijas neironu tīkla CNN arhitektūra:
[1, 112, 112, 2] attēls -> conv1 [11, 11, 2, 64] -> sigmoid -> dati [1, 26, 26, 64] ->
-> maxpool1 [1, 3, 3, 1] -> dati [1, 12, 12, 64] ->
-> conv2 [5, 5, 64, 192] -> sigmoid -> dati [1, 12, 12, 192] ->
-> maxpool2 [1, 3, 3, 1] -> dati [1, 5, 5, 192] ->
-> conv3 [3, 3, 192, 256] -> sigmoid -> dati [1, 5, 5, 256] ->
-> maxpool3 [1, 5, 5, 1] -> dati [1, 1, 1, 256] -> softmax -> atbilde [1, 7]
Balstoties uz šo CNN arhitektūru un uzraudzīto apmācību, projekta laikā tika
izstrādātas 5 šādas atpazīšanas sistēmas.
Pietika ar ~300 attēlu apmācību kopu, lai sistēma varētu veiksmīgi strādāt.
Apmācības kopa pret validācijas kopu aptuveni 9:1
Klasifikācijas laiks uz CPU vienam attēlam bija ~0.2 s
![Page 39: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/39.jpg)
39
Detektēšana ar CNN ● Lokalizēšanas un klasificēšanas uzdevumus iespējams apvienot vienā solī,
padarot to par objektu detektēšanas uzdevumu
● YOLO ir state-of-the-art objektu detektēšanas modelis ar CNN arhitektūru
(Convolutional Neural Network)
bundža
pudele
YOLO - You Only Look Once Redmon, Joseph, and Ali Farhadi.
"YOLO9000: better, faster, stronger." arXiv
preprint (2017).
![Page 40: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/40.jpg)
40
Datu marķēšana ● Objektu detektēšanas uzdevumā, dziļo neironu tīklu apmacīšanai
nepieciešamas lielas marķētu datu kopas, kurās iekļauti daudzi iespējamie
objektu izvietojuma un izskata varianti
● Projektā tika izstrādāta grafiskā lietotāja saskarne, kas atvieglo manuālu
datu marķēšanu, tomēr, 6000 attēlu marķēšana vienam cilvēkam var aizņemt
pat mēnesi
![Page 41: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/41.jpg)
Ģenerators
41
Apmācības datu ģenerēšana ● Sintētisku attēlu ģenerators aizstāj manuālu datu marķēšanu ar ātru un
vieglu datu ieguves veidu
● Cilvēkam ir nepieciešams iegūt tikai objekta sānu attēlus
Ieejas attēli Virtuālais objekts Sintētiskā kaudze
1. Izmēra izmaiņas
2. Gaussa
izplūdums
3. Sliekšņi
4. Lielākais kontūrs
5. Izplešanās
6. Erozija
Nejaušas
modifikācijas:
1. spilgtums
2. kontrasts
3. izplūdums
Objekta attēlu
uzņemšana
Izvilkt objekta
malas no
attēla
No malām
izveidot
virtuālo objektu
Izveidot attēlu
no virtuālajiem
objektiem
Papildināt
sintētiskos
attēlus
![Page 42: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/42.jpg)
42
Ģenerētie attēli
![Page 43: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/43.jpg)
43
Rezultāti Trīs manuāli marķētas testa kopas, katrā 500 attēli
Katram testam YOLO modelis trenēts ar 6000 sintētiskiem attēliem
Objektis Manuāli marķēto objektu skaits
Detektēto objektu skaits
Pareizi detektēto objektu skaits
Pareizā pirmā izvēle
Paņemšanas precizitāte
Bundžas 5474 2632 1125 429 85.8%
Pudeles 6285 5967 680 356 71.2 %
Mix 9250 7419 2637 494 98.8 %
![Page 44: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/44.jpg)
44
Datorredze - secinājumi ● Izveidota robota rokai paņemamu objektu lokalizācijas un klasifikācijas
sistēma
● Lai šo sistēmu darbinātu ar jauna veida objektiem:
○ Lokalizācijas programmā manuāli jāuzstāda jauniem objektiem
atbilstošus parametrus, sarežģītākos gadījumos jāpārskata
segmentēšanas paņēmieni
○ Klasifikācijas modelim jāveido jauna marķētu datu kopa - jo vairāk
dažādu objektu, jo lielāka kopa būs nepieciešama
● YOLO balstītā sistēma un datu ģenerēšanas pieeja potenciāli spēj būtiski
samazināt manuālas marķēšanas un algoritmu pielāgošanas nepieciešamību
jaunu objektu gadījumā, tomēr precizitātes uzlabošanai vēl
nepieciešami pētījumi reālistiskāku datu ģenerēšanai
Elvijs Buls, Roberts Kadiķis, Ričards Cacurs, Jānis Ārents, “Generation of
Synthetic Training Data for Object Detection in Piles” 2018 The 11th
International Conference on Machine Vision, November 1-3, 2018 |
Munich, Germany
![Page 45: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/45.jpg)
45
Viedie sensori
❖ Uldis Grunde
Kristaps Greitāns
Emīlija Koļago
Dainis Žagars
Dainis D
![Page 46: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/46.jpg)
46
Darba mērķis
❖ Izpētīt un izveidot sensoru mezglus, kas spētu dot
papildus informāciju par objekta, ar kuru manipulē
robots, īpašībām
![Page 47: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/47.jpg)
47
Nepieciešamība un pielietojums
❖ Nepieciešami kā papildinājums datorredzes
risinājumiem - nosakot, piemēram, objekta
temperatūru, attālumu, krāsu u.c.
❖ Var tikt izmantoti neatkarīgi no datorredzes
❖ Iebūvējami
![Page 48: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/48.jpg)
48
Darba saturs
![Page 49: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/49.jpg)
49
Viedie sensori robotiem
❖Viedo sensoru pamatīpašības:
➢ objekta īpašību attāli mērījumi
➢ precīzi
➢ vienkārša saskarne
➢ robusti
➢ ātrdarbīgi
![Page 50: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/50.jpg)
50
Attālo mērījumu sensori
Temperatūras IR
sensors MLX90614 5 centi - 21 mm
Attāluma sensors
VL53L0X
![Page 51: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/51.jpg)
51
Viedo sensoru parametri
Attāluma sensora VL53L0X
parametri Diapazons
Attālums 20 - 2000 mm
Precizitāte
±3% - ±6%
Nolasīšanas frekvence
10 Hz
Skata lauks
25⁰
Temperatūras IR sensora
MLX90614 parametri Diapazons
Vides temperatūra -40⁰C - +125⁰C
Objekta temperatūra -70⁰C - +380⁰C
Precizitāte
±0,2 (±0.5)⁰C
Nolasīšanas frekvence
10 Hz
Skata lauks
60⁰
![Page 52: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/52.jpg)
52
Viedo sensoru kopmezgls ❖ Ievietots robotā
❖Mikrokontrolieris ESP32 ar 869,3 MHz raiduztvērēju
❖ I2C saskarne
❖ Savāc informāciju no sensoriem
❖ Noraida informāciju uz ROS
Antena
Mikrokontrolieris ar raiduztvērēju
Sensoru
ieejas
![Page 53: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/53.jpg)
53
Izmantotais datu pārraides risinājums
❖ Datu pārraidei izmanto radiopārraides protokolu
LoRa, frekvence 869,3MHz, jauda 3mW
❖ Savienojumu starp robotu un vadības datoru
realizē 2 ESP32 ierīces ar LoRa raiduztvērējiem:
➢ viedo sensoru kopmezgls, kas ievietots
robotā
➢ ESP32 ierīce ar USB saskarni, kas
pieslēgta robota vadības sistēmai
![Page 54: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/54.jpg)
54
Pielietojums
❖ Tika izmēģināti un pielietoti robota darbībās abi
sensori - gan temperatūras, gan attāluma
❖ Attāluma sensors izmēģinājumos uzrādīja stabilu
darbību un labu precizitāti
❖ Projekta uzdevumu risināšanai piemērotāks
izrādījās temperatūras sensors, kas tika pielietots
robota manipulācijās ar objektiem, kam ir
atšķirīga temperatūra
![Page 55: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/55.jpg)
55
Viedie sensori - secinājumi
❖ Lai iegūtu precīzas objekta parametru vērtības viedie
sensori ir jānovieto iespējami tuvu objektam
❖ Jāparedz un jāņem vērā iespējama apkārtējās vides
iedarbība - temperatūras izmaiņas, apgaismojums u.c.
❖ Optimālais risinājums būtu viedo sensoru iebūvēšana
robota manipulatorā
![Page 56: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/56.jpg)
56
Datorredze iegultās sistēmās
Andis Bizuns
Daniels Jānis Justs
Toms Stūrmanis
![Page 57: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/57.jpg)
58
Darba mērķis ● Izpētīt, kā pārnest industriālā robota vadību vai tam paredzētos
uzdevumus (attēla uzņemšana un objektu atpazīšana un lokalizācija) uz
heterogēnu iegultu sistēmu balstītu uz programmējamiem loģikas
masīviem
![Page 58: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/58.jpg)
59
Sistēmas arhitektūra
Intel RealSense
kamera Xilinx Zynq UltraScale+ MPSoC
ZCU102 izstrādes plate
Uz ROS USB
★ SoC (System-on-a-Chip) - iegulta sistēma
★ FPGA (Field-Programmable Gate Array) - programmējamais loģikas masīvs (PLM)
![Page 59: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/59.jpg)
60
Mākslīgo neironu tīkli
● Xilinx CHaiDNN
Izstrādes sarežģītības pieaugums
● VHDL vai Verilog ● Vivado HLS
★ HDL (Hardware Description language) - aparatūru aprakstoša valoda
★ HLS (High-Level Synthesis) - augsta (abstrakcijas) līmeņa sintēze
![Page 60: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/60.jpg)
61
Xilinx CHaiDNN
![Page 61: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/61.jpg)
62
Secinājumi
● CHaiDNN pielietojums - ierobežots:
○ Atbalsts tikai ReLU aktivizācijas funkcijai
○ Tīkla izejas slāņiem ierobežots atbalsts
○ Iespējams izveidot pielāgotus slāņus, kuri izpildās uz procesora
● Tiek veikta pāreja no peldošā punkta uz fiksētā punkta aritmētiku
![Page 62: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/62.jpg)
63
Dziļuma datu klasterēšana
● Sākotnējais uzstādījums
● Izpētīt iespēju izmantot dziļuma datus objektu noteikšanai
● Implementēt risinājumu c++ valodā
● Izpētīt algoritma implementēšanas iespējas uz SoC, lai uzlabotu
ātrdarbību
Attēls no RGB kameras Dziļuma karte
![Page 63: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/63.jpg)
64
Dziļuma datu klasterēšana
● Algoritma ieejas dati (Radially Based Nearest Neighbor)
○ Attēla izmērs 640 * 480 pikseļi
○ Attālums starp punktiem 4 mm
○ Attālums līdz kamerai 850 mm
Atseviški klasteri Kalasteri ar atbilstošām tekstūrām
![Page 64: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/64.jpg)
65
Dziļuma datu klasterēšana
● Algoritma ieejas dati
○ Attēla izmērs 1280 * 720 pikseļi
○ Attālums starp punktiem 1,5 mm
○ Attālums līdz kamerai 350 mm
Atseviški klasteri Atbilstoša dziļumu karte
![Page 65: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/65.jpg)
66
Secinājumi
● Attēlos ar lielāku izšķrtspēju
○ iespējams precīzāk atdalīt objektus
○ iespējams izmantot mazāku kaimiņu punktu meklēšanas radiusu
○ strauji samazinās ātrdarbība
● Kamerai tuvāk esošu objektu attdalīšana ir precīzāka
● Lai iegūtu kvalitatīvus dziļuma datus, nozīmīgs ir apgaismojums un
objektu attālums līdz kamerai
● Kameras novietošana tuvāk objektiem atbilst idejai par tās uzstādīšanu
uz robota manipulatora
![Page 66: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/66.jpg)
67
Iespējamie uzlabojumi
● Risinājuma papildināšana ar segmentēšanas algoritmiem, kas attdala
objektus balstoties, piemēram uz krāsu intensitāti
● Risinājuma implementēšana uz FPGA
![Page 67: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/67.jpg)
68
Papildus
Sekas - pārāk mazs meklēšanas radius Sekas - pārāk liels maks. attālums
![Page 68: Pētījums Nr. 11 Pētījums par2018/11/26 · Orbbec Astra Basler ToF ES camera DUO3D stereo camera Sentis ToF M1000 camera u.c 14 Kopējās sistēmas arhitektūra 15 Projekta aktivitātes](https://reader036.vdocuments.site/reader036/viewer/2022071022/5fd607db1bf2a94c685167c1/html5/thumbnails/68.jpg)
69
Paldies par uzmanību aicinām
apskatīt DEMO