avances en manipulaci on rob otica submarina …eii.unex.es/ja2018/actas/ja2018_084.pdf · avances...

7
AVANCES EN MANIPULACI ´ ON ROB ´ OTICA SUBMARINA MEDIANTE SEGMENTACI ´ ON Y SEGUIMIENTO VISUAL David Fornas , J. Javier Fern´ andez , Antonio Soriano , Diego Centelles , Pedro J. Sanz {dfornas, fernandj, centelld, sanzp}@uji.es, [email protected] Departamento de Ingenier´ ıa y Ciencia de los Computadores. Universitat Jaume I. Av. Sos Baynat, s/n, 12071 Castell´ on de la Plana (Espa˜ na) Departament d’Inform` atica. Universitat de Val` encia. Av. de la Universitat, s/n. 46100 Burjassot (Espa˜ na) Resumen En este art´ ıculo se presenta un sistema rob´otico semiautom´aticoqueutilizavisi´on,reconstrucci´on 3D, segmentaci´on, estimaci´on de objetos, interfa- ces hombre-robot (HRI) y planificaci´on del agarre para mejorar el estado del arte en manipulaci´on submarina mediante funciones aut´onomas y capa- cidad de supervisi´on. En primer lugar se obtie- ne una reconstrucci´on en 3D del objeto. A con- tinuaci´on, se utilizan m´ etodos basados en RAN- SAC (RANdom SAmple Consesnsus) y estimaci´ on de supercu´adricas (SQ) para obtener la geometr´ ıa subyacente de los objetos a manipular para pre- sentar una reconstrucci´on de la escena al usuario. Despu´ es, se lleva a cabo la especificaci´ on de la ma- nipulaci´on de forma aut´onoma. El usuario puede entonces validar o ajustar el resultado del siste- ma y proceder a ejecutar el agarre. El sistema ha sido probado satisfactoriamente en diferentes con- diciones, tanto en simulaci´on como en entornos reales. Palabras clave: reconstrucci´ on 3D, estimaci´ on de la posici´ on, supercu´ adricas, manipulaci´ on, rob´ otica. 1. INTRODUCCI ´ ON El uso de robots en el entorno submarino est´ a cre- ciendo notablemente: desde la industria del gas o el petr´ oleo a la arquelog´ ıa o las ciencias marinas. El tipo de operaciones realizadas en estos secto- res han sido llevadas acabo tradicionalmente con ROVs (Remote Operated Vechicle). Sin embargo, la tendencia actual est´ a en la utilizaci´ on de sis- temas rob´ oticos cada vez m´ as aut´ onomos con el objetivo de reducir los costes de operaci´ on. De es- te modo, recientemente han aparecido los I-AUVs (Intervention Autonomous Underwater Vehicle), aunque su utilizaci´ on de momento se limita prin- cipalmente a proyectos de investigaci´ on [1] ya que la manipulaci´ on submarina sigue suponiendo un aut´ entico desaf´ ıo. Una aproximaci´ on a medio ca- mino entre los ROVs y los I-AUVs son los denomi- nados HROVs (Hybrid ROVs), que son esencial- mente I-AUVs reconfigurables como ROVs cuando se teleoperan remotamente a trav´ es de un cable umbilical o mediante comunicaciones inal´ ambri- cas. Probablemente, la demostraci´ on m´ as avanza- da de este tipo de sistemas en la actualidad sea el Ocean One Robotic Avatar [2], satisfactoriamen- te testeado en una misi´ on arqueol´ ogica submarina de recuperaci´ on de objetos. Sin embargo, los cos- tes de operaci´ on de dicho sistema a´ un son muy elevados. El presente trabajo se enmarca en el el contexto del proyecto nacional coordinado MERBOTS, en el que participan la Universitat Jaume I (UJI), la Universitat de Girona (UdG) y la Universitat de les Illes Balears (UIB). El objetivo de MERBOTS es progresar en el desarrollo de sistemas de inter- venci´ on submarina seguros, econ´ omicos y sencillos de utilizar en el contexto de la arqueolog´ ıa subma- rina. Concretamente, este trabajo se centra en el subproyecto MERMANIP dentro de MERBOTS, liderado por la UJI y dedicado, entre otros obje- tivos, al desarrollo de utilidades para la asistencia al arque´ ologo durante las intervenciones de mani- pulaci´ on rob´ otica submarina. La manipulaci´ on rob´ otica es un campo amplia- mente estudiado desde hace d´ ecadas pero sigue siendo un campo muy activo y de gran inter´ es para los investigadores, puesto que a´ un quedan bastan- tes problemas por resolver y avances por realizar. La planificaci´ on del agarre en entornos comple- jos no estructurados es uno de estos temas en los que se necesita avanzar. En un entorno estructu- rado, una de las aproximaciones m´ as comunes en la planificaci´ on del agarre es la utilizaci´ on del pa- radigma basado en modelo, es decir, utilizar leyes ısicas para modelar la forma del objeto, los con- tactos y las fuerzas [3]. Algunos investigadores se han centrado en el an´ alisis de agarres (el estudio de las propiedades f´ ısicas de un determinado aga- rre) y la s´ ıntesis de agarres (el c´ alculo de los aga- rres que mejor se adaptan a ciertas caracter´ ısticas deseables). Desafortunadamente, estas dos apro- ximaciones no funcionan en la pr´ actica en escena- rios complejos y con incertidumbre (p.e. escenarios submarinos) porque se basan principalmente en la suposici´ on de tener un escenario est´ atico. Por ejemplo, para el caso particular de un escenario Actas de las XXXIX Jornadas de Automática, Badajoz, 5-7 de Septiembre de 2018 401

Upload: hoangquynh

Post on 20-Jul-2019

215 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

AVANCES EN MANIPULACION ROBOTICA SUBMARINAMEDIANTE SEGMENTACION Y SEGUIMIENTO VISUAL

David Fornas†, J. Javier Fernandez†, Antonio Soriano‡, Diego Centelles†, Pedro J. Sanz†

{dfornas, fernandj, centelld, sanzp}@uji.es, [email protected]† Departamento de Ingenierıa y Ciencia de los Computadores. Universitat Jaume I.

Av. Sos Baynat, s/n, 12071 Castellon de la Plana (Espana)‡ Departament d’Informatica. Universitat de Valencia. Av. de la Universitat, s/n. 46100 Burjassot (Espana)

Resumen

En este artıculo se presenta un sistema roboticosemiautomatico que utiliza vision, reconstruccion3D, segmentacion, estimacion de objetos, interfa-ces hombre-robot (HRI) y planificacion del agarrepara mejorar el estado del arte en manipulacionsubmarina mediante funciones autonomas y capa-cidad de supervision. En primer lugar se obtie-ne una reconstruccion en 3D del objeto. A con-tinuacion, se utilizan metodos basados en RAN-SAC (RANdom SAmple Consesnsus) y estimacionde supercuadricas (SQ) para obtener la geometrıasubyacente de los objetos a manipular para pre-sentar una reconstruccion de la escena al usuario.Despues, se lleva a cabo la especificacion de la ma-nipulacion de forma autonoma. El usuario puedeentonces validar o ajustar el resultado del siste-ma y proceder a ejecutar el agarre. El sistema hasido probado satisfactoriamente en diferentes con-diciones, tanto en simulacion como en entornosreales.

Palabras clave: reconstruccion 3D, estimacionde la posicion, supercuadricas, manipulacion,robotica.

1. INTRODUCCION

El uso de robots en el entorno submarino esta cre-ciendo notablemente: desde la industria del gas oel petroleo a la arquelogıa o las ciencias marinas.El tipo de operaciones realizadas en estos secto-res han sido llevadas acabo tradicionalmente conROVs (Remote Operated Vechicle). Sin embargo,la tendencia actual esta en la utilizacion de sis-temas roboticos cada vez mas autonomos con elobjetivo de reducir los costes de operacion. De es-te modo, recientemente han aparecido los I-AUVs(Intervention Autonomous Underwater Vehicle),aunque su utilizacion de momento se limita prin-cipalmente a proyectos de investigacion [1] ya quela manipulacion submarina sigue suponiendo unautentico desafıo. Una aproximacion a medio ca-mino entre los ROVs y los I-AUVs son los denomi-nados HROVs (Hybrid ROVs), que son esencial-mente I-AUVs reconfigurables como ROVs cuando

se teleoperan remotamente a traves de un cableumbilical o mediante comunicaciones inalambri-cas. Probablemente, la demostracion mas avanza-da de este tipo de sistemas en la actualidad sea elOcean One Robotic Avatar [2], satisfactoriamen-te testeado en una mision arqueologica submarinade recuperacion de objetos. Sin embargo, los cos-tes de operacion de dicho sistema aun son muyelevados.

El presente trabajo se enmarca en el el contextodel proyecto nacional coordinado MERBOTS, enel que participan la Universitat Jaume I (UJI), laUniversitat de Girona (UdG) y la Universitat deles Illes Balears (UIB). El objetivo de MERBOTSes progresar en el desarrollo de sistemas de inter-vencion submarina seguros, economicos y sencillosde utilizar en el contexto de la arqueologıa subma-rina. Concretamente, este trabajo se centra en elsubproyecto MERMANIP dentro de MERBOTS,liderado por la UJI y dedicado, entre otros obje-tivos, al desarrollo de utilidades para la asistenciaal arqueologo durante las intervenciones de mani-pulacion robotica submarina.

La manipulacion robotica es un campo amplia-mente estudiado desde hace decadas pero siguesiendo un campo muy activo y de gran interes paralos investigadores, puesto que aun quedan bastan-tes problemas por resolver y avances por realizar.La planificacion del agarre en entornos comple-jos no estructurados es uno de estos temas en losque se necesita avanzar. En un entorno estructu-rado, una de las aproximaciones mas comunes enla planificacion del agarre es la utilizacion del pa-radigma basado en modelo, es decir, utilizar leyesfısicas para modelar la forma del objeto, los con-tactos y las fuerzas [3]. Algunos investigadores sehan centrado en el analisis de agarres (el estudiode las propiedades fısicas de un determinado aga-rre) y la sıntesis de agarres (el calculo de los aga-rres que mejor se adaptan a ciertas caracterısticasdeseables). Desafortunadamente, estas dos apro-ximaciones no funcionan en la practica en escena-rios complejos y con incertidumbre (p.e. escenariossubmarinos) porque se basan principalmente enla suposicion de tener un escenario estatico. Porejemplo, para el caso particular de un escenario

Actas de las XXXIX Jornadas de Automática, Badajoz, 5-7 de Septiembre de 2018

401

Page 2: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

submarino en aguas poco profundas, esta suposi-cion no se cumple al tener una escena que no esestatica, donde la posicion relativa entre los obje-tos y el robot puede variar dinamicamente debidoa las corrientes y al oleaje, o las condiciones de ilu-minacion no son constantes variando en funcion dela nubosidad y las partıculas en suspension, etc.

Para afrontar estos inconvenientes, la solucion masutilizada es incrementar la autonomıa del sistemarobotico mediante la incorporacion de informacionsensorial. De entre toda esta informacion sensorial,la reconstruccion 3D de la escena es una de lasmas importantes para la planificacion y la sınte-sis de agarres. Los sensores RGB-D ampliamenteempleados en escenarios terrestres no son viablesen entornos submarinos debido a la fuerte atenua-cion que sufre la luz infrarroja por el efecto delagua. Una alternativa viable es la utilizacion decamaras estereo, aunque tienen el inconvenientede funcionar solo en escenarios texturizados. Otraalternativa son los sistemas de reconstruccion me-diante laser, que requieren de un escaneado activodel objeto. En [4] se comparan las reconstruccio-nes 3D obtenidas mediante un sistema de visionestereo y un sistema de reconstruccion laser bajodiferentes condiciones de luminosidad. En este tra-bajo, se utiliza informacion 3D obtenida medianteuna camara estereo (ver Figura 1).

A partir de la reconstruccion 3D de la escena pro-porcionada por dichos sensores, existen diversasmetodologıas para la segmentacion y el seguimien-to de los objetos. De entre las que suponen queexiste un conocimiento previo de los objetos a co-ger a traves de modelos 3D de los mismos, en [5]se utiliza un algoritmo de deteccion basado en ca-racterısticas. Tambien, la RTM Toolbox [6] es unsistema de adquisicion de objetos a partir de vistasparciales 3D que puede ser utilizado posteriormen-te para la estimacion de la posicion y el seguimien-to.

En este trabajo se muestran el uso de RANSAC[7] y estimacion de supercuadricas (SQ) [8] paraextraer la forma aproximada de los objetos con elobjetivo de planificar su manipulacion. Para ello,proponemos metodos que no consideran la dispo-nibilidad a priori de un modelo 3D del objeto, sinoque utilizan modelos matematicos a partir del co-nocimiento de informacion cualitativa relativa ala forma del objeto (esfera, cilindro, caja, etc.).La metodo basada en RANSAC es particularmen-te adecuada en el entorno de la arqueologıa sub-marina, ya que muchos objetos como las anforas,canones, etc. tienen formas basicas predominantesque se asemejan a cilindros, esferas u otras formasprimitivas. Por otro lado, el metodo basado en SQtambien es capaz de obtener modelos adecuados

de este tipo de formas.

La siguiente seccion describe el sistema de visionutilizado para la obtencion de la posicion de los ob-jetos. En la Seccion 3, la interfaz de usuario y losdetalles de la manipulacion son explicados mien-tras que la configuracion experimental y los resul-tados son mostrados en la Seccion 4. Finalmente,algunas conclusiones y posibilidades de trabajo fu-turo son proporcionados en la Seccion 5.

2. ESTIMACION DE LAPOSICION DE LOS OBJETOS

En este trabajo proponemos el uso de tecnicas devision para la segmentacion de los objetos y elfondo marino. Posteriormente se calcula un mo-delo geometrico de la forma de cada objeto, conel fin de estimar el agarre optimo del mismo. Des-pues de que la nube de puntos sea obtenida, estaes segmentada para eliminar el fondo y se calculaun modelo geometrico del objeto que aproxima suforma. Ademas, el sistema de vision dispone de unsistema de seguimiento del movimiento del objetodurante la ejecucion del agarre. En este sistema seproponen diferentes metodos que el usuario del sis-tema puede seleccionar para obtener la posicion deforma satisfactoria. Los diferentes metodos se en-globan en dos categorıas: segmentacion utilizandoRANSAC y obtencion del modelo mediante SQ.

2.1. ESTIMACION MEDIANTERANSAC

El metodo propuesto en primer lugar se basa en lautilizacion de RANSAC 1 para obtener el mode-lo del objeto en varios paso. Se utiliza en primerlugar para extraer el fondo mediante la segmenta-cion de un plano. Con este metodo se puede eli-minar el fondo de forma aproximada y acelerar engran medida los calculos siguientes. En segundo

1Disponible en PCL (Point Cloud Library), unalibrerıa de tratamiento de nubes de puntos http://pointclouds.org/.

Figura 1: Escena con diferentes vasijas utilizadasen uno de los experimentos (izquierda). Mapa deprofundidad de la escena obtenido con la camaraestereo (derecha).

402

Page 3: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

Figura 2: Sobre la nube de puntos de la escena semuestra en azul las partes de los objeto obtenidasmediante planos de simetrıa que ayudan a obtenerlas SQ.

lugar se utiliza para extraer el modelo del objeto,utilizando un cilindro, una esfera u otro plano pa-ra obtener las caracterısticas de una caja. En estetrabajo se amplia la metodologıa detallada en [9]con la segmentacion de esferas y cajas. El uso deRANSAC permite encontrar las caracterısticas delos objetos incluso en presencia de ruido. Se obtie-ne el radio y la altura del cilindro, el radio de laesfera y las dimensiones de la caja. Ademas, se ob-tiene la posicion y orientacion de todos los objetos(ver Figura 1).

2.2. ESTIMACION MEDIANTESUPERCUADRICAS

Alternativamente, se puede obtener el modelo delobjeto utilizando modelos de SQ. La solucion ba-sada en SQ no requiere especificar la forma delobjeto modelizado como ocurre en RANSAC. Deesta forma, el uso de SQ mejora la autonomıa dela planificacion del agarre respecto a RANSAC.

Las supercuadricas son una familia de formasgeometricas definidas por la formula matematica:((x

a

) 2ε2

+(yb

) 2ε2

) ε2ε1

+(zc

) 2ε1

= 1 (1)

En esta formula, los parametros a, b y c contro-lan las dimensiones del modelo, mientras que ε1controla la forma del modelo en la seccion trans-versal ortogonal al plano XY y ε2 controla la for-ma en la seccion transversal paralela al plano XY.Las formas geometricas que se pueden generar re-sultan especialmente interesantes para obtener lageometrıa aproximada de un objeto con el proposi-to de manipularlo. Para obtener el modelo del ob-jeto con esta aproximacion, se debe aislar el objeto

Figura 3: Reconstruccion de una escena completautilizando diferentes parametros de SQ para cadaobjeto. El modelo obtenido se muestra en azul.

del fondo y obtener una nube de puntos represen-tativa del objeto.

Como en el caso anterior, en primer lugar se reali-za una eliminacion del fondo mediante RANSAC.Despues, se realiza un agrupamiento por distanciaeuclıdea para separar los diferentes objetos queaparecen en la escena. Posteriormente, propone-mos la estimacion de los puntos no visibles del ob-jeto utilizando un plano de simetrıa (ver Figura 2).Esta asuncion resulta adecuada ya que se trata deobjetos hechos por el ser humano dispuestos enuna superficie plana y con una vision de la escenacenital. Esto permite obtener un modelo del obje-to mas preciso ya que, a diferencia de RANSAC,este metodo no obtiene tan buenos resultados sindisponer de una entrada mas precisa. Como pasoprevio a la obtencion del modelo, se obtienen losejes de inercia y el centroide de la nube de puntospara obtener una estimacion inicial. Finamente, seobtienen los parametros del modelo utilizando unmetodo de minimizacion sobre la ecuacion mostra-da. Utilizando esta metodologıa para cada grupode puntos obtenido se puede obtener una recons-truccion completa de la escena (ver Figura 3).

2.3. SEGUIMIENTO DE OBJETOS

Una vez se dispone del modelo del objeto, se rea-liza un seguimiento o tracking continuo del mismoutilizando los parametros del modelo y del fon-do. Utilizando la ecuacion del plano correspon-diente al fondo, este se puede eliminar de maneramuy eficiente. Los objetos segmentados medianteRANSAC se pueden segmentar de forma continuautilizando los parametros dimensionales obtenidospreviamente para obtener la posicion y orienta-cion nueva. En el caso de la estimacion mediante

403

Page 4: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

SQ, el seguimiento es mucho mas eficiente que labusqueda del modelo por lo que esta tecnica sevuelve esencial a diferencia del caso de RANSAC.

Esta metodologıa permite corregir errores debidosa una mala calibracion y minimizar problemas co-mo la precision del brazo robotico o la deriva en losdatos de navegacion del vehıculo. Ademas, se uti-liza un filtro temporal para aumentar la robustezy descartar detecciones erroneas. Resulta signifi-cativo resaltar que este sistema es necesario paracompensar el movimiento producido por las co-rrientes y por el movimiento inducido por el brazoal vehıculo.

3. ESPECIFICACION YEJECUCION DEL AGARRE

Una vez que los parametros del objeto han sidoobtenidos, se calcula una posicion de agarre ade-cuada wMg a traves de un vector de aproxima-cion. En el caso de un objeto cilındrico, sea wMola posicion calculada del objeto respecto al mun-do, donde el eje z es calculado utilizando el planonormal para dirigirlo hacia el fondo y el eje y estaalineado con el eje del cilindro. Usando la direcciondel eje del objeto y el radio del cilindro, la trans-formacion oMg, la posicion de agarre con respec-to al objeto, puede ser calculada heurısticamentepara la obtencion del mejor agarre. Esta transfor-macion consiste en una traslacion d a lo largo deleje del cilindro, un angulo de rotacion α respectoa dicho eje y un desplazamiento radial r desde elcentro del cilindro c, tal y como se muestra en lassiguientes ecuaciones:

oMg = Transy(d) ∗Rotx(α) ∗ Transz(r); (2)

wMg = wMo ∗ oMg; (3)

Esta misma metodologıa ha sido utilizada tambiencon esferas y cajas (ver Figura 4), considerandocomo eje de manipulacion el eje de simetrıa quees paralelo al fondo. En el caso de la estimacionmediante SQ se utiliza este mismo metodo paraobtener la posicion de agarre.

Con el objetivo de supervisar la manipulacion, seha desarrollado una interfaz de usuario (Figura 5).Dicha GUI, es utilizada en primer lugar para vi-sualizar la deteccion de los objetos respecto a lanube de puntos, ası como la posicion de agarre ge-nerada automaticamente por el algoritmo. El re-sultado es visualizado mediante el simulador UW-Sim [10]. Con esta informacion, el usuario decidesi ejecuta el agarre propuesto o lo modifica. LaGUI desarrollada proporciona dos formas de mo-dificar el agarre:

Figura 4: Deteccion de un cilindro (izquierda) yuna caja (derecha) realizada con RANSAC. EnUWSim se superpone la deteccion a la nube depuntos de la escena. En verde (izquierda) se mues-tra el resultado de la especificacion del agarre.

Respecto al objeto: el usuario puede modifi-car facilmente el agarre teniendo en cuentala forma del objeto, modificando la r, α y dmediante intuitivas barras deslizantes.

Marcadores interactivos: el usuario puede mo-dificar libremente la posicion 3D del objetocon marcadores interactivos (ver Figura 5).Ademas, tambien es posible ajustar la posi-cion de manera mas precisa utilizando barrasdeslizantes. Esta ultima opcion proporcionamas libertad al usuario pero es mas difıcil deutilizar para un usuario inexperto.

Esta interfaz muestra informacion sobre el estadode las articulaciones del brazo, los datos de nave-gacion del vehıculo y la apertura del efector finalen funcion de las dimensiones del objeto de formadinamica. Ademas, el usuario puede elegir tantoel algoritmo de deteccion de objetos como modifi-car cualquier parametro del mismo. Si se empleaRANSAC como algoritmo de deteccion de objetos,desde la GUI es posible indicar el tipo de objetoa segmentar. El algoritmo SQ no requiere esta op-cion porque es capaz de detectar automaticamentela forma del objeto.

Cuando la posicion de agarre ha sido seleccionadael usuario puede iniciar la ejecucion del agarre. La

Figura 5: Especificacion del agarre utilizando mar-cadores interactivos en 3D.

404

Page 5: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

ejecucion del robot se controla utilizando la reali-mentacion del brazo y la vision. En este paso, lainformacion 3D y las lecturas de corriente y en-coders del brazo se utilizan para guiar el brazo yseguir el objeto. El simulador UWSim se utilizapara mostrar la posicion actualizada de ambos ysupervisar la operacion. Si la posicion y orienta-cion del objeto cambian, la posicion de agarre secorrige automaticamente. De este modo se puedereducir la incertidumbre del sistema.

4. EXPERIMENTACION YRESULTADOS

Los experimentos para la validacion del sistema sehan realizado en el tanque de agua del laboratorioIRSLab de la Universidad Jaume I. En este esce-nario se ha empleado el brazo ECA/CSIP Light-weight ARM5E [11] equipado con una camara devision estereo (Figura 6) y acoplado a una plata-

Figura 6: Condiciones de los experimentos en eltanque de agua del IRSLab. Experimentos realiza-dos con el brazo robotico ECA/CSIP Light-weightARM5E y una camara estereo en una plataformafija.

Figura 7: Experimentos de ejecucion de la mani-pulacion sobre dos objetos cilındricos.

forma fija. Se ha llevado a cabo la estimacion devasijas y cajas de diferentes formas y dimensiones(ver Figura 3 y Figura 4). Debido a las limitacio-nes cinematicas del robot, las posiciones de agarreposibles son mas reducidas. Sin embargo, se hanejecutado agarres sobre diferentes vasijas satisfac-toriamente, mostrandose en la Figura 7 algunos deellos. Para llevar a cabo estos experimentos se hamonitorizado y supervisado la tarea utilizando laHRI desarrollada (ver Figura 5).

Ademas, el sistema de segmentacion y estimacionde la posicion visual ha sido probado en simula-cion y en el mar en el contexto del proyecto MER-BOTS. En ambos casos se ha empleado el vehıculoGirona 500 [12] con el brazo ECA/CSIP Light-weight ARM5E [11], equipado con una camarade vision estereo. En estos escenarios se ha con-siderado el modelo de una vasija para verificarel funcionamiento del sistema de reconstruccion,segmentacion, estimacion del agarre y seguimien-to. El simulador UWSim permite evaluar de formarealista los algoritmos de vision puesto que simu-la adecuadamente las camaras estereo, resultandoser una herramienta muy util a la hora de validarel sistema (ver Figura 8).

Como se ha explicado en secciones anteriores, lasegmentacion mediante RANSAC es rapida, pu-diendose realizar a una frecuencia de hasta 10 Hz.Por otro lado, la estimacion utilizando SQ tieneun coste del orden de decenas de segundos por loque requiere de una inicializacion previa.

5. CONCLUSIONES

En este trabajo se ha mostrado un sistema de aga-rre semiautonomo, que utiliza tecnicas de vision enconjunto con la inteligencia del usuario, para rea-lizar una planificacion y ejecucion del agarre quepermita la recuperacion de objetos en el entornosubmarino de forma fiable, facilitando el control yla supervision de la mision.

405

Page 6: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

Figura 8: Escena de simulacion en UWSim conuna vasija (izquierda). Deteccion del cilindro conRANSAC y posicion de agarre del objeto sobre lanube de puntos obtenida (derecha).

Se han mostrado los resultados obtenidos con ob-jetos cilındricos, esfericos y rectangulares en ex-perimentos realizados en el tanque de agua de laUniversitat Jaume I, en simulacion y en los expe-rimentos del proyecto MERBOTS realizados en elmar.

Entre los metodos descritos se puede destacar quelos basados en RANSAC tienen una gran toleran-cia al ruido, que puede ser intenso en este tipo deescenarios, y una velocidad adecuada a la frecuen-cia de control a alto nivel que puede requerir unrobot. Sin embargo, la estimacion basada en for-mas geometricas como son las SQ, muestra unaprecision y flexibilidad mucho mayores, dotandode una mayor fidelidad al sistema. Ademas, en es-te caso, el usuario no debe seleccionar que tipode forma desea estimar. Como contrapartida, esun metodo sensible al ruido (que pude ser filtra-do) y lento (que se puede permitir en una fase deinicializacion).

Como trabajo futuro se propone la utilizacion delresultado de la segmentacion RANSAC como mo-delo inicial para la estimacion de SQ. A traves delos parametros obtenidos mediante RANSAC esposible obtener unos parametros iniciales para SQque reduzcan el tiempo de minimizacion.

Agradecimientos

Este trabajo ha sido parcialmente financiado porel Ministerio de Economıa y Competitividad (Pro-yecto MERBOTS DPI2014-57746-C3 y ayuda pre-doctoral BES-2015-073112), por la UniversitatJaume I (proyecto P11B2015-68 y ayuda predoc-toral PREDOC/2013/46), y por la GeneralitatValenciana (PROMETEO/2016/066).

English summary

ADVANCES IN UNDERWATERROBOTIC MANIPULATIONUSING SEGMENTATION ANDVISUAL TRACKING

Abstract

This paper presents a semi-autonomous ro-botic system which uses vision, 3D recons-truction, segmentation, object estimation,human-robot interface (HRI) and graspplanning in order to improve the underwa-ter manipulation state-of-the-art using au-tonomous functionalities and supervisioncapabilities. Firstly, a 3D reconstruction ofthe object is obtained. Afterwards, RAN-SAC (RANdom SAmple Consensus) andsuperquadrics (SQ) estimation based met-hods are used to calculate the underlyinggeometry and pose of the objects to be ma-nipulated in order to show a reconstructionof the scene to the user. Next, the graspspecification is carried out autonomously.Then, the result can be validated or tunedby the user to execute the grasp. The sys-tem has been successfully tested in differentconditions both in simulation and in realenvironments.

Keywords: 3D reconstruction, pose esti-mation, superquadrics, manipulation, ro-botics.

Referencias

[1] P. Ridao, M. Carreras, D. Ribas, P.J. Sanz,G. Oliver, Intervention AUVs: The Next Cha-llenge, IFAC Proceedings Volumes, Volume47, Issue 3, 2014, Pages 12146-12159.

[2] O. Khatib, X. Yeh, G. Brantner, B. Soe,B. Kim, S. Ganguly, H. Stuart, S. Wang,M. Cutkosky, A. Edsinger, P. Mullins,M. Barham, C.R. Voolstra, K.N. Salama,M. L’Hour and V. Creuze, Ocean One: ARobotic Avatar for Oceanic Discovery, inIEEE Robotics & Automation Magazine,vol. 23, no. 4, pp. 20-29, Dec. 2016. DOI10.1109/MRA.2016.2613281

[3] J. Bohg, A. Morales, T. Asfour and D. Kragic,Data-Driven Grasp Synthesis—A Survey, inIEEE Transactions on Robotics, vol. 30, no.2, pp. 289-309, April 2014.

[4] J. Perez, J. Sales, A. Penalver, D. For-nas, J.J. Fernandez, J.C. Garcia, P.J. Sanz,R. Marin and M. Prats, Exploring 3-d recons-truction techniques: A benchmarking tool for

406

Page 7: AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA …eii.unex.es/ja2018/actas/JA2018_084.pdf · AVANCES EN MANIPULACI ON ROB OTICA SUBMARINA MEDIANTE SEGMENTACI ON Y SEGUIMIENTO VISUAL

underwater robotics, in Robotics & Automa-tion Magazine, IEEE, vol. 22(3), IEEE, pp.85–95.

[5] A. Aitor, Z. Marton, F. Tombari, W. Wohl-kinger, C. Potthast, B. Zeisl, R.B. Rusu,S. Gedikli and M. Vincze, Tutorial: Pointcloud library: Three-dimensional object recog-nition and 6 dof pose estimation, in Robotics& Automation Magazine, IEEE, vol. 19 (3),IEEE, 2012, pp. 80 – 91.

[6] J. Prankl, A. Aldoma Buchaca, A. Svejda andM. Vincze, RGB-D Object Modelling for Ob-ject Recognition and Tracking, in IEEE/RSJInternational Conference on Intelligent Ro-bots and Systems (IROS), 2015.

[7] M.A. Fischler, R.C. Bolles, Random Sam-ple Consensus: A Paradigm for Model Fit-ting with Applications to Image Analysisand Automated Cartography, in Communi-cations of the ACM Magazine, Volume 24Issue 6, June 1981, Pages 381-395, DOI10.1145/358669.358692

[8] A.H. Barr, Superquadrics and Angle-Preserving Transformations, in IEEEComputer Graphics and Applications, vol 1(1), 1981, pp. 11-23

[9] D. Fornas, J. Sales, A. Penalver, J. Perez,J.J. Fernandez, R. Marın and P.J. Sanz,Fitting primitive shapes in point clouds:a practical approach to improve autono-mous underwater grasp specification of unk-nown objects, in Journal of Experimen-tal & Theoretical Artificial Intelligence,vol 28 (1-2), 2015, pp. 369-384, DOI10.1080/0952813X.2015.1024495

[10] M. Prats, J. Perez, J.J. Fernandez, andP.J. Sanz, An open source tool for simula-tion and supervision of underwater interven-tion missions, in 2012 IEEE/RSJ Internatio-nal Conference on Intelligent Robots and Sys-tems (IROS), pp. 2577-2582, 7-12 Oct. 2012

[11] J.J. Fernandez, M. Prats, P.J. Sanz,J.C. Garcıa, R. Marın, M. Robinson, D. Ri-bas, and P. Ridao, Grasping for the Seabed:Developing a New Underwater Robot Armfor Shallow-Water Intervention, in Robotics& Automation Magazine, IEEE, vol. 20 (4),IEEE, 2013, pp. 121 – 130.

[12] D. Ribas, N. Palomeras, P. Ridao, M. Ca-rreras and A. Mallios, Girona 500 AUV:From Survey to Intervention, in IEEE/ASMETransactions on Mechatronics, vol. 17, no. 1,pp. 46-53, Feb. 2012.

c© 2018 by the authors.Submitted for possibleopen access publication

under the terms and conditions of the Creati-ve Commons Attribution CC-BY-NC 3.0 license(http://creativecommons.org/licenses/by-nc/3.0/).

407