aitor arnaiz, roberto gonzález | san sebastian | marzo 2019
Post on 11-Jul-2022
5 Views
Preview:
TRANSCRIPT
© IK4-TEKNIKER 2017
© IK4-TEKNIKER 2017
Aitor Arnaiz, Roberto González | San Sebastian | Marzo 2019
Arquitecturas eficientes para la gestión de Datos
© IK4-TEKNIKER 2017
IK4-TEKNIKER, I+D con especial
dedicación a fabricación y procesos
INTRODUCCIÓN
GENERAL INTRODUCTION
278 personas
24M€
REVENUE IN 2017
AREA TICS,
4 Unidades, 100 personas
AUT
SAI SII
ELE
Automática
y Control
Sistemas
Autónomos
Inteligentes
Sistemas de
Información
Inteligentes
Electrónica y
comunicaciones
© IK4-TEKNIKER 2017
SII - Sistemas de Información
Inteligentes
INTRODUCCIÓN
24 Personas
7 PhD
2M€ (2017)
Salud/Alimen.
Infraestructuras
Mantenimiento
Fabricación
Inteligencia
Competitiva
Analítica Prescriptiva
Semántica / HMI
Ensayos/
Bancos
Especialización
© IK4-TEKNIKER 2017
SII - Sistemas de Información
Inteligentes
INTRODUCCIÓN
Salud/Alimen.
Infraestructuras
Mantenimiento
Fabricación
Inteligencia
Competitiva
Analítica PrescriptivaEnsayos/
Bancos
Especialización
Semántica / HMI
Soporte cloud a IoT
24 Personas
7 PhD
2M€ (2017)
Traditionalsoftware Traditional
research
Machine Learning
Data Science
© IK4-TEKNIKER 2017
• Condicionantes y características de las plataformas
• Plataforma SAM para mantenimiento predictivo
• Esquema de diseño genérico (Arquitectura de referencia)
• Despliegue para su uso por la empresa Atten2
• Otras plataformas
INTRODUCCIÓN - OBJETIVOS
© IK4-TEKNIKER 2017
Soporte ‘cloud’ a IoT
1) Soporte a datos de
monitorización / IoT (condición,
proceso, infraestuctura)
1) Soporte a datos de monitorización / IoT
• No son datos de RRSS, no son datos de búsquedas en
Internet
• Datos IoT baja complejidad alta periodicidad
(temperaturas, corrientes, vibraciones)
• Datos IoT complejos (espectro IR, imagen/video de un
lubricante)
• Datos Operación – normalmente asociados a sistemas
SCADAS/MES/MOM/GMAO/…
• Datos ‘Fingerprint’ – conjuntos de datos combinados
tomados periódicamente para identificar condición
• Pocos, Pasivos
SOPORTE CLOUD A IOT – CARACTERÍSTICAS
© IK4-TEKNIKER 2017
SOPORTE CLOUD A IOT – CARACTERÍSTICAS
hh
Soporte ‘cloud’ a IoT
1) Soporte a datos de
monitorización / IoT (condición,
proceso, infraestuctura)
2) Diferentes tipos de plataformas
2) Diferentes tipos de plataformas
• Plataformas ‘privadas’ (e.g. gestión de planta)
• Nube ‘privada’ (e.g. servicios a clientes)
• Nube ‘compartida’ (e.g. cadena de suministro)
confianza
rapidez
© IK4-TEKNIKER 2017
SOPORTE CLOUD A IOT – CARACTERÍSTICAS
Soporte ‘cloud’ a IoT
1) Soporte a datos de
monitorización / IoT (condición,
proceso, infraestuctura)
2) Diferentes tipos de plataformas
3) Otros
3) Otros
• Objetivo de la plataforma – Exploración vs. explotación
• Privacidad
• Conectividad (archivos, OPC-UA, MQTT, ..)
• Interoperabilidad – sistemas ya existentes
• Código abierto…
© IK4-TEKNIKER 2017
SOPORTE CLOUD A IOT – CARACTERÍSTICAS
© IK4-TEKNIKER 2017
DATA EXPLOITATIONDATA SOURCES
DESARROLLO Y DESPLIEGUE DE PLATAFORMAS
Soporte cloud IoT
MACHINES
© IK4-TEKNIKER 2017
DATA EXPLOITATIONDATA SOURCES
DESARROLLO Y DESPLIEGUE DE PLATAFORMAS
Soporte cloud IoT
MACHINES
SAM - SMART ASSET MANAGEMENT
© IK4-TEKNIKER 2017
DESARROLLO Y DESPLIEGUE DE PLATAFORMAS
Soporte cloud IoT
DATA SOURCES
SAM - SMART ASSET MANAGEMENT
DATA EXPLOITATION
CRM
CORPORATE DATA
OTHER REPOSITORIES
ERP
TELEMETRY
ADDITIONALINFORMATION
MACHINES
EDGEPROCESSING
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
© IK4-TEKNIKER 2017
MONITORING&
DECISION MAKING
DEVELOPMENT
CORPORATE KPIs
NEW KPIs& AGGREGATESDEVELOPMENT
ADVANZED INFORMATION PROCESSING
SELF-SERVICEBUSINESS
INTELLIGENCE
BUSINESS INTELLIGENCEDASHBOARDS
TIMES SERIESALERTS / WARNINGS
PREDICTIONS
MONITORINGDASHBOARDS
MACHINE LEARNING
DEVELOPMENT
& AGGREGATES
ENGINEERING
BUSINESS USER ENGINEERING
ADVANCED USER I+D USER
I+D USER
DATA EXPLOITATION
DESARROLLO Y DESPLIEGUE DE PLATAFORMAS
Soporte cloud IoT
DATA SOURCES
SAM - SMART ASSET MANAGEMENT
CRM
CORPORATE DATA
OTHER REPOSITORIES
ERP
TELEMETRY
ADDITIONALINFORMATION
MACHINES
EDGEPROCESSING
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
© IK4-TEKNIKER 2017
MONITORING&
DECISION MAKING
DEVELOPMENT
CORPORATE KPIs
NEW KPIs& AGGREGATESDEVELOPMENT
ADVANZED INFORMATION PROCESSING
SELF-SERVICEBUSINESS
INTELLIGENCE
BUSINESS INTELLIGENCEDASHBOARDS
TIMES SERIESALERTS / WARNINGS
PREDICTIONS
MONITORINGDASHBOARDS
MACHINE LEARNING
DEVELOPMENT
& AGGREGATES
ENGINEERING
BUSINESS USER ENGINEERING
ADVANCED USER I+D USER
I+D USER
DATA EXPLOITATION
DESARROLLO Y DESPLIEGUE DE PLATAFORMAS
Soporte cloud IoT
DATA SOURCES
• ARQUITECTURA LAMBDA• ALMACENAMIENTO ORIENTADO A
RESULTADOS• ESTRUCTURA EN 3 CAPAS
CRM
CORPORATE DATA
OTHER REPOSITORIES
ERP
TELEMETRY
ADDITIONALINFORMATION
MACHINES
EDGEPROCESSING
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
SAM - SMART ASSET MANAGEMENT
© IK4-TEKNIKER 2017
SPEEDLAYER
BATCH LAYER SERVING
LAYER
QUERIESNEW DATA
REALTIMEVIEWS
BATCHVIEWS
Batch layerLong-running, heavy processingagainst the entire master dataset
Speed layerFast, lightweight processingagainst the most recent data
Serving layerViews ready to be queried
SAM – ARQUITECTURA LAMBDA
© IK4-TEKNIKER 2017
Serving Layer - Different
Storage for Different
Exploitation
DATA WAREHOUSE
TIME SERIES DATABASE
FILE REPOSITORY
DATA STORAGE
DATA WAREHOUSE
RELATIONALDATABASE
DATA WAREHOUSE
FILE REPOSITORY
MONITORINGAND
DECISION MAKING
DEVELOPMENT
CORPORATE KPIs
NEW KPIs& AGGREGATESDEVELOPMENT
ADVANZED INFORMATION PROCESSING
SELF-SERVICEBUSINESS
INTELLIGENCE
BUSINESS INTELLIGENCEDASHBOARDS
TIMES SERIESALERTS / WARNINGS
PREDICTIONS
MONITORINGDASHBOARDS
MACHINE LEARNING
DEVELOPMENT
& AGGREGATES
OPERATOR
BUSINESS USER ENGINEERING
ADVANCED USER I+D USER
I+D USER
DATA EXPLOITATION
Data is stored redundantlyon different repository types
Different ways toexploit information
There is an appropriatestorage type for anspecific data exploitation
SAM – ALMACENAMIENTO ORIENTADO A RESULTADOS
© IK4-TEKNIKER 2017
MONITORINGAND
DECISION MAKING
DEVELOPMENT
SAM - Arquitectura
MESSAGE BROKER
CRM
CORPORATE DATA
OTHER REPOSITORIES
CORPORATE KPIs
NEW KPIs& AGGREGATESDEVELOPMENT
ADVANZED INFORMATION PROCESSING
SELF-SERVICEBUSINESS
INTELLIGENCE
BUSINESS INTELLIGENCEDASHBOARDS
TIMES SERIESALERTS / WARNINGS
PREDICTIONS
MONITORINGDASHBOARDS
MACHINE LEARNING
DEVELOPMENT
COMPLEXEVENT
PROCESSING
REAL TIMEMACHINELEARNING
ERP
& AGGREGATES
ENGINEERING
BUSINESS USER ENGINEERING
ADVANCED USER I+D USER
I+D USER
DATA STORAGE DATA ACQUISITION DATA PROCESSING DATA EXPLOITATIONDATA SOURCES
TELEMETRY
ADDITIONALINFORMATION
FILE REPOSITORY
DATA WAREHOUSE
TIME SERIESDATABASE
RELATIONALDATABASE
MACHINES
EDGEPROCESSING
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
SCHEDULEDTASK
SCHEDULEDTASK
BATCHPROCESSING
MACHINE LEARNINGON-THE-FLY ANALYSIS
ON-THE-FLY RULESEVENT INTEGRATION
DATA SOURCE READER
DATA SOURCE READER
BATCH PROCESSES
METADATA /ALERTS AND WARNINGS
SERIALIZED DATA FILES
TIME SERIES DATA
AGGREGATED DATA
© IK4-TEKNIKER 2017
MONITORINGAND
DECISION MAKING
DEVELOPMENT
SAM – tecnologías de implementación
CRM
CORPORATE DATA
OTHER REPOSITORIES
ERP
DATA STORAGE DATA ACQUISITION DATA EXPLOITATIONDATA SOURCES
TELEMETRY
ADDITIONALINFORMATION
AZURE EVENT HUBAZURE IOT HUB
AZUREWEB JOB
AZUREWEB JOB
AZURE STREAM ANALYTICS
AZUREMACHINE LEARNING
AZURE DATA LAKE ANALYTICS
AZURE BLOB STORAGE
AZURESQL DATABASE
AZURESQL DATABASE
BUSINESS INTELLIGENCE / REALTIME DASHBOARDS
SELF-SERVICE BUSINESS INTELLIGENCE
MACHINE LEARNING DEVELOPMENT
AZURE WEB APPS
DATA PROCESSING
AZURE TIMESERIES INSIGHTS
MACHINES
EDGEPROCESSING
AZUREWEB JOB
AZURE MLR MARKDOWN
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
© IK4-TEKNIKER 2017
Atten2 - Sensores ópticos para la monitorización de la condición
• Producto:
• Sistema óptico de monitorización de la salud del
aceite de componentes mecánicos
• Degradación, contaje, tipo y tamaño de partículas
• Multiplicadoras,
© IK4-TEKNIKER 2017
- Monitorización – evolución (vel. 8-15)
- Evolución y detección de estado-
- Predicción de la avería y generación de alertas -
Atten2 – Predicción de anomalías en sistemas sin fallo
© IK4-TEKNIKER 2017
Atten2 - Sensores ópticos para la monitorización de la condición
• Producto:
• Sistema óptico de monitorización de la salud del aceite de componentes mecánicos
• Degradación, contaje, tipo y tamaño de partículas
• Multiplicadoras,
• Necesidades plataforma:
• Integración de la información con datos de SCADA y envío para su tratamiento y combinación a plataforma de gestión.
• Combinación de los datos para entender el comportamiento de la generación de partículas durante la operación.
• Determinación de salud de los diferentes aerogeneradores
• Predicción de fallos de la multiplicadora en base a los datos del sensor
© IK4-TEKNIKER 2017
ASSET MANAGEMENTWEB PORTAL
REPORTING
SAM Platform - Atten2 Use Case
SAM PLATFORM BUSINESSINTELLIGENCE
TIME SERIES
ATTEN2SENSORS
SENSORFILES
AUTOMATEDUPLOADING
ALARMS
SCADAFILES
AUTOMATEDUPLOADING
WINDMILLS(SAMCA)
OFF-LINESENSOR
FILES
ATTEN2USER
MANUAL FILE UPLOADING
AD HOC QUERIES
REAL TIMESTREAM DATA
© IK4-TEKNIKER 2017
BIG DATA / DATA MINING / PREDICTIVE ANALYTICS /
Monitorización y predicción de averías-estado de salud
Flotas
Sistema
Componente
AEROGENERADORES
© IK4-TEKNIKER 2017
MONITORINGAND
DECISION MAKING
DEVELOPMENT
DATA STORAGE DATA ACQUISITION DATA EXPLOITATIONDATA SOURCES
AZURE EVENT HUBAZURE IOT HUB
AZUREWEB JOB
AZUREWEB JOB
AZURE STREAM ANALYTICS
AZUREMACHINE LEARNING
AZURE DATA LAKE ANALYTICS
AZURE BLOB STORAGE
AZURESQL DATABASE
AZURESQL DATABASE
BUSINESS INTELLIGENCE / REALTIME DASHBOARDS
SELF-SERVICE BUSINESS INTELLIGENCE
MACHINE LEARNING DEVELOPMENT
AZURE WEB APPS
DATA PROCESSING
AZURE TIMESERIES INSIGHTS
AZUREWEB JOB
AZURE MLR MARKDOWN
SAM – DESPLIEGUE EN ATTEN2
CRM
CORPORATE DATA
OTHER REPOSITORIES
ERP
TELEMETRY
ADDITIONALINFORMATION
MACHINES
EDGEPROCESSING
SENSORSDEVICES
GATEWAYSSERVERS
PASSIVE SENDINGDATA SOURCES
ACTIVE SENDINGDATA SOURCES
© IK4-TEKNIKER 2017
• Arquitectura de referencia - Punto de partida para
• Plantear pruebas de concepto
• Mantenimiento de flotas (e.g. sistemas freno-embrague)
• Plantear evoluciones
• De OpenTSDB a InfluxDB
• De Hive a Azure Data Lake Analytics
• Evolución on-premise
• Aprovechar parte del planteamiento para nuevas arquitecturas
SAM – SMART ASSET MANAGEMENT
© IK4-TEKNIKER 2017
MONITORING&
DECISION MAKING
ANALYSIS
Extended MES/MOM Platform - Architecture
MESSAGE BROKER BUSINESS INTELLIGENCE
TIMES SERIESALERTS / WARNINGS
PREDICTIONS
IOT PROCESSING FRAMEWORK
GATEWAYS(BLACKBOXES)
ENGINEERING USERBUSINESS USER
DATA STORAGE DATA ACQUISITION DATA PROCESSING DATA EXPLOITATIONDATA SOURCES
TELEMETRY
ADDITIONALINFORMATION
FILE REPOSITORY
OLAPDATABASECRM
(RPS)MES
(OLANET)
GMAO (ORMA)
IBERMATICA SOLUTIONS
MACHINE LEARNINGDATA MINING
TIME SERIESDATABASE
RELATIONALDATABASE
MONITORINGDASHBOARD
ANALYTICDATALAKE
I+D USER
MACHINETOOLS
© IK4-TEKNIKER 2017
MONITORING&
DECISION MAKING
ANALYSIS
Extended MES/MOM Platform - Implementation Technologies
ASP.NET MVC
ENGINEERING USERBUSINESS USER
DATA STORAGE DATA ACQUISITION DATA PROCESSING DATA EXPLOITATIONDATA SOURCES
TELEMETRY
ADDITIONALINFORMATION
CRM(RPS)
MES (OLANET)
GMAO (ORMA)
IBERMATICA SOLUTIONS
I+D USER
APACHE NIFI
SQL SERVER
SQL SERVER ANALYSIS SERVICES
LINUX FILE SYSTEM
INFLUXDBVERNE MQ
MACHINETOOLS
GATEWAYS(BLACKBOXES)
© IK4-TEKNIKER 2017
ARQUITECTURA DE EE – TECNOLOGIAS IMPLEMENTADAS
MONITORING
DEVELOPMENT
WeatherTiempo.com AEMET
PREDICTION
PASIVE DATASOURCES
MACHINES
SCADA TAC
SERVER
ACTIVE DATASOURCES
ENGINEERING
FACILITY MANAGER
I+D USER
DATA STORAGE DATA ACQUISITION DATA PROCESSING DATA EXPLOITATIONDATA SOURCES
Sensors
ADDITIONALINFORMATION
ESPER CEPMQTT BROKER
JAVA SERVICE
JAVA SERVICE
SQL DATABASE
© IK4-TEKNIKER 2017
MONITORING&
DECISION MAKING
DEVELOPMENT
TRAZABILIDAD Y ANALÍTICA EN CADENA ALIMENTARIA
SLAUGTERHOUSE
FARM Management
System
DATA STORAGE DATA ACQUISITION DATA EXPLOITATIONDATA SOURCES
SENSORS
FIWARE CONTEXT BROKER NGSI
SELF-SERVICE BUSINESS INTELLIGENCE
MACHINE LEARNING DEVELOPMENT
SENSOR
DEVICE
DB
DATA PROCESSING
FIWARE IOT AgentMOSQUITTO MQTT
FIWARE CYGNUSApache Flume Agent
SECURITY
APACHE TOMCATFILE STRUCTURE
FIWARE Key RockOpenstack Horizon
& Keystone
MONGODB DATABASE
FARM POULTRY MANIPULATION
FIWARE KNOWAGE
FARM TeknikerSensor:
Temp, hum, lum, nh3, co2
TRANSPORT
Tekniker Sensor:Temp, hum, lum,
nh3, co2
FIWARE PEP PROXY
FIWARE KNOWAGE
REALTIME DASHBOARDS
FIWARE KNOWAGER Serve
WEB
Analytics / DSS
POSTGRESQL DATABASE
© IK4-TEKNIKER 2017
Conclusiones
• El desarrollo de una arquitectura escalable de adquisición,
procesamiento y almacenamiento de los datos para su explotación
eficiente no es trivial
• La evolución constante de tecnologías revisión y actualización
constante de las tecnologías que soportan estas arquitecturas
• Con SAM - Esfuerzo por estructurar el diseño de plataformas en
torno a una arquitectura de referencia, y a unos conceptos clave
• Configuración en vez de desarrollo Es posible generar ‘pruebas de
concepto’ con un coste ‘reducido’ de despliegue y operación.
© IK4-TEKNIKER 2017
© IK4-TEKNIKER 2017
PARKE TEKNOLOGIKOA
C/ Iñaki Goenaga, 5
20600 EIBAR GIPUZKOA
SPAIN
www.tekniker.esContacto: Aitor Arnaiz
aitor.arnaiz@tekniker.es
top related