apache cassandra en smartpolitech
DESCRIPTION
Estamos uniendo el internet de las cosas con Cassandra para crear espacios inteligentes que nos permitan ahorrar y optimizar nuestros recurso. Si te gusta Arduino y Big Data, esta es tu charla. Marcos Vecino Rosado Ingeniero en informática, trabajo en la Universidad de Extremadura en el departamento GIM (Grupo Ingeniería de Medios) diseñando dispositivos y el sistema de información de la iniciativa SmartPolitech.TRANSCRIPT
Cassandra en SmartPolitechCassandra en la creación de espacios inteligentes
13 Noviembre, 2014Marcos Vecino Rosado@mvecinorosado
➔ SmartPolitech
➔ Sistema de información
➔ Resultados experimentales
➔ Trabajos futuros y en proceso
Contenido
Cassandra en SmartPolitech - Marcos Vecino Rosado
➔ SmartPolitech
➔ Sistema de información
➔ Resultados experimentales
➔ Trabajos futuros y en proceso
Contenido
Cassandra en SmartPolitech - Marcos Vecino Rosado
➔ Comenzó en 2013➔ Iniciativa interdepartamental➔ Living lab mediante tecnologías SmartX➔ Objetivos
◆ Optimización de recursos◆ Eficiencia energética◆ Facilitar la vida social y académica a los usuarios◆ Sostenibilidad
➔ Caso particular del Internet de las cosas
SmartPolitech
Cassandra en SmartPolitech - Marcos Vecino Rosado
¿Áreas de interés?
➔ Sensorización de espacios➔ Almacenamiento y disponibilidad➔ Visualización➔ Modelado predictivo➔ Planificación, filosofía, etc.
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
➔ Conectividad de sensores (entornos rurales)➔ Sensorización edificios no modernos➔ Tecnología de sensorización y actuadores➔ Dispositivos heterogéneos➔ Tecnología flexible, barata, escalable y robusta
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
➔ Mediciones◆ Condiciones climáticas (temp, hum, luminosidad)◆ Consumos (eléctrico, agua)◆ Estado de puertas, ventanas, persianas◆ Número de personas◆ Control del parking◆ Ruido
➔ Usuarios aportan información
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
➔ Arduino based◆ Panstamp◆ Arduino Pro Mini◆ Arduino Yun
➔ Mbed➔ Raspberry Pi➔ Cámaras IP➔ Smartphones
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
➔ Panstamp◆ Daniel Berenguer◆ Zafra (Badajoz)◆ Hardware libre◆ Muy bajo consumo
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Sensorización de espacios
Almacenamiento y disponibilidad
➔ Datos muy heterogéneos➔ Time series➔ Almacenamiento masivo y alta disponibilidad➔ Minería de datos
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
Visualización y Modelado Predictivo
➔ Interfaces interactivas (servicio web)➔ Monitorización de la ocupación y actividad humana➔ Seguridad y prevención de riesgos➔ Toma de decisiones -> Actuadores➔ Avisos/Alertas (email, mensajería instantánea...)
Cassandra en SmartPolitech - Marcos Vecino Rosado
SmartPolitech
➔ SmartPolitech
➔ Sistema de información
➔ Resultados experimentales
➔ Trabajos futuros y en proceso
Contenido
Cassandra en SmartPolitech - Marcos Vecino Rosado
Antecedentes
Cassandra en SmartPolitech - Marcos Vecino Rosado
Sistema de información
Cassandra en SmartPolitech - Marcos Vecino Rosado
➔ Modelo Freemium➔ Restricciones consultas (900 puntos, 14 días)➔ LOPD➔ Gráficas y estadísticas pobres➔ Imposibilidad de analizar los datos directamente
Antecedentes
Sistema de información
Cassandra en SmartPolitech - Marcos Vecino Rosado
Sistema de información
Problemática➔ Red de dispositivos (Internet de las Cosas):
● Escrituras intensas● Número muy alto de conexiones concurrentes● Pueden surgir nuevos datos a almacenar
➔ Diversidad de dispositivos:● Necesitamos una interfaz común
➔ Compatible con herramientas analíticas para Big Data● Framework Hadoop, Spark
➔ Alta disponibilidad, fácil escalabilidad y tolerancia a fallos
Cassandra en SmartPolitech - Marcos Vecino Rosado
Nuestra nube
Sensores
Aplicaciones Otras fuentes
Cámaras IP
API REST
Tornado Web Server
Apache Cassandra
Sistema de información
➔ SmartPolitech
➔ Sistema de información
➔ Resultados experimentales
➔ Trabajos en proceso y futuros
Contenido
Cassandra en SmartPolitech - Marcos Vecino Rosado
Cassandra en SmartPolitech - Marcos Vecino Rosado
Despliegue del cluster➔ 3 nodos de Cassandra
● Nodos virtuales● Debian Wheezy 64 bits● Conexiones 10Gbps● Hot-add RAM/HDD
➔ Opciones de autenticación, autorización, rendimiento y seguridad
➔ OpsCenter + Scripts (mantenimiento y backup)
Resultados experimentales
Cassandra en SmartPolitech - Marcos Vecino Rosado
Prueba de rendimiento
Resultados experimentales
➔ 3 millones de escrituras➔ Escribiendo en 2 nodos y Factor Replicación = 3➔ Tiempo total: 8 minutos y 27 segundos➔ Máquinas de 32 bit y limitadas en RAM (2GB)
Cassandra en SmartPolitech - Marcos Vecino Rosado
Conexión dispositivos a Cassandra
Resultados experimentales
SWAP
NUBE
SWAP
Cassandra en SmartPolitech - Marcos Vecino Rosado
Conexión dispositivos a Cassandra
Resultados experimentales
➔ Modificación de Lagarto-Max➔ Nuestro cluster como ser servicio
en la nube➔ Driver Python DB-API-2.0➔ Funcionando en las Raspberry Pi
Cassandra en SmartPolitech - Marcos Vecino Rosado
Conexión dispositivos a Cassandra
Resultados experimentales
SWAP
DriverPython
Apache Cassandra
SWAP
Cassandra en SmartPolitech - Marcos Vecino Rosado
Conexión dispositivos a Cassandra
Resultados experimentales
Apache Cassandra
HTTP
Driver Python
DataStax
Tornado Web ServerAPI REST
...
HTTP
➔ SmartPolitech
➔ Sistema de información
➔ Resultados experimentales
➔ Trabajos futuros y en proceso
Contenido
Cassandra en SmartPolitech - Marcos Vecino Rosado
Cassandra en SmartPolitech - Marcos Vecino Rosado
Trabajos futuros y en proceso
➔ Data mining (Spark)➔ Modificación de Emoncms➔ Continuación sensorización (actuadores)➔ Incorporación del trabajo de distintos TFG/PFC➔ TIERRA➔ Etc.
Cassandra en SmartPolitech - Marcos Vecino Rosado
Modificación Emoncms (emoncms.org)
Resultados experimentales
Cassandra en SmartPolitech - Marcos Vecino Rosado
Gracias por la atención¿Preguntas?
Esta obra está bajo una licencia Creative Comons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional