scala @ real life

Scala Programming @ Madrid

Scala @ Real Life

Madrid

Junio 2014


¿Quiénes somos?

• Javier Santos– Ing. Téc. Informática– Máster en Sist.

Telemáticos.

• David Vallejo– Ing. Téc. Informática– Ing. Telecomunicaciones.


¿Qué contamos?

• Experiencia personal (Scala + allá de los tutoriales)– Trayectoria con Scala

• Habla Computing

• Tecsisa– ¿Cloud? ¿BigData?

– Arquitectura, subsistemas

– Herramientas de desarrollo

– Conclusiones


¿Qué es ?

• Características– Lenguaje funcional– Orientado a objetos– Herencia múltiple– Tipado estático– Notación infija– Funciones de orden superior– Opera con la JVM

• Documentación, comunidad, foros, cursos, …


Trayectoria con Scala

• Habla Computing– Speech (DSL embebido en Scala)

• Arquitectura– SBT sin documentación (Integración continua)– Sist. Reactivo (Monádico,Sin Akka)– Serialización, Persistencia, actualización de entidades … ¡Home

made!

• Aplicaciones– Evolución constante del lenguaje = refactorización de apps

constante.– Pintxapp, BigBrothapp, Twitter, Trac, …


Trayectoria con Scala

• Tecsisa– Sistemas orientados a la nube

– Problemas de big data

– Sistema «T» para operadoras móviles.

– Motivación: • Importación de tarifas móviles públicas

• Cálculo de precios con distintas tarifas

• Facturación


¿Qué es el Cloud Computing?

• Tendencia de on-Prem software a SaaS.

• Consumo en base al uso

• Escalabilidad.

• Transparente al usuario.

• Distribuido

• Tendencia a que la aplicación cliente sea el browser


¿Y el Big Data?

• Sistemas que manejan grandes volumenes de datos

• De TBs a PBs• Principales problemas que aborda

– Obtención– Búsquedas/Analyticis– Visualización

• Ejemplos: Genética, Meteorología.


Arquitectura general

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


Canal de eventos: Apache Kafka

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


Canal de eventos: Apache Kafka

• No sigue estándares: AMQP, STOMP, …

• Origen: Linkedin

• Performance: 100-500k mensajes/segundo

• Semántica operacional– Basado en journal/log.

– Clusterizable. Brokers/particiones

– Grupos de usuarios: lectura At-most-once.


Canal de eventos: Wrapper Akka para Kafka

• Cliente Java síncrono

• Simular asíncronía mediante Comettechnique: Long polling.

• Idea: crear conectores para los subsistemas Akka de manera que se conecten al canal de eventos a través de mecanismos asíncronos.


Subsistema – Calculador

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


Subsistema – Calculador:Concepto

Datos

Datos

Tarifas

Llamadas

Facturas


Subsistema – Calculador:Apache Spark

• MapReduce.• Dos funciones:

– Distribución de datos– Analytics de los mismos

• Mayor rapidez que Hadoop (no es necesario usar HDFS para los cálculos). Serialización en memoria

• RDDs (Resilient Distributed DataSet’s)– Parallelize, fromCassandra– DSL Calliope (Cassandra)– Operaciones map, flatMap, reduce, …

• Paralelizar cálculos: ¿Cómo? → Envío al worker node de la operación serializada


Subsistema – Calculador:Apache Spark. Ejemplo


Subsistema – Persistencia

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


Subsistema – Persistencia:Concepto

• Grandes volúmenes de datos

• BBDD relacionales no escalan (Mantenimiento de integridad referencial).

• BBDD NoSQL: Pocas tablas, gran volumen de registros

• MongoDB, Cassandra.


Subsistema – Persistencia:Wrapper Akka & cliente Datastax


Subsistema – Ingestión de datos

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


Subsistema – Ingestión de datos:Concepto

IngestiónDatos

WebServices

FTPAPI

(ManualUpload)


Subsistema – Ingestión de datos:Integración con WS. ESB’s

• Obtención de datos vía servicios web• Opción 1: Construir los XML's a mano y gestionar manualmente las

peticiones HTTP.• Opción 2: Usar herramientas de integración para arquitecturas

complejas.• ESBs (Enterprise Service Bus) - Orquestación, enrutamiento,

...(ServiceMix, Mule, Camel, ...)• Usamos:

– Camel (rutas, endpoint, processors, ...)– Cxf: Framework OpenSource de servicios. Generación de clases java

anotadas con JAXB.


Subsistema – Ingestión de datos:Akka Camel


Subsistema: API REST

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


APIs REST con SPRAY

• Comunicación con el exterior• Capas de integración.• Akka-HTTP• Módulos principales:

– Spray-can– Spray-http– Spray-routing– Spray-json


Funcionamiento interno de Spray

Su arquitectura se basa en actores.


Creando rutas con Spray


Testeando que es gerundio

Spray test-kit:


Subsistema: Datos Maestros

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros


In-memory Data Grid

Motivaciones:

• Datos maestros comunes

• Caché de una BD

Solución:

• Hazelcast


¿Qué es Hazelcast?

• Estructuras en memoria distribuida

• Cambios dinámicos

• Open source

• Clustering

• Scalable

• Map Stores


Infraestructura

OPENSTACK

BOSH

CLOUD FOUNDRY

SCALA APP

SERVICE


Cloud Foundry

• Open PaaS

• Permite escalar apps facilmente.

• SSO y OAUTH2

• Buildpack para Java

• Despliegue de servicio:– Servicio

– Broker


Escalando los subsistemas

Canal de eventos

API

IngestiónDatos

Calculador

Persistencia

DatosMaestros

APIAPIAPI

x10

PersistenciaPersistenciaPersistencia

x5


Herramientas de desarrollo

• «Dos» formas de desarrollar:– IDE’s : Eclipse (Scala IDE) , IntelliJ– Editor + SBT– Editor + Scalac (?!)

• Integración continua: Jenkins• Subversion/ Git• Artifactory• Metodologías ágiles: Scrum


Conclusiones


Conclusiones: aprendizaje

• Dos enfoques– Principiantes: sin experiencia extensa en lenguajes como

C++ o Java. ¿Mayor facilidad para cambiar al «chip» funcional?

– Gente del mundo Java: facilidad de adaptarse progresivamente (Uso de var’s, bucles while, …).

• En cualquier caso: «A escribir se aprende leyendo»

• Jugar y consultar la REPL siempre en caso de duda.


Conclusiones: tecnologías

• Tecnologías nuevas

• Poca documentación

• Comunidad escasa

• Escalables y distribuidas

• Posibilidad de clustering


Conclusiones: ámbito laboral

• Para la empresa:– Desarrolladores escasos

– Dificultad para formar a otros desarrolladores

– Miedo al cambio

• Para los programadores:– Poca oferta nacional


Futuro de Scala

• En España:– Crece lentamente

– Portings

– Cloud

• Fuera:– Crece

– Crecerá más con Java 8?


Experiencia personal


Conferencias

scala @ real life

Engineering