sp big data meetup - conhecendo apache cassandra @movile
Post on 22-Jan-2018
815 Views
Preview:
TRANSCRIPT
Eiti KimuraCoordenador de TI na Movile
- Apache Cassandra MVP 2015
- Apache Cassandra MVP 2014
- Contribuidor Apache Cassandra
- Certificação Apache Cassandra Desenvolvedor 1.1
Palestrante no Cassandra Summit 2015 (Santa Clara - CA)
http://www.slideshare.net/eitikimura/cassandra-summit-2015-a-change-of-seasons
Palestrante no Cassandra Summit 2014 (San Francisco - CA)
https://www.youtube.com/watch?v=igmLnluGcDM
C*
Características Distribuído e
Descentralizado
Escalabilidade Elástica
Alta disp. Tolerante a
Falhas
Consist. "Tunável"
Orientado a Colunas
Alto Desempenho
Escalabilidade Linear
http://techblog.netflix.com/2011/11/benchmarking-cassandra-scalability-on.html
1. A operação pode ocorrer em qualquer nó
2. O coordenador executa a operação em diferentes nós e zonas
3. Coordenador retorna o ACK para o cliente
4. Cliente pode escolher o nível de consistência da operação
RF = 3
Casos de Uso Típicos
Playlists e Coleções de dados Spotify
Sistema de Recomendação e Personalização
Mensageria
Detecção de Fraude
Catálogos Multi-idiomas
Processamento de Dados de sensores
Um pouco sobre como usamos na Movile
- Controle de assinaturas de usuários
- Controle de regras de tarifação
- Registro de eventos de usuários em apps
- Sistema de Matcher de mensagens
- E mais...
Vantagens da Nova Solução
- problemas de desempenho: resolvido
- problemas de disponibilidade: resolvido
- aumento significante da capacidade de
leitura e escrita
Lições Aprendidas: O que deu errado
- Converter diretamente o modelo de dados relacional
- Usar ferramenta como Cache
- Executar junção do lado do cliente (anti-pattern: client-
side join)
- Recriar uma tabela com o mesmo nome (Column
Family Reincarnation)
- Adicionar vários nós paralelamente usando vnodes
Lições Aprendidas: Boas práticas
- Conheça os recursos de modelagem e remodele
- Evite o uso de Coleções (evitar tombstones)
- Faça prova de conceito com o modelo de dados
- Faça testes de carga sobre o modelo e número de nós
- Execute as rotinas de manuteção corretamente (repair)
- Monitore o desempenho do cluster regularmente (JMX)
- Use os drivers oficiais da Datastax
Links de Referência
https://issues.apache.org/jira/browse/cassandra
http://cassandra.apache.org/
http://www.planetcassandra.org/apache-cassandra-mailing-lists/
User/Developer List
Jira Issues
Download
Cassandra 3.0 is out!
http://www.slideshare.net/JonHaddad/cassandra-30-awesomeness
top related