Kako osigurati transparentnost svihdogađaja u informacijskom sustavu i to u potpunosti besplatno? 18.12.2018., Zagreb, Dubravko Sever

Sadržaj

Telemetrija

Što je upravljanje zapisima?

Koji su zahtjevi kod upravljanja zapisima?

Arhitektura Grayloga 2

Načini instalacije, skaliranje, visoka dostupnost

Mogućnosti Grayloga

Podržani ulazi, procesiranje

Grupiranje, obavještavanje, prava korisnika

Telemetrija

Telemetrija je automatsko prikupljanje mjerenih veličina i drugih podataka,

nakon čega se prenose na udaljeno spremište.

Telemetrija može biti:

Zapis o izvođenju aplikacije

Statistike izvođenja.

Izražena kod arhitekture mikroservisa.

Napomena: Zapisi nastali prilikom razvoja softvera nisu telemetrija.

Što je upravljanje zapisima?

Događaj (engl. Event)

NIST: bilo koja pojava na sustavu koji se razmatra

Događaji uzrokuju niz zapisa

Upravljanje zapisima (engl. Log Management) je niz politika, procesa te

alata namijenjenih generiranju, prijenosu, analizi, skladištenju te

uništavanju velikih količina zapisa o informacijskim sustavima.

Što nije moguće učiniti sa zapisima (engl. log)?

Uprosječivanje

Pretvoriti u trendove

Što je upravljanje zapisima?

Niz zapisa kojima je moguće detektirati anomalije na svim razinama

sustava Hardveru (poslužiteljima i mrežnim uređajima)

Operacijskim sustavima

Aplikacijama

Vrste alata Opća namjena

Specijalizirani (SIEM)

Koji su zahtjevi kod upravljanja zapisima?

Potrebno je čuvati zapise o:

Greškama, upozorenjima

Sigurnosnim događajima.

Funkcionalnosti sustava upravljanja zapisima

Implementacija standardnih protokola

Procesiranje i indeksiranje poruka

Napredno pretraživanje i agregiranje

Prikazivanje i izrada korisničkih prikaza (engl. dashboard)

Segmentacija poruka

Obavještavanje

Jednostavna skalabilnost i visoka dostupnost

Politike retencije i politike samooptimizacije

Mehanizmi samoučenja

Poznata rješenja

Komercijalna

Splunk

Napredne mogućnosti

Strojno učenje i mogućnost integracije s drugim sustavima

500 MB po danu besplatno

VMware log Insight, liceniranje po OS-u ili po CPU

Nije više dostupna besplatna inačica za 25 operacijskih sustava

DataDog

Besplatna

ELK (ElasticSearch, LogStash, Kibana)

Besplatno

Visoka razina prilagodbe i skalabilnosti

Kontrola pristupa i obavještavanje nisu besplatni

Graylog

Arhitektura Grayloga

Komponente Graylog 2

Graylog Server

Ulazne točke (engl. Inputs)

ElasticSearch

Mongodb

REST API

Web sučelje

Instalacija Grayloga

Nekoliko načina instalacije Izvorni kôd

Paketi (Ubuntu, Debian, CentOS, SLES)

Ansible (uz pakete)

Docker instalacija

Docker uz alat docker-comose

Potrebno je odabrati metodu s obzirom na zahtjeve i skalabilnost.

Skaliranje i visoka dostupnost

Visoko skalabilan i visoko dostupan

sustav:

Implementacija novih

čvorova indeksiranja

Implementacija dodatnih

čvorova procesiranja

Implementacija MongoDB

replika

Mogućnosti Grayloga

Napredne mogućnosti:

Interpretacija primljenih poruka

Manipuliranje ulazima

Pretraživanje

Kreiranje korisničkih pregleda

Grupiranje poruka

Segregacija poruka po korisnicima i grupama

Obavještavanje

API pristup

LDAP integracija.

Nedostaje:

Izvještavanje (Graylog 3)

Veća dinamika prikaza

Jednostavnije definiranje obavijesti.

Ulazi i procesiranje

Podržani ulazi

Syslog (UDP/TCP)

GELF (Graylog Extended Log Format)

Kafka

RabbitMQ

HEROKU

PainText (TCP/UDP)

AWS

NETFlow

Kolektori

Beats

NxLog

Podržani TLS sigurni prijenosi.

Procesiranje poruka

Automatska (inteligentna) i definirana manipulacija ulaznim porukama

Grok uzorci

Regularni izrazi

JSON

Lookup tablice

Pretprocesiranje, transformacija i odbacivanje

Korištenjem DROLS pravila

Korištenjem Kafke (transformacije, odbacivanja i zadržavanja poruka)

Preporuka: Izdvojiti samo potrebne dijelove poruke i sačuvati izvornu

poruku.

DEMO: Primjer manipulacije GROK izrazima.

Grupiranje

Grupiranje poruka postiže se implementacijom grupa (engl. streams).

Grupiranjem se postiže:

Razdvajanje poruka po indeksima

Dijeljenje poruka prema vrstama ulaza

Osnova za delegiranje prava

Mogućnost implementacije politike rotiranja zapisa.

Preporuka: Ukloniti poruke iz preddefiniranog indeksa (engl. Default index set).

DEMO: Primjer grupiranja.

Obavještavanje

Obavještavanje

Email porukama

HTTP Alarm Callback

Ovisno o definiranom stanju

Agregiranih vrijednosti

Sadržaja polja

Broj primljenih poruka

Kreiranje obavijesti nije dovoljno intuitivno

Moguće automatizirati putem API-a (nedostaju grupe)

DEMO: Primjer izrade obavijesti

Korisnički ekrani (engl. Dashboards)

Skromnije od Kibane, korisnik nema mogućnost kreiranja korisničkog

ekrana

Dodjeljuju se prema ulogama (engl. roles)

Brzo generiranje ekrana pomoću upita

DEMO: Primjer izrade korisničkog ekrana.

Prava korisnika

Mogući načini integracije korisnika

LDAP/AD

Lokalna baza

Korisnici su vezani za uloge (engl. roles).

Uloge se povezuju sa:

grupama (engl. streams)

korisničkim ekranima (engl. dashboards).

Komercijalna verzija i verzija u najavi

Komercijalna verzija

Besplatna, do 5 GB dnevnog unosa

Mogućnost napredne revizije

Raspoređivanje indeksa prema brzini pristupa

Verzija u najavi

Mogućnost izrade izvještaja

Dorađene vizualizacije

Preporuke

Dobro planirati količine resursa prilikom instalacije

Planirati razdoblja brisanja poruka

Razdijeliti poruke samo na potrebna polja

Pridijeliti korisnike grupama (engl. stream)

Dodatna preporuka iz korisničke perspektive: https://bit.ly/2J6Bxnp

Srce politikom otvorenog pristupa široj javnosti

osigurava dostupnost i korištenje svih rezultata rada

Srca, a prvenstveno obrazovnih i stručnih informacija

i sadržaja nastalih djelovanjem i radom Srca.

Ovo djelo je dano na korištenje pod licencom

Creative Commons Imenovanje-Nekomercijalno

4.0 međunarodna.

www.srce.unizg.hr creativecommons.org/licenses/by-nc/4.0/deed.hr www.srce.unizg.hr/otvoreni-pristup

Q & A

Zahvaljujem na pažnji

Za dodatna pitanja:

Dubravko.Sever@Pan-Net.eu