workshop pratico ddj - bari

OPEN DATA ______IN ACTION!_______

Workshop pratico DDJ su dati OpenCoesione

Bari 27 ott 2013

WORKFLOW DDJ

TROVARE E PRENDERE I DATI

SISTEMARE E PULIRE I DATI ANALIZZARE I DATI

SINTETIZZARE E RAPPRESENTARE

I DATI RACCONTARE UNA STORIA

INFRASTRUTTURE PUGLIA1. esploriamo i soggetti attuatori per capire

chi le sta costruendo e quali tipologie di progetti sono stati finanziati

2. facciamo una veloce analisi territoriale

3. scopriamo e monitoriamo i dieci progetti più grossi

TROVARE E PRENDERE I

DATI

INFRASTRUTTURE PUGLIA1) esploriamo i soggetti attuatori per capire chi le sta costruendo

❏ pulizia delle anagrafiche❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti

SISTEMARE E PULIRE I DATI

OPEN REFINE❏ non è excel un foglio di calcolo

❏ Estrae

❏ Pulisce

❏ Sistema

❏ Esporta

CODIFICA ERRATA

IL SEPARATORE È “;”

SE VOGLIO CAMBIO IL

NOME DA QUI

DA QUI LA CORREGGO

DAL CAMPO “ALL” CONTROLLO TUTTI I

CAMPI E POSSO ANCHE METTERE UN

PO’ D’ORDINE

DI TANTE RIGHE NE VEDO POCHE… MA NON IMPORTA

QUESTO È UN “TEXT FACET”. GRAZIE A QUESTA

FUNZIONALITÀ POSSO FILTRARE, MODIFICARE E

ESPLORARE IL DATASET IN MANIERA MAI VISTA!

QUESTI CAMPI NON MI SERVONO E DA QUI LI POSSO CANCELLARE

DA CAMPO ALL -> RE-ORDER / REMOVE COLUMNS CON UN

SEMPLICE DRAG&DROP

POSSO ORDINARE I CAMPI COME VOGLIO IN MODO DA TENERE

NEI PRIMI POSTI QUELLI CHE MI

INTERESSANO DI PIÙ

INFRASTRUTTURE PUGLIA1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati

❏ pulizia delle anagraficheIL CAMPO CHE CI INTERESSA È “SOGGETTI

ATTUATORI”DOBBIAMO ESPLORARLO E CAPIRE SE SI

PUÒ TIRAR FUORI QUALCHE INFORMAZIONE SINTETICA ED EFFICACE

PER ATTIVARE UN FACET CLICCO SUL MENU DEL CAMPO “SOGGETTI_ATTUATORI”

E SELEZIONO TEXT FACET, ADATTO AI CAMPI DI TESTO

AHI AHI! SON TANTISSIMI! 513 VALORI DIVERSI...COME FARE?

CLUSTERIZZO!

IL CLUSTER DI UN FACET È UNA FUNZIONE CHE PERMETTE DI RAGGRUPPARE INSIEMI DI VALORI CHE PUR AVENDO LO STESSO SIGNIFICATO ED ESSENDO SIMILI SI PRESENTANO IN MODALITÀ

DIFFERENTI

QUI MODIFICO L’ALGORITMO E

CAMBIA IL METODO DI RICERCA DEI

VALORI SIMILI

INFRASTRUTTURE PUGLIA1. esploriamo i soggetti attuatori per capire chi le sta costruendo

❏ pulizia delle anagrafiche

LA CLUSTERIZZAZIONE IN QUESTO CASO È INEFFICACE, OCCORRE TROVARE NUOVE

INFORMAZIONI SUGLI ATTUATORI CHE INTEGRINO QUELLE CHE GIÀ ABBIAMO

MERGE TRA DUE DATASET

PROGETTI SOGGETTI

CON REFINE POSSO APRIRE PIÙ PROGETTI CONTEMPORANEAMENTE

CREO UN NUOVO PROGETTO SEGUENDO LA SOLITA PROCEDURA.

STAVOLTA APRO IL FILE DEI SOGGETTI

QUESTO È IL CAMPO CHE MI SERVE!(campodaprendere)

OPS! PROBLEMI DI CODIFICA CHE REFINE NON È RIUSCITO A RISOLVERE

IN FASE DI IMPORTAZIONE

QUESTO È IL CAMPO CHE I DUE DATASET HANNO IN COMUNE. È LA

CHIAVE CHE CI PERMETTE DI UNIRLI IN MODO CORRETTO

(campochiave)

TORNO AL DATASET INIZIALE “progetti_infrastrutture”

ORA PER FARE UN MERGE TRA I DUE DATASET DEVO PORTARMI SULLA COLONNA CHE HANNO IN

COMUNE “COD_LOCALE_PROGETTO” E DAL MENU ANDARE SU EDIT

COLUMN -> ADD COLUMN BASED ON THIS COLUMN E…..

ORA MI TOCCA USARE DEL

CODICE. REFINE NON RIESCE A

COMPIERE TUTTE LE SUE FUNZIONI DA INTERFACCIA GRAFICA, PER

CUI SI AVVALE DI UN CODICE

INFORMATICO SEMPLIFICATO IL

“GREL”

CAMPO PER INSERIRE L’

ESPRESSIONE

ANTEPRIMA

INSERISCO IL NOME DELLA

NUOVA COLONNA

UTILIZZO LA FUNZIONE “cell.

cross”

FUNZIONE GREL PER MERGE

cell.cross("nomedataset", "campochiave").cells["campodaprendere"].value[0]

(basta semplicemente sostituire i grasseti )

ECCOLO QUI

ATTIVANDO UN TEXT FACET SUL NUOVO CAMPO NOTIAMO COME ESSO RIESCA A

INTERLACCIARSI CON 3 TIPI DI SOGGETTI PER CATEGORIA ATECO. BUONA PARTE DI ESSI PERÒ NON VENGONO TROVATI E ABBIAMO

CELLE BIANCHE (blank)

GLI ERRORI DI CODIFICA PER ORA NON CI DANNO FASTIDIO

POSSIAMO MODIFICARE TUTTI I VALORI DELLE CELLE CORRISPONDENTI ALLE CATEGORIE,

SEMPLICEMENTE MODIFICANDO IL TESTO DEL FACET. BASTA CLICCARE “EDIT” CHE APPARE A

FIANCO DEL “COICHE”.

ORA ABBIAMO SEMPLIFICATO TUTTE LE CATEGORIE. DOBBIAMO SCOPRIRE A QUALI CATEGPRIE APPARTENGONO LE 872 CELLE

BIANCHE

SE CLICCLIAMO SU UNA CATEGORIA IL FACET FUNGE DA FILTRO E SELEZIONA SOLO LE CELLE

CORRISPONDENTI ALLA CHOICE ILLUMINATA

IL FACET È UNO STRUMENTO POTENTISSIMO PERCHÈ POSSIAMO AGGIUNGERNE PER OGNI CAMPO PERMETTENDOCI DI FARE UN FILTRO GERARCHICO ED ESTREMAMENTE DINAMICO

IN QUESTO CASO AGGUNGO UN TEXT FACET AL CAMPO SOGGETTI ATTUATORI. LE CATEGORIE SI RIFERISCONO A QUELLA SELEZIONATA NEL FACET PRECEDENTE! QUINDI POSSO CAPIRE

QUALI CATEGORIE DI SOGGETTI ATTUATORI CI SONO IN BASE ALLE CELLE BIANCHE DELLE

TIPOLOGIA SOGGETTI

POSSO AGGIUNGERE TANTI FACET COME DETTO PRIMA, MA SPESSO È UTILE AGGIUNGERE

ANCHE UN SEMPLICE FILTRO DI TESTO. PER FARLO BASTA SELEZIONARLO DAL MENU DEL

CAMPO, IN QUESTO CASO SEMPRE SOGGETTI_ATTUATORI.

INSERENDO “comune” TROVO TUTTI I SOGGETTI CHE SONO UN COMUNE E CHE APPARTENGONO ALLE CELLE BIANCHE DEL CAMPO TIPOLOGIA

SOGGETTI

GUARDANDO IL PRIMO FACET CAPISCO CHE QUESTO PROCESSO MI HA FATTO INDIVIDUARE

BEN 515 CELLE BIANCHE NEL CAMPO TIPOLOGIA SOGGETTI. ESSENDO DEI COMUNI LI

VOGLIO INTEGRARE NELLA CATEGORIA amministrazione. PER FARLO BASTA

MODIFICARE LA CATEGORIA (blank) CHE IN QUESTO MOMENTO RIGUARDA SOLO ED

ESCLUSIVAMENTE LE CELLE CORRISPONDENTI AI SOGGETTI ATTUATORI CHE CONTENGONO LA

PAROLA “comune”.

CONTINUANDO A LAVORARE TRA FACET E FILTRI OTTENGO FINALMENTE DELLE

CATEGORIE CHE IDENTIFICANO I SOGGETTI ATTUATORI

1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati

❏ pulizia delle anagrafiche❏ somma di euro per per tipologia di attuatori❏ conteggio di progetti

INFRASTRUTTURE PUGLIA

PER ANALIZZARE I DATI OCCORRE ANCORA QUALCHE RITOCCO

IL NUMERO È MEMORIZZATO COME TESTO

RISOLVIAMO DA QUI (SEMPRE

GREL)

SOSTITUISCO LA VIRGOLA CON IL PUNTO (DANNATI

INGLESI)

FUNZIONE GREL PER SOSTITUIRE

value.replace("caratteredatogliere","caratteredamettere")

(basta semplicemente sostituire i grasseti )

CONVERTO IN NUMERO

POSSO DECIDERE QUALI CAMPI

ESPORTARE, E IN QUALE ORDINE

CON IL CUSTOM TABUALR EXPORTER POSSO AVERE TANTE

OPZIONI PER L’ESPORTAZIONE

ANALIZZARE I DATI

LIBREOFFICE CALC

❏ è un foglio di calcolo ma non è excel

❏ è open source

❏ è open data friendly

❏ gestisce meglio i csv

PER OTTENERE UN DELLE TABELLE

RIASSUNTIVE DAL MIO DATASET, USO LA

FUNZIONE TABELLA PIVOT.

PRIMA SELEZIONO I CAMPI CHE MI

INTERESSANO E POI CLICCO SU CREA

SPOSTANDO I CAMPI CON UN DRA&DROP SULLE DIVERSE

PARTI DELLA PIVOT CREO LA MIA TABELLA

OTTENGO COSÌ UNA TABELLA A DOPPIA ENTRATA DOVE INCROCIO

IL TEMA SINTETICO DPS CON I SOGGETTI DIVISI PER TIPOLOGIA

FACENDO DOPPIO CLIC SU UN CAMPO DENTRO IL “CAMPO DATI”

POSSO DECIDERE IN BASE A QUALE FUNZIONE OTTENERE I DATI DELLA

TABELLA

ED ECCO LA TABELLA CON IL

NUMERO DI PROGETTI E NON LA SOMMA DEL LORO

VALORE

PER AVERE VALORI PIÙ SIGNIFICATIVI

POSSO DECIDERE DI VISUALIZZARE LA

TABELLA IN %

INFRASTRUTTURE PUGLIA❏ esploriamo i soggetti attuatori per capire


❏ facciamo una veloce analisi territoriale

❏ scopriamo e monitoriamo i dieci progetti più grossi

DAL CAMPO TERRITORI, NOTO CHE PIÙ TERRITORI SONO

CONCATENATI IN UN UNICO CAMPO, SEPARATI DA “:::”

POSSO SEPARARE LE CELLE DAL COMANDO SPLIT MULTI-VALUED CELLS CHE TROVO IN

EDIT CELLS

SCELGO IL SEPARATORE CHE COME DETTO È “:::”

CON LA FUNZIONE SPLIT HO CREATO NUOVE RIGHE IN

BASE AL CAMPO TERRITORI. LE RIGHE SONO PERÒ VUOTE IN TUTTI GLI ALTRI CAMPI, MA DALLA FUNZIONE FILL DOWN

POSSO PORRE RIMEDIO

IN SEGUITO FACCIO UNA ESPORAZIONE IN LIBREOFFICE SELEZIONANDO I CAMPI CHE MI SERVONO COL CUSTO TABLUAR

EXORTER

SE FACCIO UNA PIVOT POSSO CONTARE I PROGETTI PER

TERRITORIO E TIPOLOGIA DEI SOGGETTI ATTUATORI

INFRASTRUTTURE PUGLIA❏ esploriamo i soggetti attuatori per capire


❏ facciamo una veloce analisi territoriale

❏ scopriamo e monitoriamo i dieci progetti più grossi

DEVO RIPRISTINARE IL DATASET A PRIMA DELLO SPLITTAMENTO CHE MI HA AGGIUNTO RIGHE CHE NON MI SERVONO IN QUESTO CASO E CHE ANZI RENDONO

PIÙ DIFFICOLTOSA L’ANALISI

PER FARLO USO UNDO/REDO

PER SELEZIONARE IL RANGE DEGLI IMPORTI DEI

PROGETTI FINANZIATI INSERISCO NEL CAMPO

FIN_TOTALE_PROGETTO UN NUMERIC FACET

SPOSTANDO GLI ESTREMI DELLA BARRA POSSO

SELEZIONARE IL RANGE DESIDERATO

SINTETIZZARE E

RAPPRESENTAREI DATI

http://cf.datawrapper.de/uVSEe/4/



RACCONTARE UNA STORIA

[email protected]

Grazie a tutti!

@andria_tzedda

workshop pratico ddj - bari

Technology