twc logd: a portal for linking government data

1

TWC LOGDA Portal for Linking Open

Government Data

Alvaro Gravesgravea3@rpi.edu - @alvarograves

Tetherless World ConstellationRensselaer Polytechnic Institute, NY USA

2

Agenda

• Historia

• Conversión de datos

• Linkeo de datos

• Publicación

• Conclusiones

3

Un poco de historia…

• Enero 2009: Memorandum “Transparency and Open Government”

• Febrero 2009: TBL – “Raw Data Now”

• Mayo 2009: http://data.gov

• Junio 2009: Tetherless World’s Data-Gov

• Septiembre 2009: http://data.australia.gov.au

• Noviembre 2009: http://data.govt.nz

• Enero 2010: http://data.gov.uk

4

Data.gov

• Repositorio central de datos de gobierno

• Prioridad: publicar datos

• Formatos diferentes (¡a veces dispares!)

• De 40 a 300K+ datasets en 1 año

5

Proyecto Data-gov(futuro LOGD)

• No vamos a esperar que el gobierno publique en RDF

• Proceso “bottom-up”

• Proceso “quick and dirty”– Conversión rápida– Creación de demos

6

Agenda

• Historia

• Conversión de datos

• Linkeo de datos

• Publicación

• Conclusiones

7

Conversión inicial

• Herramientas “quick and dirty”

• Para cada tabla (CSV):– Cada fila es un recurso– Cada columna es un predicado– Cada valor es un literal

8

Conversión básica

Nombre Apellido Nacionalidad

Alvaro Graves Chile

John Smith USA

9

Demos: Datos de gob. + otras fuentes

• Decenas de demos

• Países– Ayuda Internacional USA vs. UK– Criminalidad USA vs. UK

• Instituciones– Crimen en Troy, NY– Presupuesto versus NYTimes

• Usuarios– Niveles de Ozono (anotaciones de

usuarios)

10

Nace LOGD

• No sólo Data.gov - Otras fuentes también

• ¿Cómo mejoramos la calidad de los datos?

• ¿Qué pasa si un dataset es actualizado?

• ¿Cómo representar la procedencia (provenance) de los datos?

11

Conversión mejorada(e iterativa)

Estado Ciudad Población

New York Troy 50.312

12

Agenda

• Historia

• Conversión de datos

• Linkeo de datos

• Publicación

• Conclusiones

13

Linking data

• 2 tipos de links– Hacia LOD– Entre datasets (ej. “New York State”)

• Estrategias– Conversión semiautomática– Fuzzy matching (heurística)

13

14

Agenda

• Historia

• Conversión de datos

• Linkeo de datos

• Publicación

• Conclusiones

15

Drupal

• Versión “custom” que se adapta a

nuestras necesidades (RDFa, SPARQL,

módulos varios)

• Plataforma de publicación, difusión y

educación sobre Open Government Data

• Difusión a traves de Facebook (Open

Graph Protocol) 15

16

http://logd.tw.rpi.edu

• Información sobre datasets

• Demos

• Tutorials

• Videos

• Publicaciones

16

17

Publicación de datos

– Datasets:

• Descargables

• Disponibles en triple store (algunos)

– Metadata

• Disponible en Triple Store

• RDFa en Drupal

17

18

Agenda

• Historia

• Conversión de datos

• Linkeo de datos

• Publicación

• Conclusiones

19

LOGD• El proveedor más grande del mundo de Linked

Data– 8.500+ millones de triples

– Sobre 7K+ links a Linked Data cloud

• Socio importante del gobierno de USA– http://data.gov/semantic

– Mash-a-thon

• Fuente educacional para gobierno, ciudadanos.

• No sólo data.gov sino datos de gobierno en gral.

• Finalista en Semantic Web Challenge 2010

19

2020

Datasets

21

Demos

21

22

Demo: Crimen USA/UK

22

23

Demo:Políticas de tabaco

23

24

Tutorial: LOGD & jQuery

24

25

Tutorial: Mixing LOGD

25

26

http://logd.tw.rpi.edu

gravea3@rpi.edu

26