reproducibilidade, ciência aberta na prática: notebooks e tudo … · 2019-02-14 · ciência...
TRANSCRIPT
![Page 1: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/1.jpg)
Ciência aberta na prática: Reproducibilidade, notebooks e tudo maisLuiz IrberMichigan State University
![Page 2: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/2.jpg)
![Page 3: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/3.jpg)
Meu primeiro projeto● Efeitos de feromônios em insetos● Software disponível para Windows
○ portar para Linux● Borland C++ Builder/Kylix● Python + GStreamer● Sourceforge!● ~2005-2007
![Page 4: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/4.jpg)
SACAM
SACAMhttps://github.com/luizirber/bugbrother
![Page 5: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/5.jpg)
Python Brasil● Primeira participação: 2007● 2010
○ Recém-formado○ "A gente tem um supercomputador novo e
precisamos de engenheiros, tá a fim?"
![Page 6: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/6.jpg)
Tupã
![Page 7: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/7.jpg)
Modelagem climática
Modelagem climática: processos envolvidoshttps://www2.ucar.edu/sites/default/files/news/2011/CESM_final.jpg
![Page 8: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/8.jpg)
![Page 9: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/9.jpg)
Desenvolvimento●Modelo escrito em Fortran●Equipe
○ quatro integrantes inicialmente○ cresceu para mais de quinze
●Como organizar o processo?
![Page 10: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/10.jpg)
Desenvolvimento●Sistema de controle de versões
○ Mercurial●Redmine●Google docs●Lista de email
![Page 11: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/11.jpg)
Thalassa●Edição da grade oceânica●Python
○ Numpy + Matplotlib + Basemap + PyQt●Windows, OS X, Linux
![Page 12: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/12.jpg)
Um grande designer de UI =P
![Page 13: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/13.jpg)
Integração contínua●Bosun
○ Fabric●Jenkins
○ monitorar o repositório○ disparar os scripts○ monitorar os status dos
builds/runs
![Page 14: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/14.jpg)
Operacionalização● Execução diária● Formatação dos dados
○ Entradas○ Saídas
● Bosun○ Python ~> Bash○ Vários truques novos
![Page 15: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/15.jpg)
●Modelo gera resultados condizentes com a realidade?
●Validação é necessária para disponibilização do modelo
●Análise humana leva muito tempo○ E necessita de uma equipe muito maior
●Testes○ Comparar com medições○ Avaliar numericamente quão bom está
●Como fazer?
Validação do modelo
![Page 16: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/16.jpg)
● Mercado○ Ambiente técnico fantástico, mas...○ Qual o objetivo?
● Academia○ 'level up'○ Muita autorreflexão…○ Seguir na modelagem?
Buscando alternativas
![Page 17: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/17.jpg)
Bioinformática?
![Page 18: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/18.jpg)
Bioinformática?
![Page 19: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/19.jpg)
![Page 20: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/20.jpg)
Bioinformática!● Chicken genome improvement project
○ Regiões não mapeadas■ Microcromossomos
● khmer: HyperLogLog○ estimativa de cardinalidade
● Treinamento○ Software Carpentry○ undergrads○ 'pair support'
![Page 21: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/21.jpg)
(slide: Titus Brown)
![Page 22: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/22.jpg)
(slide: Titus Brown)
![Page 23: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/23.jpg)
![Page 24: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/24.jpg)
(slide: Titus Brown)
![Page 25: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/25.jpg)
http://ged.msu.edu/papers/2012-diginorm/(slide: Fernando Perez)
![Page 26: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/26.jpg)
Better science through superior software
(slide: Titus Brown)
![Page 27: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/27.jpg)
Licença e Makefile!https://github.com/luizirber/galGal
![Page 28: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/28.jpg)
Um notebook por passohttps://github.com/luizirber/galGal
![Page 29: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/29.jpg)
Hmmmm….https://github.com/luizirber/galGal
![Page 30: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/30.jpg)
Visualizando notebookshttps://github.com/luizirber/galGal
![Page 31: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/31.jpg)
Explicações, código e comandoshttps://github.com/luizirber/galGal
![Page 32: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/32.jpg)
Figuras também!https://github.com/luizirber/galGal
![Page 33: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/33.jpg)
(slide: Fernando Perez)
![Page 34: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/34.jpg)
(slide: Fernando Perez)
![Page 35: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/35.jpg)
http://reproducibility.cs.arizona.edu/
"Can a CS student build the software within 30 minutes, including finding and installing any dependent software and libraries, and without bothering the authors?"
Reproducibilidade em Ciência da Computação
![Page 36: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/36.jpg)
Measuring Reproducibility in Computer Systems Researchhttp://reproducibility.cs.arizona.edu/
![Page 37: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/37.jpg)
Measuring Reproducibility in Computer Systems Researchhttp://reproducibility.cs.arizona.edu/
![Page 38: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/38.jpg)
(slide: Fernando Perez)
![Page 39: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/39.jpg)
Open source como exemplohttps://wiki.debian.org/ReproducibleBuilds
"It should be possible to reproduce, byte for byte, every build of every package in Debian."
(quantos anos até o projeto Debian ter estrutura suficiente para isso?)
![Page 40: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/40.jpg)
http://db-reproducibility.seas.harvard.edu/
![Page 41: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/41.jpg)
(slide: Fernando Perez)
![Page 42: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/42.jpg)
Make it work,then make it better● Soluções de baixo atrito
○ Pessoas devem ser capazes de usar!○ e entender!
● Makefile○ Pipeline
● Scripts○ código reusável
● Notebooks○ Análise○ Figuras○ "Amarrar"
![Page 43: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/43.jpg)
Treinamento● Como ensinar pensamento computacional
para cientistas?● Como evitar "push button research"?
![Page 44: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/44.jpg)
Software Carpentry● organização sem fins lucrativos
○ voluntários● ensinar habilidades computacionais básicas
para fazer cientistas mais produtivos e seu trabalho mais confiável a longo prazo
● Workshops curtos (e intensos!)○ organização de programas, controle de versões,
testes e automação de tarefas.
![Page 45: Reproducibilidade, Ciência aberta na prática: notebooks e tudo … · 2019-02-14 · Ciência aberta na prática: Reproducibilidade, notebooks e tudo mais Luiz Irber Michigan State](https://reader036.vdocuments.site/reader036/viewer/2022081612/5f7870fc18f39d6d6b0360dc/html5/thumbnails/45.jpg)
Perguntas?@[email protected]