testes generativos

@[email protected] de Software @nubankbrasil

Testes generativos

Motivação

“Nu Minimal Keynote Template” © Nu Bank - 05.01.2014 2

Testes automatizados.

Testes automatizados


• Garantir regressão rapidamente.

• Garantir que o que está “entrando novo” funciona.



• Testes unitários (lógica) • Testes de integração dentro de um

serviço (BD, Kafka, etc). • Testes e2e (Integração entre os

serviços)


Disclaimer

Código Clojure nos próximos slides.

Testes baseados em exemplos


(= a b)

Testes baseados em exemplos


(= [5 2 1] (reverse [1 2 5]) (= [1 2 3 4 5] (reverse [5 4 3 2 1])

(= [5] (reverse [5]) (= [] (reverse [])

(= ["c" "b" "a"] (reverse ["a" "b" "c"]))



Nossos testes estão limitados a nossa imaginação.



Como podemos melhorar os nossos testes?


color blank

Testes generativos


Testes generativos

Pensar em propriedades


O que são propriedades?

“Constraints" e “invariantes" que são verdade *sempre*.


Um pouco mais formal…

“Property-based testing encourages a high level approach to testing in the form of abstract invariants functions should satisfy universally, with the actual test data generated for the programmer by the testing library. In this way code can be hammered with thousands of tests that would be infeasible to write by hand, often uncovering subtle corner cases that wouldn’t be found otherwise.”

Real World Haskell by Bryan O’Sullivan, Don Stewart & John Goerzen


Testes generativos

(prop/for-all [a (gen/vector gen/any) [b (gen/vector gen/any)] (= (count (concat a b)) (+ (count a) (count b))))]


Testes generativos

(tc/quick-check 1000 my-property) ;; => {:result true ;; :num-tests 1000 ;; :seed 1395119077}


color blank

Será que acha bugs mesmo?


Testes generativos

(-> #{} (conj 109) (conj -110) transient (disj! -110) persistent! (conj -110)


Testes generativos

(def transient-property (prop/for-all [a (gen/vector gen-action)] (= (apply-actions #{} a) (apply-actions #{} (filter-transients a)))))


Testes generativos

(tc/quick-check 100000 transient-property)


Fail…

{:result false, :failing-size 92, :num-tests 2893, :fail "...", :shrunk {:total-nodes-visited 440 :depth 83 :result false :smallest "..."}}


Generators

(prop/for-all [a (gen/vector gen/any) b (gen/vector gen/any)] (= (count (concat a b)) (+ (count a) (count b))))

Generators


Generators

any any-printable boolean byte bytes char char-alpha-numeric char-ascii hash-map int keyword

list map nat neg-int pos-int ratio s-neg-int s-posint string string-alpha-numeric string-ascii tuple

vector


Generators

podemos criar os nossos próprios geradores.


Generators

(prop/for-all [p (gen/vector gen/purchases)] (= (:total-value (close-bill p)) (sum-purchases p)))

Fluxo de trabalho com testes generativos


Sempre que o teste generativo encontrar um bug, escrever um teste unitário com o exemplo que falhou.

Fluxo de trabalho com testes generativos


Durante o desenvolvimento deixar o número de testes alto, e diminuir quando fizer o “merge" no “master".

Testes generativos


• Onde estamos usando no Nubank: • Sistema de contabilidade interno. • Criação de números de cartão de

crédito. • Integração com terceiros via

protocolos de baixo nível.

Ferramentas


Clojure -> https://github.com/clojure/test.check

Scala -> http://www.scalatest.org/user_guide/property_based_testing

Java -> https://github.com/pholser/junit-quickcheck

Haskell -> https://hackage.haskell.org/package/QuickCheck

…provavelmente tem framework para outras linguagens também.

…de qualquer forma, os seus testes não precisam usar a mesma linguagem da sua aplicação.

https://github.com/clojure/test.check

http://www.scalatest.org/user_guide/property_based_testing

https://github.com/pholser/junit-quickcheck

https://hackage.haskell.org/package/QuickCheck

Conclusão


Testes generativos são complementares aos seus testes baseados em exemplos, e ajudam a melhorar a confiabilidade dos seus testes.

full page photo


Obrigado!

testes generativos

Technology