Download - Learning Sets of Rules Tom Mitchel (cap. 10)
Learning Sets of Rules
Tom Mitchel (cap. 10)
Victor Cisneiros (vcac)Sergio Sette (sss3)Pablo Viana (pabv)
Learning Sets of Rules Objetivo: Estudar algoritmos capazes de
aprender hipóteses como um conjunto de regras IF-THEN Ao contrário de outros métodos de aprendizagem
como Redes Neurais por exemplo, regras no formato IF-THEN podem ser facilmente entendidas por pessoas humanas.
As regras aprendidas são expressões da lógica proposicional e da lógica de primeira-ordem
Motivação Em 1995 um sistema PROGOL conseguiu aprender
a seguinte regra a partir de vários dados de proteínas: Fold(FOUR-HELICAL-UP-AND-DOWN-BUNDLE, p) ←
Helix(p,h1) Λ Length(h1,HIGH) Λ Position(p,h1,n) Λ (1≤n≤3) Λ Adjacent(p,h1,h2) Λ Helix(p,h2)
Essa regra pode ser traduzida para o inglês como: The protein P has a fold class “Four helical up and down
bundle” if it contains a long helix h1 at a secondary structure position between 1 and 3 and h1 is next to a second helix.
Motivação Essa facilidade de compreensão das
regras torna esse método bastante atrativo para o uso em experimentos científicos
Biólogos poderiam por exemplo, estudar e criticar a tradução em inglês da hipótese mostrada no slide anterior
Como aprender um conjunto de regras?
Uma maneira seria utilizar uma árvore de decisão Uma regra para cada folha:
IF (Outlook = Sunny) Λ (Humidity = High) THEN PlayTennis = NO
IF (Outlook = Sunny) Λ (Humidity = Normal) THEN PlayTennis = YES
IF (Outlook = Overcast) THEN PlayTennis = YES
... etc
Outros Algoritmos Podem aprender regras na forma de
cláusulas de Horn de primeira-ordem Ao contrário da árvore que aprende apenas
regras proposicionais Mais expressivo, permitem expressar variáveis
e relacionamentos entre elas Aprendem as regras uma de cada vez,
iterando o processo até o final (Sequential Covering) Árvores aprendem todo o conjunto de regras de
uma só vez
Considere a seguinte base de dados
Attributes
Target Attribute(O que se
deseja aprender)
Sequential Covering Suponha função LEARN-ONE-RULE
Entrada: Um conjunto de exemplos de treinamento positivos e negativos
Saída: Uma regra que cobre vários dos exemplos positivos e nenhum ou poucos negativos (A regra deve ter uma boa taxa de acerto mas não necessariamente precisa englobar muitos exemplos)
Sequential Covering Dada essa função LEARN-ONE-RULE, um jeito
óbvio de aprender um conjunto de regras seria: 1. Invocar LEARN-ONE-RULE sobre todos os
exemplos 2. Remover todos os exemplos positivos cobertos
pela regra aprendida 3. Invocar LEARN-ONE-RULE novamente sobre os
exemplos restantes 4. Repetir o processo até atingir a fração
desejada de exemplos positivos cobertos pelas regras
Sequential Covering
Como implementar LEARN-ONE-RULE? Organizar o espaço de busca da mesma
forma que o algoritmo ID3 de árvores de decisão
Começar com uma regra geral e ir adicionando os testes de atributos que mais melhoram a perfomance da regra
Ao contrário do algorítmo ID3, essa implementação só segue um único ramo da árvore
Como implementar LEARN-ONE-RULE?
Como implementar LEARN-ONE-RULE? O algoritmo sugerido anteriormente
realiza uma busca em profundidade gulosa sem backtracking
Como toda busca gulosa, corre o risco de encontrar uma solução não ótima. Para minimizar isso pode se utilizar uma beam-search (a cada passo manter os K melhores candidatos) Esse é o algoritmo CN2
First-Order Logic Os algoritmos apresentados até agora só
são capazes de aprender conjuntos de regras da lógica proposicional
Veremos a seguir, o algoritmo FOIL, capaz de aprender regras da lógica de primeira ordem, que são mais expressivas pois podem conter variáveis e são capazes de expressar relacionamentos entre elas
First-Order Logic Constantes: Lula, ACM, unicórnio, 10 Variáveis: x, y Predicados: Corrupto, Maior_Que
Assumem valores True ou False como resultado
Funções: idade Assumem qualquer constante como resultado
First-Order Logic (Expressões)
Termo: Qualquer constante, variável ou qualquer função aplicada a um termo Ex: Lula, x, idade(Lula)
Literal: Qualquer predicado aplicado a um termo, ou sua negação Ex: Corrupto(ACM), ¬Maior_Que(idade(Lula), 60)
Cláusula: Qualquer disjunção de literais ... Cláusula de Horn: Uma cláusula contendo no
máximo 1 literal positivo Ex: H V ¬L1 V ... ¬Ln equivalente à H ← (L1 Λ ... Λ Ln) ou
IF L1 Λ ... Λ Ln THEN H
FOIL Algoritmo para aprendizagem de regras de
primeira ordem (cláusulas de Horn) Segue a mesma idéia dos já vistos
SEQUENTIAL-COVERING e LEARN-ONE-RULE
FOIL
Ex: Suponha que queiramos aprender a definição do predicado Grandfather(x, y) Divide-se os dados em exemplos positivos e negativos: Positivos: { George, Anne } { Phillip, Peter } ... Negativos: { George, Elizabeth } { Harry, Zarra } ...
FOIL (Ilustração Simples) O algoritmo FOIL constrói um conjunto de cláusulas, cada
uma com Grandfather(x, y) como “head” → Grandfather(x, y)
Essa cláusula classifica todos os exemplos como positivos então é necessário especializá-la (adicionando liteirais). 3 adições em potencial: Father(x, y) → Grandfather(x, y) Parent(x, z) → Grandfather(x, y) Father(x, z) → Grandfather(x, y)
O 1º classifca errado todos os 12 exemplos positivos, o 2º e 3º aceitam todos positivos mas erram alguns negativos, como o 3º erra menos escolhe-se ele Father(x, z) Λ Parent(z, y) → Grandfather(x, y)
Como essa cláusula classifica corretamente todos os exemplos, o algoritmo FOIL irá escolhê-lo
FOIL
FOIL – Especializando uma regra Seja a regra atual P(x1,x2,...,xk) L1 Λ ... Ln
L1 ... Ln são literais compondo as atuais condições e P(x1,x2,...,xk) o predicado que se deseja aprender. O FOIL irá gerar os seguintes candidatos:
Q(v1 ... vr) onde Q é qualquer predicado ocorrendo nos exemplos e v1 ... vr são quaisquer variáveis presentes na regra ou novas variáveis (no mínimo um vi deve pertencer a regra atual)
Equal(vj,vk) onde vj e vk são variáveis já presentes na regra A negação de um dos literais acima
FOIL – Especializando uma regra Exemplo:
regra atual = GrandDaughter(x,y) Father(y,z) predicados = Father e Female Os candidatos serão a adição dos seguintes
literais à regra atual: Equal(x,y), Female(x), Female(y), Father(x,y),
Father(y,x) Father(x,z), Father(z,x), Father(y,z), Father(z,y) e a negação destes literais
FOIL – Especializando uma regra Como escolher o candidato mais promissor?
Aquele que classifica o maior número de exemplos positivos e o menor número de exemplos negativos
Foil_Gain
p0 = número de exemplos positivos da regra atual n0 = número de exemplos negativos da regra atual p1 = número de exemplos positivos da regra
especializada n1 = número de exemplos negativos da regra
especializada
Indução como o inverso da dedução Uma abordagem diferente para a
programação em lógica indutiva é baseada na observação de que a indução nada mais é que o inverso da dedução.
Indução como o inverso da dedução
Invertendo o método da resolução Método da Resolução:
Dada duas cláusulas C1 e C2, encontre a literal L de C1 tal que ¬L ocorre em C2.
Forme uma cláusula derivada C, incluindo os literais de C1 e C2, exceto L e ¬L.
C = (C1 – {L}) U (C2 – {¬L})
Resolução inversa: Dada duas cláusulas C1 e C, encontre a literal L que
ocorre em C1, mas não aparece em C.
Forme a segunda cláusula C2, incluindo as literais:
C2 = (C - (C1 - {L})) U {¬L}
Invertendo o método da resolução
Resolução – First-Order Case A diferença principal entre a resolução no caso
proposicional e no de primeira-ordem é o processo de unificar substituições.
Uma substituição é qualquer mapeamento de variáveis a termos.
Na lógica de predicados para executar a resolução procuramos por uma literal L1 em C1, de modo que exista uma unificação de substituições entre ela e a negação de uma literal, ¬L2, em C2.
Resolução Inversa – First-Order Case Podemos derivar da fórmula da resolução,
por manipulação algébrica, considerando
Resolução Inversa – First-Order Case
Referências Tom Mitchell. Machine Learning.
McGraw-Hill. 1997. Stuart Russel, Peter Norvig. Artificial
Intelligence: A Modern Approach. Second Edition. Prentice Hall. 2002.