Self-Generated Neural Tree: Automating Neural Structure Construction

1. Aprendizagem de Máquina“Learning a Neural Tree” Paulo Amorim - prfa

2. Roteiro • Introdução • Proposta • Descrição do Projeto • Algoritmo de Construção – SGNT • Aperfeiçoamento: • Otimização; • Poda; • Resultados • Resoluções • Trabalhos Futuros...

3. Introdução • Treinamento pelo ajuste dos pesos das conexões . • Estrutura para satisfazer a aprendizagem. • Desvantajoso. • Redes que apenas resolvem problemas específicos.

4. Proposta • Construção automática de uma estrutura neural através de dados de treinamento. • Algoritmo SGNT (Self-Generated Neural Tree). • Estrutura de rede, membros dos neurônios, conexões entre eles e seus pesos são atualizados.

5. Descrição do Projeto • Instância (vetor de atributos, com mesmo peso) • Nó da árvore representa um neurônio: • poder de resposta; • peso associado; • um vetor contendo os neurônios “filhos”; • instância associada; • Neurônio “vencedor” (Distância Euclidiana).

6. SGNT (1/2) • Neurônios, gerados automaticamente a partir das instâncias de treinamento. • Entradas: • limiar θ; • dados carregados do conjunto de treinamento; • Descrição do Algoritmo: • Definição da raiz; • Para cada elemento, distância mínima, neurônio “vencedor”;

7. SGNT (2/2) • Menor distância comparada ao limiar. • Caso seja maior: • um novo neurônio filho, representando o mesmo, caso seja folha; • um novo filho, representando o dado de entrada; • Atualização dos pesos dos neurônios da árvore. • Neurônio-folha, corresponde a um ou mais exemplos de treinamento.

8. Aperfeiçoamento (1/3) • Otimização: • Vertically Well Placed (VWP): • Distância entre o peso de um neurônio aos antecessores tem que ser crescente; • Se não: • colocado numa camada acima, como “filho” do neurônio “pai-antecessor” como o qual ele possui menor distância; • neurônio “pai-anterior” terá seu peso e poder de decisão atualizados;

9. Aperfeiçoamento (2/3) • Horizontally Well Placed (HWP): • Distância do neurônio “pai” a um de seus neurônios filhos tem que ser menor ou igual, que a diferença entre “irmãos”. • Se não: • Movido uma camada abaixo, como “filho” do “irmão” mais próximo. • Novo filho é adicionado como cópia do mesmo de forma a não perder a informação. • O peso e poder de decisão desse neurônio é atualizado.

10. Aperfeiçoamento (3/3) • Poda (Prunning): • Realização repetitiva do treinamento e eliminação dos “galhos mortos”. • Uma sub-árvore é um “galho morto” se o número de exemplos alcançados pela raiz não aumentar a cada repetição do processo. • Não-implementado.

11. Resultados • Lenses - UCI Machine Learning Repository: • K-nn, com k = 1: 87,5% de acertos • K-nn, com k = 3: 62,5% de acertos • K-nn, com k = 5: 62,5% de acertos • Árvore sem otimização: 87,5% de acertos. • Árvore com otimização: 73,4375% de acertos. (?)

12. Resoluções • Compreensão média. • Exemplos simples, problemas mais complexos poderiam ser apresentados. • Pouca (quase nenhuma) ênfase ao processo de busca.

13. Trabalhos Futuros... • Vários pontos: • realização da poda; • tamanho máximo ótimo da árvore; • adaptação para utilização de dados compostos: • categóricos; • reais;