1 / 22

ANÁLISE DISCRIMINANTE

ANÁLISE DISCRIMINANTE. LIG, 18 de novembro de 2008. Exemplo para gerar amostras de treinamento e de validação: predição, estimação do valor esperado da taxa de erro real.

jewell
Download Presentation

ANÁLISE DISCRIMINANTE

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. ANÁLISE DISCRIMINANTE LIG, 18 de novembro de 2008

  2. Exemplo para gerar amostras de treinamento e de validação: predição, estimação do valor esperado da taxa de erro real • Voltemos aos dados trabalhados na aula anterior, gerados de duas normais bivariadas com covariâncias desiguais. São 100 observações, sendo 50 de cada população “A” ou “B”. • Nesse primeiro caso, vamos selecionar uma amostra de tamanho 80 dessas sem observações para gerar a regra de classificação e, depois, • Vamos validá-la com a amostra restante, que será a amostra de validação.

  3. Comandos • tr=sample(1:100,80) • Esse comando faz com que tr receba 80 índices escolhidos de forma aleatória entre os índices de 1 a 100 (sem repetição). • Faça então: • train=dadoq[tr,] e test=dadoq[-tr,] • Esses comandos fazem com quetrainreceba os dados da basedadoqcorrespondentes aos índices emtr e que testreceba o os dados da basedadoqcomplementares aos índices emtr.

  4. Classificação • fit=qda(train[1:2,],train$grupo) • pred=predict(fit,test[1:2,]) • table(test$grupo,pred$class) Nesse caso temos uma estimativa da taxa de erro dada por 11/40=27,5%

  5. Classificação em uma de várias populações • Suponha agora que cada observação pode se proveniente de uma e somente uma de g populações: • Sejam

  6. Classificação em uma de várias populações • Nesse caso, a probabilidade de classificar uma observação de i em j, pji, é dada por: • Portanto, o custo esperado de classificação incorreta de uma • observação de 1 é dado por:

  7. Classificação em uma de várias populações • De modo análogo, os custos esperados condicionais as demais populações são dados por: • Como i é a probabilidade de incidência a priori de que uma • observação seja proveniente de i segue que o custo esperado • de classificação incorreta é dado por:

  8. Classificação em uma de várias populações • A determinação de um procedimento de classificação ótimo leva em conta a escolha das regiões de classificação, R1, R2, ..., Rg, mutuamente exclusivas e exaustivas tal que o custo esperado de classificação incorreta seja minimizado. RESULTADO: As regiões de classificação Ri , i=1,2,...,g, que minimizam o custo esperado de classificação incorreta (CECI) são dadas por:

  9. Classificação em uma de várias populações • Em outras palavras, dada uma nova observação x, calcula-se para cada i=1,2,...,g: A observação x será designada à população r tal que c(r,x)=min{c(1,x), c(2,x),...,c(g,x)}.

  10. Classificação em uma de várias populações • Suponha que todos os custos de classificação incorreta sejam iguais a 1. Nesse caso, uma nova observação será alocada à população r , r=1,2,...,g se Observe que o mínimo será atingido quando o termo rfr(x) for um máximo. Conseqüentemente, quando os custos de classificação incorreta são iguais, A regra do CECI mínimo apresenta a seguinte forma, mais simples,

  11. Comentários • É interessante observar que a regra obtida aqui é equivalente à regra obtida pela maximização da probabilidade a posteriori de classificação obtida anteriormente para o caso de duas populações. • No contexto de várias populações temos:

  12. Probabilidade a posteriori de classificação incorreta no caso de duas populações (revisitando) Podemos também alocar uma nova observação x0 à população com maior probabilidade de incidência a posteriori P(i|x0) em que

  13. Regra do CECI mínimo • Observe que a regra obtida tem três componentes: • probabilidades de incidência a priori; • custos de classificação incorreta; • funções de densidade. • Essas quantidades devem ser especificadas (ou estimadas) para poder implementar a regra.

  14. Exemplo • Suponha um caso simples no qual g=3, 1=0,05, 2=0,60 e 3=0,35, com a seguinte tabela de custos de classificação incorreta: Suponha também que os valores das respectivas densidade para a nova observação x0são f1(x0)=0,01; f2(x0)=0,85 e f3(x0)=2,0.

  15. Exemplo (continuação) • Nesse caso, os valores de c(r,x0), r=1,2,3 são: • 325,0 • 35,055 • 102,025 • Como o menor valor ocorre para r=2, alocamos x0 à 2. • Se todos os custos de classificação incorreta fossem iguais, os valores de rfr(x0), r=1,2,3 são: • 0,0005 • 0,510 • 0,700 • Portanto, nesse caso, alocaríamos x0à 3.

  16. Exemplo (continuação) • Equivalentemente, calculando as probabilidades de classificação a posteriori temos: • P(1|x0)=0,0004 • P(2|x0)=0,421 • P(3|x0)=0,578 • Ou seja, no caso de custos de classificação incorreta iguais, x0 é alocado na população cuja probabilidade de classificação a posteriori é maior, como foi verificado anteriormente.

  17. Classificação em populações normais • Suponha agora que as g populações sejam normais p-variadas com vetores de média μiematrizes de covariância i, i=1,2,...g. • Nesse caso, supondo custos de classificação incorreta iguais, a regra de classificação pode ser escrita como: • Na prática, os vetores de média e matrizes de covariância são • desconhecidos e devem ser estimados.

  18. Classificação em populações normais • A estimativa do escore quadrático de discriminação é dada por: Desse modo a regra estimada para populações normais com covariâncias desiguais é alocar x à população r se Uma simplificação possível se dá no caso em que Σ1=Σ2=...=Σg= Σ.

  19. Classificação em populações normais • Nesse caso, o escore discriminante torna-se: • Observe que os dois primeiros termos são comuns a qualquer • população e, conseqüentemente, podem ser ignorados para • propósitos de alocação. • Os termos restantes consistem de uma constante e uma combinação linear das componentes de x.

  20. Classificação em populações normais • Nesse caso, podemos definir o escore discriminante Uma estimativa do escore acima é acima é baseada na Estimativa combinada de Σ dada por:

  21. Classificação em populações normais Desse modo a regra estimada para populações normais com covariâncias iguais é alocar x à população r se

  22. Exemplo no R • Use a base de dados CRABS e construa um fator de quatro níveis correspondendo a interação de espécie e gênero para usar como atributo de classificação.

More Related