Computação distribuída do Algoritmo Genético Compacto usando Web Services

1. Computação distribuída do Algoritmo Genético Compacto usando Web Services Samuel Viana, nº 18778 Licenciatura em Informática – Ramo Tecnológico Orientador: prof. Fernando Lobo

2. “Road-Map” • Web Services • Algoritmo Genético Compacto (cGA) • cGA usando Web Services • Resultados • Conclusão e Trabalho Futuro

5. Web Services - Motivação • Arquitecturas diversas • Necessidade em integrar serviços • Necessária linguagem comum que permita a interoperabilidade

6. Web Services - Definição • Forma de integrar e trocar e informação entre sistemas concebidas sob plataformas diferentes, usando um formato de texto conhecido por XML.

7. Vantagens • Acessíveis a partir de qualquer parte da Internet • Atravessam firewall’s e proxy’s • Independentes da plataforma • Baseados em XML • Interacção entre aplicações sem intervenção humana • Diminuem complexidade e custos ligados à integração

8. Web Services (Arquitectura)

9. Suporte para Web Services • Necessidade de um formato de transmissão de informação que permita: • Propagá-la facilmente • Criar uma estrutura que facilite o acesso ao item desejado • Vantagens da estrutura: • Validação • Reutilização • Normalização

12. HEAD HTML BODY XML • XML -> “eXtended MarkUp Language” • Linguagem composta por anotações (Mark-Up) • Orientada para o conteúdo • Ideal para acesso rápido • Legível para humanos • Define estrutura em árvore

13. XML • Características principais: • Extensível • Estruturada • Validação • Meta-Linguagem • Gramática definida por DTD ou XML Schemas

14. Web Services <receita> <ingredientes> <ingrediente> farinha em pó </ingrediente> <ingrediente> 0,5 litros leite </ingrediente> <ingrediente> 2 ovos </ingrediente> </ingredientes> </receita> Exemplo de um documento XML

15. XML Schemas <schema xmlns="http://www.w3.org/2001/XMLSchema> <element name="receita"> <complexType> <sequence> <element ref="ingredientes" maxOccurs="1" /> </sequence> </complexType> </element> <element name="ingredientes"> <complexType> <sequence> <element ref="ingrediente" maxOccurs="unbounded" /> </sequence> </complexType> </element> <element name="ingrediente" type="string" /> </schema>

16. WSDL • WSDL -> “Web Services Definition Language” • Baseado em XML • Define interface de acesso • Cada linguagem de programação deve transpô-lo para código nativo

17. WSDL

18. SOAP SOAP -> Simple Object Access Protocol • Protocolo baseado em XML • Define o formato das mensagens • Qualquer protocolo da camada de aplicação, mas geralmente usa HTTP • Elemento Raíz é <ENVELOPE> • Envelope divide-se em cabeçalho e corpo

19. SOAP Exemplo de uma mensagem SOAP

20. SOAP Mensagem SOAP (sentido request)

21. SOAP Mensagem SOAP (sentido response)

22. Algoritmos Genéticos • Orientado para problemas de pesquisa e optimização • Resolvem numa escala de tempo muito inferior • Um cromossoma: composto por genes • Genes assumem valor 0 ou 1 • População representa todas as soluções actualmente disponíveis um cromossoma de 10 bit’s representa uma potencial solução 1011100010

23. Algoritmos Genéticos • Função de Fitness mede a qualidade da solução • Indivíduos comparáveis graças ao fitness • Selecção para cruzar os melhores indivíduos • Nova geração terá um fitness médio mais elevado • Deste modo, ao fim de n gerações a convergência será atingida

24. Algoritmos Genéticos • Operadores de Selecção: • Roleta • Torneio

25. 10 5 6 1 0 Algoritmo Genético Compacto A população é substituída por um vector de probabilidades, também conhecido por vector população.

26. Algoritmo Genético Compacto (cGA) • É inicializado um vector com todas as posições a 0,5 • São gerados s indivíduos a partir do vector, sendo s a pressão de selecção • É calculado o fitness de cada indivíduo • É efecutado um torneio entre os s indivíduos, sendo vencedor o indivíduo de melhor fitness • O vector é actualizado através da comparação bit a bit entre vencedor e vencido. • Verifica-se se o vector convergiu, caso contrário, volta-se ao passo 2

27. 1 1 0 1 0 0 0 0 1 1 0 0 1 1 1 1 1 1 Exemplo do cGA Problema One-Max (contar o número de uns) Selecção por torneio 3 4

28. 1 1 0 1 0 0 Exemplo do cGA Actualização do vector população 0 1 0 1 1 1 0.5 1.0 0.0 0.7 0.2 0.5

29. 1 1 0 1 0 0 Exemplo do cGA Actualização do vector população 0 1 0 1 1 1 0.4 1.0 0.0 0.7 0.3 0.6

30. Computação Distribuída • Aproveita-se os ciclos de CPUs desocupados • Conectividade global da Internet permite a difusão • O seu somatório permite ter o mesmo efeito de um supercomputador • O SETI@home ajudou a popularizar o modelo

31. cGA distribuído • O vector é uma representação compacta de uma população • Única desvantagem: o comprimento do vector • Facilmente distribuído pela Internet

32. Arquitecutra Worker/Manager • Foi proposta (Lobo,2005) uma arquitectura que explora esta possibilidade • Existem dois tipos de entidades: workere manager • Um Manager – gera o vector população • Múltiplos Worker s– processam o vector

33. manager worker Worker/Manager

34. manager worker Worker/Manager

35. manager worker Worker/Manager

36. manager worker worker worker worker worker Worker/Manager ...

37. worker worker worker worker worker Worker/Manager manager X X ...

38. Worker/Manager • Vantagens: • Custos de sincronização baixos • Tolerância a falhas • Escalabilidade

39. Aplicação • Função de teste utilizada (10 trap’s concatenadas totalizando um total de 30 bits) • Problema complicado de resolver para o cGA (Harik, Goldberg, Lobo, 1999), sendo necessário um efectivo populacional enorme o representa o número de uns

40. Simulação em série • Não é usada uma rede real • Manager e workers correm na mesma máquina • Série tem mesmos efeitos que em paralelo • Um manager • P workers, que trabalham à mesma velocidade e arrancam ao mesmo tempo

41. Simulação em série • Condições da experiência • Efectivo populacional N=100 000 • Indivíduos representados por cromossomas de 30 bits • Pressão de selecção 8 • Selecção por torneio • Função de 10 trap’s sobre 3 bits com deceive-to-optimal ratio 0,7 • Combinações de P em {1,2,4,8,16,32,64,128,256,512,1024} com m em {8,80,800,8000,80000}. • Cada combinação diferente foi executada 30 vezes

42. Simulação em série Número de cálculos de cada worker

43. Simulação em série Total de contactos por processador worker

44. Simulação em série Análise dos resultados • Valores elevados de m diminuem o número de comunicações, enquanto valores baixos o aumentam • Redução quase linear entre P e o total de cálculos necessários para atingir a convergência (não se verifica para m= 8000 e m=80000). • Contactos reduzem-se com m • Contactos inversamente proporcionais a P

45. cGA distribuído por Web Services • Meios utilizados: • Java 5 • Servidor de Java Server Pages Apache Tomcat • Apache Axis

46. A escolha da Java • Orientada a objectos • Simplicidade, experiência e à vontade • Interoperabilidade dos WS pode ser melhor explorada por uma linguagem multi-plataforma • Por ser imediatamente portável, as potencialidades de uma nova plataforma são exploradas de imediato • Suporta threads nativamente

47. Modificações à proposta original • Não foi possível concretizar as ideias originais do projecto: • Falta de tempo • Objectivos ambiciosos • Falta de recursos humanos e logísticos

48. Modificações à proposta original • Como alternativa: • Substituir um processador worker individual por uma thread

49. O que são threads ? • Tradicionalmente, o CPU está ocupado apenas por uma tarefa

50. O que são threads ? • Com threads, repartimos a actividade do CPU em várias tarefas simultaneamente • Deste modo, é como se tivéssemos vários CPUs num