1 / 33

Introdução Motivação Fundamentação Teórica Sistemas Multiagentes Musicais Agente Musical

Introdução Motivação Fundamentação Teórica Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Decisões Composicionais Metodologia Técnica e Perspectiva Artística Raciocínio do Agente. Decisões Computacionais Perfil do Usuário Definição dos Aplicativos

tariq
Download Presentation

Introdução Motivação Fundamentação Teórica Sistemas Multiagentes Musicais Agente Musical

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Introdução • Motivação • Fundamentação Teórica • Sistemas Multiagentes Musicais • Agente Musical • Raciocínio e Vida Artificial • Decisões Composicionais • Metodologia Técnica e Perspectiva Artística • Raciocínio do Agente • Decisões Computacionais • Perfil do Usuário • Definição dos Aplicativos • Formulação de novos Raciocínios • Implementações • EARScript • Integração com ISO • Gerador de Material Eletroacústico • Espacialização com Avatares • Piano Preparado • Conclusões • Conclusões Parciais • Trabalhos Futuros • Cronograma

  2. Introdução Fundamentação Teórica Decisões Composicionais Motivação • Decisões Computacionais Implementações Conclusões Introdução

  3. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Introdução Motivação O computador na composição • Cálculo pré-composicional • Produção de material sonoro Composição Algorítmica • Controle de textura, harmonicidade e densidade de acontecimentos Novos paradigmas • Interatividade • Vida Artificial • Sistemas Multiagentes Musicais

  4. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Introdução Motivação Valor estético questionável Perspectiva multidisciplinar • Whalley 2005 Surgimento de novas Ferramentas • Ensemble • ISO Importância da Perspectiva interna • Raciocínios

  5. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Motivação Motivação Relevância dos Sistemas Multiagentes para o problema composicional • “Espaços de busca” • Divisão de funções • Adaptação em tempo real Facilitar a criação de sistemas Multiagentes musicais • Alternativas acessíveis e direcionadas Necessidade de aprofundamento nas novas Ferramentas • Ensemble • ISO Validação com iniciativas de expressão artística Utilização de Áudio Espacialidade Integração entre plataformas

  6. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Sistemas Multiagentes Musicais Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Agentes Computacionais • Autonomia, Habilidade Social, Reatividade, Pro - atividade Características dos Sistemas Multiagentes • Interconexão e interoperação de vários sistemas • Interface cooperativa homem-máquina mais natural Aplicabilidade no Contexto musical • Paradigmas diferentes de representação musical e sonora • Interatividade e cooperação entre um usuário e o sistema Ambiente Virtual • Representação Física • Representação Ecológica

  7. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Agente Musical Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Um agente computacional especializado em processar informações musicais e sonoras.

  8. Introdução Fundamentação Teórica Decisões Composicionais • Decisões Computacionais Implementações Conclusões Raciocínio e Vida Artificial Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Raciocínio • Mecanismo interno do agente • Utiliza informação dos sensores e da base de conhecimento • Processos de análise e síntese. Vida artificial • Simulação de alguns aspectos biológicos • Capacidade de interação social • Mapeamento musical e sonoro • Comportamentos extra-musicais • Reprodução e sobrevivência • Abordagem Cultural

  9. Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Decisões Composicionais

  10. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Metodologia Técnica e Perspectiva Artística Metodologia Técnica e Perspectiva Artística Raciocínio do Agente

  11. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Raciocínio do Agente Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Decisões no Raciocínio • Comportamentos Musicais e sonoros • Movimentação • Vida Artificial

  12. Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Decisões Computacionais

  13. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Perfil do Usuário Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Pouco interesse nas ferramentas existentes por parte de compositores e cientistas(Whalley 2009) Tipos de Usuários • Interessados na computação musical com conhecimento técnico • Compositores e artistas de outras disciplinas Não podemos supor que os usuários possuem conhecimentos avançados de programação. Importância de aproveitar e melhorar as interfaces e atalhos.

  14. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Arquitetura Ensemble Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios

  15. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Interface Externas Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Integração de bibliotecas externas • LibXtract - Extração de características do som • Aubio - Processamento de sinais Open SoundControl(OSC) • Troca de Mensagens • Pure Data, CSound, LogicPro, Max/MSP, SuperCollider, Ardour, ISO Direcionamento a Interfaces de áudio • JavaSound • PortAudio • Jack

  16. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões VST - Virtual Studio Technology Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Interface desenvolvida pela Steinberg (1996) Vantagens • Reutilização • SDK em várias linguagens (C++, Java, Delphi, .NET) Tipos de VST • Plugins • Instrumentos Virtuais (VSTi) • Efeitos MIDI • Sintetizadores

  17. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões XML de Inicialização Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Ambiente Servidores de Eventos <ENVIRONMENT_AGENT_CLASS NAME="ENVIRONMENT“ CLASS="ensemble.EnvironmentAgent"> <WORLD CLASS="ensemble.world.World"> <ARG NAME="dimensions" VALUE="3" /> <ARG NAME="structure" VALUE="continuous" /> <ARG NAME="form" VALUE="cube:100:loop" /> <LAW CLASS="ensemble.movement.MovementLaw"> <ARG NAME="friction_coefficient" VALUE="0.0" /> <ARG NAME="gravity" VALUE="10" /> </LAW> </WORLD> <EVENT_SERVER CLASS="ensemble.audio.AudioEventServer" COMM="ensemble.comm.direct.CommDirect" PERIOD="40 10 30 100"> <ARG NAME="MASTER_GAIN" VALUE="10.0" /> <ARG NAME="SAMPLE_RATE" VALUE="44100" /> <ARG NAME="SPEED_SOUND" VALUE="343.3" /> <ARG NAME="INTERPOLATION_MODE" VALUE="POLYNOMIAL" /> <ARG NAME="NUMBER_POINTS" VALUE="4" /> </EVENT_SERVER> <EVENT_SERVER CLASS="ensemble.movement.MovementEventServer" COMM="ensemble.comm.direct.CommDirect" PERIOD="50 0" />

  18. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões XML de Inicialização Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Definição do tipo de Agente Instâncias de Agentes <MUSICAL_AGENT_CLASS NAME="MUSICIAN" CLASS="ensemble.MusicalAgent"> <COMPONENTS> <REASONING NAME="MicInputReasoning" CLASS="ensemble.audio.jack.JACKInputReasoning" /> <ACTUATOR NAME="Mouth" CLASS="ensemble.Actuator" EVENT_TYPE="AUDIO" COMM="ensemble.comm.direct.CommDirect" /> <ACTUATOR NAME="Legs" CLASS="ensemble.Actuator" EVENT_TYPE="MOVEMENT" COMM="ensemble.comm.direct.CommDirect" /> <SENSOR NAME="Eyes" CLASS="ensemble.Sensor" EVENT_TYPE="MOVEMENT" COMM="ensemble.comm.direct.CommDirect" /> </COMPONENTS></MUSICAL_AGENT_CLASS> <MUSICAL_AGENT NAME="Voice" CLASS="MUSICIAN"> <ARG NAME="POSITION" VALUE="(1;3;0)" /> <ARG_COMP COMP="MicInputReasoning" NAME="mapping" VALUE="Mouth-system:capture_1" /> </MUSICAL_AGENT>

  19. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Formulação de Novos Raciocínios Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Uso de Java • Comunicação via comandos • Coordenação de raciocínios (Memória Sonora, Estados)

  20. EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Implementações

  21. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões EARScript Motivação • Reduzir as tarefas de programação do usuário • Tomar o XML de inicialização como referência STEP (Scripting Technology for Embodied Persona) • Conveniência • Semântica composta • Redefinição • Parametrização • Interação EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  22. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões EARScript - Estrutura da Linguagem Variáveis do Mundo virtual Definições de Servidores de eventos Variáveis do Servidor de Eventos Definições de parâmetros EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  23. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões EARScript Definições de Ações Básicas Definições de ações compostas Scripts EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  24. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Integração com ISO (InteractiveSwarmOrchestra) Inspirado no fenômeno biológico dos enxames API modular • Ênfase na movimentação • Representação Visual Integração via OSC Envio e recepção de posições • Simulações no Ensemble • Ambientes representados no ISO EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  25. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Gerador de Material Eletroacústico Objetivos • Explorar modos de criação sonora, texturas sonoras • Composição algorítmica e vida artificial • Aplicar transformações e efeitos Elementos do agente gerador • Tipo de processamento sonoro • Envoltória • Tipo de movimentação • Perfil de agente • Ações EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  26. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Espacialização de uma agrupação musical Interesse performático Entradas de áudio externas, com processamentos internos Controle de parâmetros em tempo real Espacialização EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  27. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Piano Preparado Projeto Mobile, com a compositora Michelle Agnes Piano como um multiplicador de timbres e ruídos (Cage) Características • Experimentação sem demoradas preparações • Vida Artificial • Agentes abafadores e outros Cauda virtual: • Divisão do mundo virtual por frequências Pitchtracking • Aubio • VST EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado

  28. Conclusões Parciais Trabalhos Futuros Cronograma Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Conclusões

  29. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Conclusões Parciais Necessidade de criar vínculos com artistas e usuários (Manuais, Expansões, GUI, Colaborações) Manter contatos iniciados com músicos • Piano preparado • Improvisação Importância do suporte a bibliotecas de áudio • Portabilidade • Compatibilidade Limitações da plataforma Java e do Arcabouço Relevância e desafios do EARScript Conclusões Parciais Trabalhos Futuros Cronograma

  30. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Trabalhos Futuros Desenvolvimento do EARScript no Ensemble Bibliotecas de Raciocínios em Java Processamentos em VST, mapeados e acessíveis Documentação mais abrangente e focada Experiências com Games, Instalações e outros formatos Estudo do InteractiveSwarmOrchestra Conclusões Parciais Trabalhos Futuros Cronograma

  31. Introdução Fundamentação Teórica • Decisões Composicionais • Decisões Computacionais Implementações Conclusões Cronograma Conclusões Parciais Trabalhos Futuros Cronograma

  32. Obrigado

More Related