Desenvolvimento de sistemas interativos

Sub-Coordenação: Prof. Dr. Marcelo Queiroz
Trata-se do estudo, projeto e construção de sistemas de criação e performance musical baseados em processos interativos. A natureza desses sistemas pode ser de 3 tipos:

  1. Computacional: baseada em sistemas e algoritmos implementados na forma de software ou no desenvolvimento de aplicativos baseados em ambientes de programação já existentes (Max/MSP/Jitter; PD; EyesWeb e outros). Esses sistemas deverão funcionar como ferramenta para produção sonora e musical.
  2. Eletrônica: ligada ao desenvolvimento ou utilização de hardware específico em projetos musicais interativos. Pretende-se desenvolver pequenos dispositivos eletrônicos como controladores gestuais, sensores e transdutores de informação física e transmissores sem fio de informação captada por sensores. Além disso, serão criadas interfaces para gerenciamento de distribuição de áudio (espacialização).
  3. Conceitual: sistemas lógicos ou algoritmos que podem servir para a condução de procedimentos de criação musical colaborativa. Esses sistemas podem ser implementados na forma de programas computacionais ou utilizados como fórmulas auxiliares de composição e performance.

Um grupo de pesquisadores envolvidos no projeto estará diretamente envolvido com a criação e desenvolvimento de sistemas interativos de auxílio à composição e performance. O esforço inicial estará centrado na criação de bibliotecas de funções computacionais a partir das quais montaremos pequenos módulos interativos. Esses módulos funcionam como ferramentas de composição e performance. As bibliotecas serão construídas principalmente (mas não exclusivamente) em ambientes de programação destinados a operação em tempo real: Max/MSP/Jitter, PD e EyesWeb. Esses ambientes vêm sendo largamente utilizados por vários componentes do grupo de pesquisadores envolvidos com este projeto.

Ao mesmo tempo estaremos estudando sistemas de controle interativo que serão alimentados com a biblioteca de funções descrita acima. Basicamente esses sistemas consistem de interfaces controladoras e elementos de captura de informação gestual (sensores, câmeras, etc). A maior parte desses sistemas existem comercialmente e serão adquiridos para o projeto. Entretanto, estaremos dando atenção ao desenvolvimento de hardware específicos para as funções que se fizerem necessárias. A plataforma a ser utilizada para esse desenvolvimento deverá ser o Arduino1, uma plataforma eletrônica de prototipagem de código aberto, facilmente “customizável” e que tem sido utilizada amplamente por artistas em função de sua flexibilidade, baixo custo e facilidade de montagem. Essa plataforma pode estabelecer comunicação de maneira transparente com os ambientes computacionais que estaremos utilizando (Max/MSP/Jitter, PD e EyesWeb, Flash), facilitando a conexão entre os níveis de soft e hardware.

Será montada uma Sala de Projeção sonora, um espaço acusticamente controlado destinado à escuta musical de repertório eletroacústico e experimental. Esta sala será instalada onde atualmente funciona a Sala de Tecnologia Musical no Departamento de Música da ECA/USP. Trata-se de uma sala de 25m2 precedida de uma antecâmara. A sala é isolada acusticamente e possui infra-estrutura de áudio e informática instaladas. Para a criação da Sala de Projeção Sonora será feito um projeto de complementação de tratamento acústico com a utilização do software AcMus e implementado um sistema de sonorização em 8 canais que permitirá múltiplas configurações de espacialização de áudio.
Finalmente, a partir desses dois níveis será configurado um sistema a que chamaremos de MOBILE, um ambiente para criação e performance cujas principais características serão:

  • mobilidade: o sistema deve ser portável para situações diferentes de modo a poder ser instalado em um teatro, num ambiente de exposição, ou em espaços abertos, conforme a necessidade;
  • configurabilidade: o sistema deve ser modular para que possa ser adaptado para cada tipo de criação ou performance artística. Desse modo, o sistema poderia funcionar como um pequeno processador de sons usado em uma performance ou constituir toda a infra-estrutura tecnológica de um espetáculo musical ou multimídia;
  • conectividade: o sistema deve permitir a integração de diversos tipos e níveis de informação de maneira que um determinado gesto de um músico possa gerar informação para o processamento de uma imagem em vídeo, assim como essa imagem pode ser relacionada ao processamento dos sons produzidos por esse músico.