Integração Multimédia em Meios e
Ambientes Aumentados nos
Contextos Educativos e Culturais

Nuno Correia (1)
Teresa Chambel (2)

(1) Dep. de Informática, FCT, Universidade Nova de Lisboa, Portugal ( ctp.di.fct.unl.pt/~nmc )
(2) Dep. de Informática, Fac. de Ciências, Universidade de Lisboa, Portugal ( www.di.fc.ul.pt/~tc )

Resumo
Tendencies such as the intensive use of video, mobility and the reuse of existing content are transforming the way we consume and produce multimedia materials. This paper presents an overview of the technologies, which follow this tendency, supported by research projects done by the authors in collaboration with other national and international institutions. These technologies are located in emerging computer areas and include topics ranging from hypermedia spaces based on video to augmented and mobile environments. A special focus is given to the possibilities these new approaches have created in artistic, cultural and educational fields.

Introdução

As tendências e os paradigmas actuais na computação apontam para a utilização crescente de materiais multimédia, nomeadamente do vídeo, em contextos diversos incluindo ambientes aumentados e móveis. Para que esta utilização seja eficaz, é necessário que haja paradigmas computacionais que permitam gerir a complexidade introduzida por grandes volumes de dados não estruturados. Os mecanismos hipermédia surgem aqui como uma forma poderosa e flexível de estruturar informação, usando conceitos testados ao longo de décadas de desenvolvimento, estendidos e aplicados agora a novas realidades e novos meios. A crescente disponibilidade de materiais audiovisuais coloca problemas de armazenamento e acesso e sugere modelos de reutilização para aproveitar toda a riqueza da informação existente. Em contextos artísticos, a reutilização tem uma importância crescente, nomeadamente na música, onde o conceito de sampling (utilização de fragmentos de músicas existentes) tem orientado os últimos anos de evolução no campo da música popular e em especial na música de dança. Também a informação audiovisual é passível de utilização em outros contextos, ou em outros ambientes, necessitando para isso de ser adaptada, quer ao nível sintático, quer ao nível semântico. Para que esta adaptação seja realizada de forma a respeitar as características dos materiais originais, é necessário descrevê-los, ou anotá-los, usando mecanismos normalizados. Estas descrições facilitam a transformação para uma determinada aplicação ou dispositivo. As capacidades crescentes ao nível computacional e de telecomunicações, aliadas a novos mecanismos de descrição de materiais multimédia, sugerem potencialidades acrescidas em diversos contextos de aplicação, nomeadamente ensino e entretenimento, usando novos modelos narrativos e de interacção com a informação. Se estas formas se aliarem a ambientes de computação ubíqua, que integram o mundo real e dispositivos computacionais, são possíveis novas formas de expressão integradas nos ambientes em que as pessoas vivem. Abre-se assim a possibilidade de formas de expressão radicalmente inovadoras, para os quais se apresentam algumas pistas iniciais nos projectos referidos neste artigo.

Na secção seguinte, apresentam-se os principais conceitos comuns às diferentes aplicações. Estas aplicações, referentes à integração de vídeo e áudio em hipermédia, anotação de vídeo, estruturação e reutilização de materiais multimédia, e exploração de informação e narrativas interactivas ( storytelling ) em ambientes aumentados e móveis, são descritas nas secções seguintes. O artigo termina com a apresentação de algumas conclusões, apontando para direcções futuras de investigação e desenvolvimento.

Motivação e conceitos fundamentais

A ciência e a tecnologia têm sido motores no desenvolvimento de novas formas de expressão, como as artísticas e culturais, começando normalmente as experiências muito cedo no processo de desenvolvimento de cada tecnologia. A fotografia e o cinema são casos paradigmáticos deste tipo de processo. A busca de novas formas de expressão suportadas por computador tem uma longa história, praticamente desde os primórdios dos sistemas computacionais. No entanto, só recentemente estamos num ponto da evolução tecnológica em que os computadores podem lidar de forma adequada com espaços ricos em informação multimédia. É possível considerar um sistema especializado em vídeo, outro em realidade virtual, outro que os integra, ou ainda a disponibilização desta informação no espaço físico em que o utilizador se encontra. Todos estes ambientes potenciam e sugerem novas formas de expressão, em contextos educativos, lúdicos ou artísticos. Nesta secção são apresentados algum dos conceitos de base subjacentes à integração multimédia, nos diversos contextos que serão detalhados nas secções seguintes.

Hipermédia: refere-se à capacidade de interligar nós que podem conter diferentes tipos de informação multimédia, incluindo texto, gráficos, vídeo e áudio. Baseia-se num modelo para construção e navegação de estruturas associativas e não lineares, semelhante à forma como a mente humana funciona [1]. Os diferentes modelos hipermédia consideram essencialmente três níveis: (1) conteúdo dos elementos de informação, como texto, imagem, vídeo e áudio; (2) mecanismos para estruturar a informação; e (3) apresentação da informação, interacção e gestão da navegação. O conceito de hipermédia aplicado aos tipos de informação dinâmicos, como vídeo e áudio, coloca novos problemas, mas introduz um novo potencial de navegação e estruturação. Também nos ambientes aumentados e móveis, os mecanismos hipermédia são um meio poderoso de estruturar e apresentar a informação, ao integrar objectos do mundo real nas estruturas hipermédia. O potencial integrador dos mecanismos hipermédia facilita a reutilização de materiais em diferentes contextos. A capacidade de armazenar a história de navegação de forma estruturada e de a integrar noutras estruturas hipermédia, permite ainda a sua reutilização e apresentação posterior.

Anotação: A anotação tem uma longa tradição em documentos impressos e está actualmente a ser investigada para documentos electrónicos [2]. A maior parte do trabalho feito até agora é para informação estática, essencialmente texto e imagens. Para vídeo, a anotação é habitualmente uma forma de descrever o conteúdo para posterior recuperação. A anotação permite adicionar informação a documentos existentes e pode servir múltiplos propósitos: salientar as partes mais relevantes ou adicionar notas quando o documento é apresentado, por exemplo numa aula ou conferência; e reestruturar o documento de forma a que seja relevante para um determinado domínio. Há assim duas funções principais dos mecanismos de anotação: (1) descrição de conteúdo existente (metadados) e (2) adição de conteúdo por parte dos utilizadores. A descrição de conteúdo, utilizando, por exemplo, a norma MPEG-7 para descrição de vídeo, é essencial para a reutilização porque permite caracterizar a informação, de forma a saber-se como e onde pode ser usada. Assim como as anotações em publicações impressas promovem a leitura activa, as anotações de conteúdo vídeo promovem a visualização activa, facilitando a reflexão, a aprendizagem e a criação de versões personalizadas dos documentos.

Reutilização: A existência de um grande volume de informação multimédia, crescentemente disponível em formato digital, e o facto de esta poder ser utilizada em situações diferentes daquelas para as quais foi inicialmente concebida, e noutros dispositivos, sugere a existência de mecanismos que facilitem a sua reutilização. Os exemplos vão desde a inserção de elementos virtuais em cenas de filmes antigos, passando pela integração de diversos elementos num documento multimédia estruturado como, por exemplo, vídeos e livros educativos, até uma nova forma de produção de documentos multimédia construídos a partir de outros existentes, como advoga Marc Davis [3]. Para auxiliar o processo de reutilização, é importante identificar e descrever, anotar, as unidades estruturais dos materiais multimédia.

Integração de vídeo e áudio em hipermédia

O vídeo, como informação dinâmica e figurativa combinada com áudio, é um meio poderoso para comunicar cenários ricos em conteúdo, de uma forma rápida e eficiente [4]. Pode dar contexto aos assuntos abordados e trazer autenticidade a ambientes de aprendizagem, algo muito apreciado pelos construtivistas [5]. O vídeo tem sido utilizado em contextos educativos de diversas formas [5,6,7,8]: para motivação; ilustração de conceitos ou experiências; como simulações realistas de processos não observáveis na realidade ou difíceis de descrever verbalmente; como veículo principal da informação, por exemplo através de documentários ou apresentando professores conceituados; ou ainda como uma ferramenta para apoiar experiências em processos de aprendizagem, por exemplo através da gravação de jogadas de futebol que permitem que os jogadores analisem os erros cometidos ou apreciem os resultados da sua mudança de táctica ou técnica, o que pode tornar-se num precioso auxiliar para aperfeiçoamento. A sua utilização como meio artístico tem também sido amplamente explorada em situações como telediscos e instalações interactivas.

Apesar do seu potencial educativo e artístico, o vídeo representa uma quantidade apreciável de informação não estruturada, difícil de manipular e gerir com os métodos tradicionais, e coloca desafios apreciáveis em termos cognitivos. A falta de um meio que suporte a adição, modificação e manipulação de representações, bem como a dificuldade em controlar o fluxo de informação imposto pelo vídeo, especialmente em TV, não permite a existência de tempo nem o suporte para processos de reflexão, elaboração e comparação. Neste sentido, o vídeo é geralmente visto num modo experiencial, providenciando um suporte muito limitado à reflexão [6,9,10]. Os ambientes em que o vídeo é tradicionalmente visto também não tendem a suportar a comunicação, o debate ou a colaboração entre os diferentes espectadores ou com o emissor e peritos nos assuntos, algo que tem sido apontado como uma limitação ao potencial educativo da TV [11].

O vídeo ou a TV podem ser ferramentas poderosas de suporte à reflexão, se forem concebidos e desenhados de uma forma que permita ao espectador seleccionar o que quer ver, controlar o ritmo de transmissão da informação, parar, avançar, voltar atrás, fazer anotações, estabelecer relações dentro do vídeo, com outros materiais e informações, ou com pontos de vista de outras pessoas [9]. A integração de vídeo em hipermédia permite dotar o vídeo desta estrutura e flexibilidade, dando maior controlo ao espectador, em ambientes interactivos que também poderão suportar a comunicação e a colaboração entre as pessoas, promovendo e suportando a reflexão de uma forma mais eficaz [6,10]. Para além de suportar diversos modos cognitivos, pela sua capacidade de integrar meios e actividades heterogéneas, o hipervídeo permite suportar diferentes estilos e fases de aprendizagem [10,12].

Hipervídeo refere-se à integração de vídeo em espaços verdadeiramente hipermédia, em que o vídeo tem a capacidade de conter âncoras de ligações endereçadas no espaço e no tempo, em vez de ser tratado como um nó terminal [13]. Desta forma, é possível navegar dentro do vídeo e relacioná-lo com outros materiais multimédia. Por vezes, a designação de hipervídeo é usada para sistemas mais homogéneos muito centrados em vídeo, e a designação de hipermédia baseada em vídeo usada para hiperespaços mais heterogéneos, em que o vídeo pode ser estruturado mas é integrado com outros materiais [6,10]. As origens do hipervídeo remontam aos tempos iniciais do hipertexto, quando Ted Nelson estendeu o seu modelo hipermédia para incluir hiperfilmes [14]. A tecnologia tem sido um pouco lenta na concretização das suas ideias, sendo HyperCafe [15] um dos primeiros hipervídeos usando vídeo digital e revisitando alguns conceitos narrativos e estéticos para enquadrar a estruturação de vídeo em hipermédia; e SMIL [16] uma recomendação da W3C para a integração sincronizada de elementos multimédia que contempla a hiperestruturação de meios dinâmicos como o vídeo e o áudio.

Juntamente com todo o poder e flexibilidade inerentes ao hipervídeo, poderá existir uma maior complexidade que dificulte a realização do seu potencial, especialmente por autores e utilizadores com pouca experiência. O hipervídeo partilha com os sistemas hipermédia tradicionais o potencial de sobrecarga cognitiva e desorientação no hiperespaço. No entanto, no hipervídeo este problema pode ser agravado, uma vez que pela sua riqueza e natureza dinâmica, o próprio vídeo pode tender a causar sobrecarga cognitiva, e a natureza dinâmica dos nós e das ligações poderá agora criar uma maior pressão nos utilizadores ao efectuarem escolhas de navegação. A integração de um meio dinâmico como o vídeo, com meios estáticos, como texto e imagens, também levanta desafios importantes aos níveis estético e retórico, uma vez que estes meios induzem atitudes diferentes no utilizador [4,10,15].

Neste contexto, a existência de directivas para o design e um suporte adequado ao nível dos sistemas subjacentes tomam um papel preponderante na autoria de espaços hipervídeo eficazes [6,10]. Muitos dos mecanismos adoptados em hipermédia têm que ser estendidos para hipervídeo, de forma a acomodarem a sua maior complexidade, e deverão providenciar: controle , permitindo a navegação dos vídeos no hiperespaço, e a percepção sobre a existência das ligações ( link awarenes s [13]) no espaço e no tempo, algo que é mais importante, mas também mais difícil de conseguir, no vídeo, uma vez que este varia no tempo; consistência e coerência , para reduzir a sobrecarga cognitiva; contexto com intuito de orientação , por exemplo através da sincronização do vídeo com mapas de navegação; familiaridade , por exemplo através da adopção de metáforas, como televisão, livros, ou viagens; e continuidade , especialmente quando da navegação entre meios dinâmicos e estáticos, para dar uma sensação harmoniosa de unidade.

Para explorar a integração de vídeo em hipermédia na Web, desenvolvemos o modelo e a linguagem HTIMEL "HTML with Time Extensions", como uma extensão de HTML e ferramentas existentes na Web [13]. A dimensão temporal foi considerada para permitir endereçar o vídeo no tempo, para além do espaço, na definição de âncoras, e para sincronizar diferentes elementos multimédia. Foram concebidos e desenvolvidos novos mecanismos de integração, anotação e navegação de vídeo em hipermédia, com uma especial atenção ao suporte de processos cognitivos. Estas ferramentas foram usadas para desenvolver cursos, especialmente nas áreas de literatura e matemática, seguindo e explorando as nossas ideias sobre a forma como o vídeo devia ser integrado e aumentado para suportar aprendizagem [10]. Estes casos de estudo foram desenvolvidos no contexto de dois projectos de investigação, UNIBASE "Ensino Aberto e a Distância Multimédia e Interactivo" e SAVE "Sistemas de produção e disseminação de Audio Visual Educativo", entre o grupo HCIM "Human Computer Interaction and Multimedia Group" (1) da Faculdade de Ciências de Lisboa, a Universidade Aberta, e o Instituto de Comunicação Multimédia, no contexto do ensino a distância; e no contexto de uma colaboração do HCIM com o CMAF "Centro de Matemática e Aplicações Fundamentais da Universidade de Lisboa", a CalTech "California Institute of Technology", e a Universidade Técnica de Berlim, para o estudo, desenho e desenvolvimento de hipervídeos para a comunicação e a aprendizagem da matemática.

O exemplo da figura 1 ilustra um destes casos de estudo. A informação está organizada em páginas centradas em texto e páginas centradas em vídeo, de uma forma que se aproxima dos materiais originais utilizados no curso: fitas de vídeo e textos de apoio. Optámos por manter a identidade e as metáforas dos materiais isolados, mas enriquecê-los e complementá-los no processo de hiper-estruturação e integração, capturando as relações que existem entre eles, e preservando o contexto original. Nas páginas centradas em texto, o vídeo é integrado sob a forma de ilustrações que são apresentadas quando as ligações hipervídeo definidas no texto são seguidas. O utilizador tem uma experiência aumentada da leitura do texto. Se o utilizador se quiser focar no vídeo apresentado nestas ilustrações, pode seleccioná-lo, seguindo uma ligação para uma página centrada no vídeo, onde este continua a ser apresentado a partir do ponto em que se encontrava na página onde estava a ilustração (fig.1a-b). Nesta nova página, pode aceder-se ao vídeo completo. Através de índices sincronizados com o vídeo, a estrutura e posição actual do vídeo são explicitadas, e é possível navegá-lo. Desta forma, é dada orientação e controle ao utilizador. Diferentes tipos de índice fornecem diferentes vistas ou mapas do vídeo. Por exemplo, uma tabela de conteúdo (fig.1b) representa a estrutura do vídeo, enquanto um mapa de imagens (fig.1c,d) representa um resumo visual e auxilia a procura de cenas no vídeo; um mapa cognitivo (fig.1g) representa a estrutura de conceitos apresentados [12], enquanto as anotações efectuadas pelo utilizador (fig.1e) [6,10,17] capturam a sua perspectiva pessoal do vídeo, e mapas de exercícios relacionam actividades e desafios ao conteúdo do vídeo. Em páginas centradas em vídeo, o utilizador tem uma experiência aumentada de ver vídeo. O utilizador pode sempre optar por uma atitude mais passiva ou experiencial, como é mais usual no contexto televisivo, podendo beneficiar de uma orientação sobre a sua posição corrente no vídeo, ou inclusivé optar por uma vista em que apenas lhe é apresentado o vídeo.

Figura 1 - Espaços hipermédia baseados em vídeo e áudio.

Ligações definidas entre diferentes partes do vídeo, endereçadas no espaço e no tempo, permitem a navegação entre partes relacionadas do vídeo (fig.1f-e); ligações entre partes de vídeo e texto (fig.1a,d-a) permitem complementar ou contextualizar a informação apresentada por cada um deles. Sendo desenvolvidos para a Web, estes espaços hipermédia permitem uma integração fácil com mecanismos de comunicação. Os estudantes podem criar as suas versões dos hiperdocumentos, expandir os originais através de anotações, e partilhá-los com colegas e professores.

Os alunos sentem-se mais motivados a ver e a estudar pelos vídeos neste tipo de ambiente do que na forma tradicional, uma vez que o processo se torna mais flexível e atraente, e é mais fácil procurar informação e capturar as mensagens, através dos diferentes mapas do vídeo. O material vídeo, pela sua riqueza, é mais facilmente apreendido em modo reflexivo se for apresentado de uma forma em que a sua estrutura é explicitada. Este tipo de integração de vídeo em hipermédia permite a captura de relações importantes entre o vídeo e os outros materiais, como o texto, através de explicações e ilustrações contextualizadas que promovem uma compreensão mais aprofundada dos diferentes materiais. Diferentes estilos de aprendizagem podem também ser suportados através da integração de diferentes meios, modalidades, opções de interacção e navegação [6,10,12].

A integração de áudio em hipermédia partilha alguns dos desafios com a integração de vídeo, uma vez que o áudio também é composto por uma quantidade considerável de informação não estruturada e dependente do tempo. A ausência da dimensão espacial ou visual simplifica alguns aspectos e introduz novos desafios. Muitos dos mecanismos desenvolvidos para vídeo são também aplicáveis ao áudio, especialmente os que dizem respeito aos aspectos temporais. A integração de áudio com texto e imagens, em livros falados, tem sido explorada no contexto do projecto IPSOM "Indexação, Integração e Pesquisa de Som em Documentos Multimédia" com a participação do grupo HCIM da Faculdade de Ciências de Lisboa, o Laboratório de sistemas de Língua Falada do INESC Lisboa, e a Biblioteca Nacional. Os livros falados são um meio importante de transmissão de informação em contextos educacionais e lúdicos e têm sido mais frequentemente disponibilizados através de fitas de áudio. Este projecto tem o objectivo de melhorar o acesso a livros falados armazenados em formato digital. Há uma preocupação especial com a comunidade de invisuais, mas destina-se a uma audiência mais vasta em diversos contextos de uso, disponibilizando interfaces multimédia e multimodais. O projecto foca a concepção e desenvolvimento de ambientes e ferramentas para a indexação e recuperação de som em documentos e bases de dados multimédia, desde a digitalização, alinhamento de áudio e texto, até à produção de documentos hipermédia, que poderá envolver a reutilização dos materiais e o seu enriquecimento em diversos contextos.

A figura 1 h) apresenta o exemplo de um livro em que o texto se encontra estruturado da forma habitual, com um menu que permite a navegação por capítulos e secções, mas que adicionalmente é sincronizado com o áudio: a posição actual no texto vai sendo assinalada à medida que o texto é lido, mesmo quando por navegação se muda a posição do texto ou a posição do áudio. Do lado direito, existe uma zona de anotações que também se encontram sincronizadas com o áudio, permitindo determinar a parte do texto (tempo de narração) a que se referem. É suportada interacção baseada em voz, para além do tradicional teclado e rato. Este protótipo foi desenvolvido também em HTIMEL, utilizando mecanismos análogos aos que foram utilizados nos diferentes mapas dos vídeos apresentados atrás. Em alguns vídeos foi criado um mapa com a transcrição do áudio sincronizado com o vídeo (fig.1f), que toma uma forma muito análoga à deste livro falado, e que é um mecanismo interessante para pessoas com dificuldades auditivas ou para a visualização do vídeo em locais onde a audição é dificultada. Através destas diferentes alternativas de meios e formas de interacção, a acessibilidade à informação é facilitada.

Um dos aspectos relativos ao enriquecimento explorado no projecto é a apresentação de imagens ou sons sincronizados com a narração, ilustrando o conteúdo corrente do livro ou dando diferentes aspectos ao livro, de acordo com critérios (por exemplo, estilo clássico ou versão infantil) ou preferências do utilizador, no sentido de uma maior adaptatividade e personalização.

Desenvolvemos uma infraestrutura que automatiza parcialmente a produção de documentos hipermédia baseados em áudio ou em vídeo. Foram usadas técnicas de processamento de áudio e processamento de vídeo para a sua indexação, e processos de transformação e integração de documentos baseados em linguagens XML. A adopção de uma linguagem declarativa para a representação dos documentos, como o HTIMEL, facilita a construção de infraestruturas de produção configuráveis e flexíveis, particularmente em contextos de reutilização [6,18].

Anotação e reutilização de informação multimédia

Esta secção apresenta alguns sistemas e aplicações inspirados no tema central da reutilização de materiais multimédia, de modo a orientá-los para outra aplicação ou a enriquecê-los na aplicação em que estão sendo usados. A reutilização, apesar de introduzir aspectos legais complexos, tem sido uma constante em diversas áreas artísticas e culturais, por exemplo, na literatura, no cinema e na música.

Os sistemas apresentados em seguida consideram a anotação como extensão de documentos existentes ou como ponto de partida para a reutilização, sugerindo ainda métodos de processamento inovadores, que resultam da colaboração de vários utilizadores na (re)utilização de material multimédia, em contextos educativos ou artísticos.

As anotações em vídeo promovem a visualização activa, tal como as anotações em publicações impressas promovem a leitura activa. Estes princípios são ilustrados por um protótipo designado por AntV "Anotações em Vídeo" [17]. O sistema AntV permite visualizar sequências de video, criar e editar anotações, e visualizar vídeos anotados. Pode importar anotações de múltiplos autores, permitindo partilhar documentos acerca de um determinado programa de vídeo. Como resultado do processo de anotação, é possível criar vídeos ou hiperdocumentos baseados no vídeo original.

Figura 2 - Interacção com o sistema AntV.

A motivação original para este sistema resultou dos projectos mencionados, UNIBASE e SAVE, para utilização de vídeo em ensino a distância. Os programas vídeo foram inicialmente pensados para apresentação em TV e posteriormente digitalizados, de modo a fazer versões interactivas dos cursos. Neste contexto, as anotações privadas e partilhadas fornecem uma forma de enriquecer e aumentar os programas vídeo, ajudando a aprender com estes materiais. A leitura activa, além de leitura, inclui ainda o sublinhar, salientar e comentar na região do texto ou em notas separadas [19]. A visualização activa é um conceito semelhante, aplicável ao material que visualizamos. Para além de vídeos educacionais, outros domínios são também relevantes e podem beneficiar de anotação, por exemplo, clips de vídeo, cada vez mais disponíveis na Web. Este conceito tem similaridades com o que acontece em programas de TV, por exemplo, nos canais MTV e VH1, em que comentários humorísticos são mostrados sobre os vídeos. Se houver ferramentas disponíveis, as anotações partilhadas permitem a criação de comunidades centradas na experiência de um determinado meio, tal como definido em [3]. Os fãs de um determinado programa de TV ou banda podem partilhar as suas opiniões, ideias e comentários. Fica assim disponível uma forma de escrita baseada em imagens. A prática actual é muito mais orientada para a leitura de imagens e são necessários melhores utensílios para expressão ou escrita.

No protótipo actual, a aplicação principal é um player de vídeo em software, AntV (fig.2), que pode ser usado para editar e adicionar interactivamente anotações com texto, imagens, áudio, vídeo e referências (URLs), em pontos específicos do espaço e do tempo, e para reproduzir um vídeo anotado. O documento de anotações resultante pode ser disponibilizado na Web e pode ser posteriormente importado na aplicação AntV.

Diferentes conjuntos de anotações, representando vistas diferentes, podem ser carregados para o mesmo programa de vídeo. O modelo de autoria e publicação das anotações de vídeo é muito semelhante ao modelo tradicionalmente usado na Web: os autores criam as suas páginas, com ou sem ligações para outras páginas, e de seguida decidem se as querem publicar ou não. Ao publicarem as páginas, outros utilizadores podem aceder a essas páginas, referenciá-las e possivelmente copiá-las ou modificar o seu conteúdo. A aplicação AntV pode reproduzir o vídeo de forma sincronizada com as anotações, ou gerar um vídeo em que as anotações foram adicionadas ao conteúdo.

VideoCittà [20] é um sistema para suportar uma comunidade de utilizadores, partilhando os seus vídeos e experiências sobre localizações físicas. Promove a interacção entre utilizadores envolvidos em actividades culturais ou interessados numa determinada localização. Os vídeos podem referir-se a factos históricos ou culturais acerca de um determinado sítio, ou simplesmente representar a visão de um determinado utilizador. O sistema permite fazer o upload de vídeos, fazer anotações e hiperligações a material que foi previamente adicionado, e fornece diferentes modos de acesso, incluindo Web e PDAs para acesso móvel. O sistema (fig.3) explora novas direcções de investigação, incluindo a geração de estruturas hipermédia a partir de materiais existentes, de modo a gerar filmes personalizados, a anotação colaborativa de materiais multimédia e o acesso móvel a informação geo-referenciada.

As tendências recentes para a personalização de sistemas de informação, a mobilidade, e a crescente disponibilidade de materiais em vídeo digital fornecem o contexto para o trabalho do VideoCittà. O sistema explora personalização explícita e implícita e ainda características de personalização partilhadas por um conjunto de utilizadores. Finalmente, o acesso móvel é uma componente importante que permite anotar e contribuir com material vídeo a partir do sítio onde foi filmado, ou visualizá-lo mais tarde no contexto em que foi capturado.

Figura 3 - VideoCittà na Web.

O VideoCittà usa mapas geográficos como mecanismo de visualização e auxílio à navegação. Para além da representação simples de elementos geográficos que constituem a cidade, VideoCittà apresenta uma vista da cidade através dos vídeos disponíveis para visualização e comentário. Estes vídeos podem ser institucionais, comerciais, ou de forma mais genérica, vídeos pessoais adicionados ao sistema por todos os utilizadores que querem partilhar os seus materiais audiovisuais com a comunidade. No VideoCittà, os utilizadores são convidados a partilhar não só os seus vídeos, mas também as suas impressões, ou o conhecimento acerca dos aspectos culturais ou históricos de um determinado local, através das anotações a esses vídeos. Diferentes vídeos e anotações podem ser conjugados para produzir novos vídeos com diferentes panorâmicas dos locais a que se referem. Os aspectos de personalização permitem avaliar a relevância temática de uma anotação para um determinado utilizador. VideoCittà traz a anotação colaborativa para os domínios históricos e de turismo e permite o acesso através de dispositivos móveis localizados na área coberta pelo sistema.

No projecto Sistema Evolutivo para Produção Multimédia, desenvolvido em colaboração com o Prof. Jônatas Manzolli da Unicamp, Brasil, o objectivo fundamental é a investigação de novas formas de manipulação e construção de documentos multimédia e hipermédia, com base em algoritmos genéticos. A partir de uma base de informação multimédia, integrando clips vídeo e áudio previamente anotados, serão aplicadas transformações baseadas em algoritmos genéticos, de forma a fazer evoluir a "população" constituída por estes clips . Os documentos multimédia resultantes serão apresentados na Web, tendo as acções dos utilizadores impacto no processo de combinação dos diferentes clips . Além das regras que derivam da utilização de computação evolutiva, será ainda usado um conjunto de regras semelhantes às utilizadas na montagem tradicional de filme e vídeo. Pretende-se assim investigar um novo paradigma de autoria de materiais multimédia, que resulta da convergência de diversas áreas de investigação. Os materiais áudio e vídeo serão filmados em Portugal e no Brasil permitindo, por exemplo, combinar cenas relacionadas historicamente. O objectivo é desenvolver um sistema capaz de produzir novas cenas, integrando a paisagem sonora e visual destes dois países. Existem construções em Lisboa que têm similaridades com a arquitectura do Barroco Mineiro, em contrapartida, há contrastes entre o som das florestas brasileiras e o som dos barcos à beira do Tejo. Para além do interesse de investigação, o projecto tem também interesse cultural, contribuindo para aprofundar o conhecimento dos dois países.

Novas formas de expressão em ambientes móveis e aumentados

Esta secção apresenta paradigmas e ambientes que têm por objectivo mudar a forma de interacção com dispositivos computacionais, introduzindo o mundo real como um elemento importante na interface. Os materiais multimédia, educativos ou de entretenimento, podem assim ser consumidos no mundo real, no sítio em que os utilizadores estão. Os paradigmas, experimentados num conjunto de projectos em desenvolvimento, incluem realidade aumentada, dispositivos móveis, integração de mundos reais e virtuais para exploração de obras de arte e entretenimento, e narrativas em que a localização é um aspecto fundamental.

As tecnologias de realidade aumentada [21] permitem a superimposição, em tempo real, de objectos sintéticos em imagens reais, providenciando um conhecimento aumentado sobre o mundo que nos rodeia. Com um Head Mounted Display (HMD), o utilizador de realidade aumentada pode visualizar o exterior com informação virtual adicional, gerada em tempo real e de modo contextual. Esta informação ajuda os utilizadores a executar as suas tarefas e minimiza o tempo de execução. A realidade aumentada permite ter uma melhor percepção do mundo que nos rodeia e uma interacção mais eficiente com ele, apesar de haver ainda problemas complexos que têm que ser resolvidos para uma utilização massificada, como as relações entre os mundos virtuais e o mundo real. O primeiro sistema de RA para exterior foi a Touring Machine [22]. Este sistema, desenvolvido na Universidade de Columbia, inclui um sistema de rastreio (bússola, inclinómetro e GPS diferencial), um computador móvel com uma placa gráfica 3D e um HMD. Fornece ao utilizador informação estabilizada de um ambiente urbano, incluindo os nomes e departamentos do Campus de Columbia. Versões mais recentes do sistema permitem visualizar modelos ou edíficios que existiram previamente no campus, mostrar caminhos para os utilizadores atingirem os objectivos, e documentários relacionados com as diferentes localizações físicas. ArcheoGuide [23] é outro projecto representativo das tendências actuais, e inclui um sistema de realidade aumentada para informação turística relacionada com a Grécia antiga em Olimpia.

Figura 4 - ANTS.

O primeiro projecto de realidade aumentada que desenvolvemos designa-se por ANTS "Augmented EnvironmeNTS" [24], com a participação do IMG (2) "Interactive Multimedia Group" e do Grupo de Análise de Sistemas Ambientais da Universidade Nova de Lisboa, e tem por objectivo fornecer informação ambiental georefenciada. O projecto usa uma aproximação cliente-servidor que permite variar a configuração do utilizador, de acordo com os recursos disponíveis no equipamento que transporta. O utilizador transporta consigo equipamento wearable que inclui um computador, GPS, tracker para medir a sua orientação, e câmara de vídeo. O servidor mantém a base de dados com a informação sobre os objectos e um modelo 3D que indica as coordenadas espaciais e as dimensões de cada objecto. As aplicações desenvolvidas incluem a visualização de modelos de transporte de poluentes no Estuário do Tejo e a visualização aumentada de estruturas físicas em diversos locais, nomeadamente no Parque das Nações em Lisboa e no campus da Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa (fig.4).

O conceito de realidade mista estende a aproximação de realidade aumentada, adoptada no projecto ANTS, ao considerar uma integração maior entre o mundo real e mundos virtuais. Os mecanismos hipermédia têm um papel central em grande parte dos sistemas interactivos existentes e podem também ajudar no desenvolvimento de sistemas de realidade mista. As estruturas hipermédia são um mecanismo poderoso para estruturar e navegar grandes quantidades de informação. Como, neste caso, a informação é apresentada em diferentes localizações reais e virtuais, com diferentes media, o modelo hipermédia pemite enquadrar estes elementos. Uma vantagem adicional dos sistemas hipermédia é que fornecem um mecanismo apropriado para guardar as acções dos utilizadores, usando mecanismos de caminho e história. Neste âmbito, estamos interessados em armazenar a experiência dos utilizadores e outros materiais que foram navegados, e reproduzi-los ou integrá-los mais tarde noutras aplicações. Este mecanismo é ainda mais relevante ao incluir grandes quantidades de informação heterogénea no mundo real. Armazenar esta informação e reproduzi-la posteriormente permite a exploração virtual de espaços físicos.

Os conceitos referidos acima foram aplicados num modelo hipermédia "HyperReal" [25] para suporte a aplicações de entretenimento e acesso a informação. Como aplicação deste modelo, construimos uma infraestrutura para aumentar uma galeria ou um museu. Esta infraestrutura integra informação acerca das obras, mas também actividades de narrativas interactivas. Recentemente, esta área tem recebido muita atenção em diferentes tipos de aplicações, nomeadamente guias turísticos, educação e entretenimento. As narrativas são uma forma interessante e poderosa de apresentar a informação e permitir a interacção, especialmente se os conhecimentos e perícia obtidos nesta área durante centenas de anos puderem ser transportados para o mundo digital. As narrativas espaciais [26] são uma forma particular deste tipo de estrutura e apresentação de informação, em que a linha da história depende da localização física e do caminho do utilizador. No nosso caso particular, a integração deste tipo de narrativas parte do modelo de realidade mista para hipermédia e adiciona construções e abstracções para a construção de diferentes tipos de histórias. Não força nenhuma estrutura morfológica nestas histórias, mas permite a construção de diferentes estruturas, de acordo com os desejos e motivações do autor.

Figura 5 - Galeria de arte real aumentada
com elementos sintéticos e mundo virtual.

Estamos desenvolvendo um jogo [27] que tem lugar numa galeria de arte e que combina o mundo real com mundos sintéticos baseados em cada uma das obras (fig.5). Há outras aproximações relacionadas, nomeadamente o jogo Pirates! [28] cujo objectivo é transformar o mundo real num "tabuleiro" de jogo multijogador. Também o jogo ARQuake [29] é um dos primeiros jogos a ser jogado num ambiente de realidade aumentada, onde o espaço físico foi previamente modelado para conseguir o registo entre o mundo real e o virtual. No caso presente, as obras de arte são usadas como motivação para o cenário do jogo, tendo o jogador que resolver um caso de mistério que ocorreu na galeria. O espaço experimental consiste em duas subdivisões de uma sala, de modo a criar uma necessidade navigacional. As entidades físicas são duas obras do pintor americano Edward Hopper, Nighthawks e Drugstore, e cada uma está posicionada numa parte diferente da sala. Modelos 3D virtuais relacionados com estas obras foram criados e usados para enriquecer a sala, aumentar a interface utilizador, e permitir a navegação em busca de novas experiências e conhecimento. O jogo inclui diversos objectos que podem ser acedidos e navegados enquanto se joga, nomeadamente, mundos, personagens e pistas. Para começar o jogo, o utilizador escolhe as suas capacidades e toma o papel de um detective inexperiente. À medida que a acção se desenrola, será necessário recolher pistas nos mundos virtuais, que podem implicar deslocações no mundo real, por forma a encontrar o diário do autor dos quadros. Pode ainda ser necessário interagir com personagens virtuais, como aqueles que estão representados nos quadros, para obter pistas adicionais. Quando todas as pistas e interacções estiverem concluídas, o suspeito será encontrado num dos mundos virtuais que representa um dos quadros.

Guardar fotos, vídeos e objectos que ajudam a lembrar experiências passadas é uma actividade que quase todos nós fizemos num determinado ponto das nossas vida. Por vezes, estes materiais são aumentados com anotações que ajudam a recordar, ou adicionam comentários acerca das situações e eventos que ocorreram. O conteúdo armazenado é principalmente usado para relembrar acontecimentos, mas pode também ser usado de outras formas, criando novos conteúdos. Em ambientes de realidade mista, as pessoas podem participar em actividades de exploração ou jogos, sózinhas ou com outros [30]. Este é um ambiente perfeito para gerar actividades interessantes que as pessoas terão interesse em relembrar mais tarde. Estamos a desenvolver um conjunto de aplicações, de forma a reproduzir a experiência dos utilizadores num ambiente de realidade mista. Estas aplicações assumem a existência de um grafo hipermédia que resultou de uma sessão de navegação, adicionado ao grafo principal da aplicação. Este grafo hipermédia descreve a experiência, incluindo vídeo, eventos e interfaces utilizador. Inclui a informação estrutural e de temporização necessária para visualizar experiências passadas em ambientes aumentados.

Consideramos diferentes formas de visualizar a informação: (1) PC Player é um utensílio para reprodução da experiência guardada na forma de história hipermédia. Permite navegar nos materiais armazenados, num ambiente diferente daquele em que a experiência aconteceu. É essencialmente um player de vídeo que mostra o vídeo e a informação adicional que foram mostrados quando foi efectuada a navegação; (2) Mixed Reality Player permite o acesso posterior à informação no local onde foi recolhida, pelo mesmo ou por outro utilizador. Pode ser usado em jogos, ou para deixar informação pessoal em ambientes físicos, para ser partilhada com outros visitantes; (3) Movie reproduz num filme a navegação no mundo real, combinada com informação dos mundos virtuais. Para gerar o filme, são usadas regras de montagem e edição aplicadas à rede hipermédia que resultou da experiência no ambiente de realidade mista.

As redes móveis, combinadas com as tecnologias de posicionamento, providenciam um novo canal para uma forma radicalmente nova de narrativa cinematográfica navegável no espaço. As histórias são recebidas ao navegar no mundo real, usando informação contextual acerca do estado ou características do utilizador. Há muitas áreas de aplicação, desde o turismo à educação.

O projecto em desenvolvimento, InStory, tem por objectivo a definição de uma arquitectura computacional e a realização de um sistema para narrativas cinematográficas em dispositivos móveis. Este projecto tem a participação do grupo IMG da Universidade Nova de Lisboa e o grupo Interfaces Multimodais Inteligentes do INESC Lisboa, e tem como consultora a Prof. Glorianna Davenport, do MIT Media Lab e Media Lab Europe, uma pioneira em cinema interactivo e narrativas móveis. Estamos actualmente no processo de construção do sistema e validação dos cenários de aplicação.

Os cenários de aplicação considerados envolvem actividades colaborativas em espaços físicos, nomeadamamente uma caça ao tesouro, em que os participantes recebem pistas e têm que interagir entre si. Outros cenários incluem personagens virtuais que acompanham os utilizadores e lhes sugerem possíveis actividades.

Conclusões e perspectivas

Neste artigo foram apresentadas tecnologias para integração de informação multimédia, em diferentes ambientes e contextos de utilização, essencialmente no âmbito educacional, cultural e de entretenimento. Nas aplicações desenvolvidas, são usados vários meios, mas o vídeo tem um papel central, devido às suas propriedades expressivas para comunicação. Por outro lado, a utilização em ambientes móveis e aumentados abre possibilidades de utilização em contextos radicalmente diferentes, transformando as formas como produzimos e consumimos materiais multimédia.

Das experiências realizadas, conclui-se que a capacidade de integrar vídeo em espaços hipermédia permite a criação de representações ricas que promovem reflexão e uma melhor ilustração e compreensão dos diversos materiais, aumentando a motivação para a sua utilização. A anotação permite uma visualização activa e uma forma de personalização dos conteúdos multimédia, e abre o caminho para a participação na construção de documentos, para quem normalmente assumia o papel de espectador passivo. A anotação pode tomar outra dimensão, descrevendo materiais multimédia para posterior reutilização. Estas descrições referem-se a diferentes aspectos da informação multimédia, permitindo a reutilização em outros contextos. A reutilização assume formas diferentes, usando algoritmos genéticos na composição e montagem de vídeos com temas luso-brasileiros, regras de montagem no sistema VideoCittà, e um conjunto de critérios de composição e enriquecimento nos livros falados. Neste último caso, e também nos hipervídeos, a adopção de um paradigma declarativo na representação dos documentos foi outro dos factores que facilitou a criação de uma plataforma de produção flexível e configurável. O modelo hipermédia também se revelou adequado para a integração do mundo real e mundos virtuais e para o suporte a actividades de exploração, como foi demonstrado no contexto de uma aplicação para uma galeria de arte.

"Um meio passa tipicamente por três etapas: A primeira etapa é uma simples demonstração do meio, apresentando as suas capacidades e limitações. Nos primeiros tempos do cinema, as pessoas ficavam impressionadas com imagens de ondas a rebentar numa praia; ... a segunda etapa da maioria dos meios é a replicação de um meio existente. Os primeiros filmes não eram mais do que peças de teatro filmadas; ... durante a terceira etapa, são desenvolvidas e exploradas técnicas específicas para o novo meio. Actualmente, as técnicas de montagem, como o flashback e o crosscut, são reconhecidas como parte da linguagem dos filmes, mas passaram mais de quarenta anos entre o aparecimento do cinema e a utilização generalizada destes métodos." Randy Pausch, na Sessão Inaugural da Conferência ACM Multimedia'98

Nas aplicações e ambientes multimédia abordados neste artigo, estamos para além da primeira etapa, em que novos meios foram integrados; existem várias aplicações da segunda etapa, nomeadamente algumas das descritas neste artigo, incluindo as que adoptam metáforas subjacentes a documentos impressos e ao mundo real; e foram feitos alguns desenvolvimentos no sentido da terceira etapa, ao integrar e estender estes meios. No entanto, estes novos meios ainda apresentam desafios que conduzirão ao reforço da sua identidade e linguagem própria. Demos alguns passos nesta direcção, mas o caminho revelará até onde poderemos chegar.

Referências

1. V. Bush, "As We May Think", Atlantic Monthly , 176, pp.101-108.

2. C. Marshall, "Toward an ecology of hypertext annotation", Proceedings of ACM Hypertext'98 Conference , 1998, pp.40-49.

3. M. Davis, "MediaStreams: An Iconic Visual Language for Video Representation", Readings in Human Computer Interaction: Toward the Year 2000 , Morgan Kaufman Publishers Inc., 1995, pp. 854-866.

4. G. Liest Ø l, Essays in Rhetorics of Hypermedia Design, PhD Thesis, Department of Media & Communication, University of Oslo, Norway, 1999.

5. T. Boyle, Design for Multimedia Learning, Prentice Hall Europe, 1997.

6. T. Chambel, Video Based Hypermedia Spaces for Learning Contexts , PhD thesis, Faculty of Sciences, University of Lisbon, 2003.

7. B. Collis, O. Peters, "Educational Applications of WWW-Based Asyncrhronous Video", In N. Correia, T. Chambel, G. Davenport (eds.), Multimedia'99 - Media Convergence: Models, Technologies and Applications, Springer-Verlag, 2000.

8. W. Disney, Walt Disney Famous Quotes, Disney's Kingdom Editions, The Walt Disney Company, 1994.

9. D. Norman, Things That Make Us Smart , Addison Wesley, 1993.

10. T. Chambel, N. Guimarães, "Context Perception in Video-Based Hypermedia Spaces", Proceedings of the ACM Hypertext'02 Conference , 2002, pp. 85-94.

11. U. Eco, Can Television Teach? , Screen Education, no.31, Summer 1979.

12. N. Guimarães, T. Chambel, J. Bidarra, "From Cognitive Maps to Hypervideo: Supporting Flexible and Rich Learner-Centred Environments", IMEJ-Interactive Multimedia Electronic Journal of Computer-Enhanced Learning , 2(2), 2000.

13. T. Chambel, N. Correia, N. Guimarães, "Hypervideo on the Web: Models and Techniques for Video Integration" , International Journal of Computers & Applications , Acta Press, Vol. 23, #2, 2001, pp.90-98.

14. T. Nelson, "Branching presentational systems-Hypermedia", Dream Machines , 1974, pp.44-45.

15. N. Sawhney, D. Balcom, I. Smith, "HyperCafe: Narrative and Aesthetic Properties of Hypervideo", Proceedings of the ACM Hypertext'96 Conference , 1996, pp. 1-10.

16. SMIL Synchronized Multimedia Integration Language (SMIL 2.0) Specification , W3C Recommendation, 2001.

17. N. Correia, T. Chambel, "Active Video Watching Using Annotation", Proceedings of ACM Multimedia'99 Conference , 1999.

18. L. Carriço, N. Guimarães, C. Duarte, T. Chambel, H. Simões, "Spoken Books: Multimodal Interaction and Information Repurposing", Proceedings of HCII'03 the Human Computer Interaction International Conference , 2003.

19. M. Adler, C. van Doren, How to Read a Book , Simon & Schuster, New York, 1972.

20. M. Boavida, R. Santos, C. Santos, N. Correia, "A Framework for Shared and Personalized Video Based Documents", Proceedings of the WWW Conference , 2003.

21. R. Azuma, et al., "Recent Advances in Augmented Reality", IEEE Computer Graphics and Applications , 2001, pp. 34-47.

22. S. Feiner, B. Macintyre, T. Hollerer, A. Webster, "A Touring Machine: Prototyping 3D Mobile Augmented Reality for Exploring the Urban Environment", in Proceedings of International Symposium on Wearable Computing , 1997, pp.74-81.

23. T. Hall et al., "The Visitor as Virtual Archaeologist: Explorations in Mixed Reality Technology to Enhance Educational and Social Interaction in the Museum", Proceedings of Conf. on Virtual Reality, Archeology, and Cultural Heritage , 2001.

24. T. Romão, N. Correia, C. Santos, et al, "Augmenting Reality with Geo-Referenced Information for Environmental Management", Proceedings of the ACM GIS'02 Conference , 2002.

25. L. Romero, N. Correia, "HyperReal: A Hypermedia Model for Mixed Reality", Proceedings of the ACM Hypertext'03 Conference , 2003.

26. P. Pan, C. Kastner, D. Crow, G. Davenport, "M-Studio: an authoring application for context-aware multimedia", Proceedings of the ACM Multimedia'02 Conference , 2002.

27. J. Santiago, L. Romero, N. Correia, "A Mixed Reality Mystery Game", Proceedings of The Second International Conference on Entertainment Computing , USA, 2003.

28. S. Björk, J. Falk, R. Hanson, P. Ljungstrand, "Pirates! Using the Physical World as a Game Board", Proceedings of the IFIP Interact'01 Conference , 2001.

29. W. Piekarski, B. Thomas, "ARQuake: The Outdoor Augmented Reality Gaming System", Communications of the ACM , 45(1), 2002, pp.36-38.

30. M. Weal, D. Michaelides, M. Thompson, D. De Roure, "The Ambient Wood Journals: Replaying the Experience", Proceedings of the ACM Hypertext'03 Conference , 2003.

Notas

(1) HCIM "Human Computer Interaction and Multimedia Group", LaSIGE, Fac. Ciências, Univ. de Lisboa

(2) IMG "Interactive Multimedia Group", CITI, FCT, Universidade Nova de Lisboa

mciencia@unicamp.br