A fase em que uma interface está em operação é, em boa parte dos casos, a mais longa de seu ciclo de vida. Contraditoriamente, ela tem recebido pouca atenção dos pesquisadores e dos profissionais trabalhando na área. Até pouco tempo, havia pouca oferta em termos de técnicas e de ferramentas para o monitoramento de uma interface em
produção.

Mais recentemente, essa lacuna começou a ser preenchida, em minha opinião, devido a três fatores principais:

1. a
   preocupação com a experiência do usuário, um fenômeno que vai muito além do uso
   momentâneo do sistema;
2. as interfaces de uma maneira geral estão muito mais
   evolutivas, em uma busca constante por satisfazer e criar necessidades;
3. o desenvolvimento de facilidades de comunicação e de coleta de dados de uso em
   larga escala e a partir de qualquer lugar no planeta.

Hoje as soluções para o monitoramento
de interfaces são mais variadas e numerosas. Os principais tipos de técnicas
são os testes de usabilidade à distância, os diários e os painéis, as pesquisas de
satisfação e a web analítica. Já escrevi um artigo sobre a Web analítica orientada à usabilidade. Apresento aqui o que identifiquei de novo, em relação às outras técnicas.  

Um teste de usabilidade à
distância nada mais é do que uma observação crítica do uso de um sistema que é
apoiada por recursos de comunicação e de captura remota de dados. Os resultados
se referem ao desempenho e à satisfação dos usuários.

É importante
observar que em um contexto de monitoramento esses resultados têm um perfil
diferenciado: eles têm de ser mais objetivos e mais representativos. Eles não
precisam ser tão detalhados, uma vez que a interface está “pronta”, ela está
sendo apenas monitorada. Mas, para produzir resultados representativos, eles têm
de envolver um número maior de usuários, operando os sistemas em seus
ambientes naturais. Em algumas soluções, o moderador está “on-line” e
se comunica com o participante, orientando-lhe sobre as tarefas do teste,
puxando conversa sobre suas estratégias e dificuldades e aplicando questionários
pré e pós-teste. As conversas e as telas do usuário são capturadas à distância
(ex. Morae – Remote participant). Alguns ambientes
implementam uma moderação automática, na forma de uma interface do tipo passo a
passo, que conduz os participantes nas tarefas e aplica questionários pré e/ou
pós testes (ex. UserZoom, Ethnio,  Loop11,  Morae/AutoPilot, Capteria/ZOOMA).

Os estudos de caso disponíveis no site de UserZoom, em particular, se referem a testes à
distância envolvendo entre 200 e 1.200 participantes espalhados por diversos
países. Outras ferramentas apenas capturam a imagem e o som dos testes (ex. Userfly, Webnograph e OpenHallway).
Os usuários recebem instruções por e-mail sobre as tarefas a executar, e a
ferramenta captura as interações por meio de scrips instalados nos sites sendo
testados. Nenhuma facilidade de moderação ou de análise de dados é
fornecida. Já os “click-tests” são versões bastante simplificadas de
testes à distância nas quais o usuário é convidado apenas a clicar
sobre a opção que lhe parece a mais indicada para alcançar o objetivo que lhe é
proposto (ex. Usabila e Chalkmark).

As técnicas de diários e painéis
destinam-se especificamente à coleta de dados sobre a utilização dos sistemas
(quantas vezes, quando e durante quanto tempo) e de comentários com as
explicações e as emoções experimentadas por um grupo de usuários
pré-cadastrados. Essa coleta pode ser feita apenas uma vez, em um determinado
instante no tempo, ou repetida várias vezes, durante um período de tempo. FiveSecondTest é uma solução de “painel instantâneo”,
na qual os usuários visualizam uma página durante 5 segundos e em seguida
respondem perguntas formuladas pelos projetistas, apresentadas automaticamente
pelo sistema.

O OpenDiary e o Diary.com são exemplos de ferramentas podendo
apoiar a técnica de diários, na qual os participantes são instruídos a
registrar seus comentários imediatamente após a realização de suas tarefas, ou
a intervalos regulares, ou ainda no final do dia.

Os painéis mais abrangentes vão
exigir alguma instrumentação nos ambientes dos próprios panelistas, de modo
que passem a coletar dados sobre a sua configuração e informações sobre o uso
dos sistemas. Já os painéis de curta duração estão focados na realização de tarefas e
coletam informações sobre dificuldades e problemas ocorridos. Os de longa
duração (semanas ou meses) são menos focados em tarefas específicas e mais na
forma como os participantes usam um sistema (duração de uma sessão de uso,
duração dos intervalos intra e entre sessões, existência de trabalho em
paralelo). Eles permitem identificar, em particular, as variações no estilo de
uso dos sistemas que ocorrem naturalmente com o tempo, ou devido a alguma
mudança no ambiente do usuário. Uma extensão interessante de diários e painéis
é a técnica de “living labs” (The PlaceLab), que se refere ao monitoramento
de comunidades de uso e não apenas de usuários individuais.

As pesquisas
de satisfação dos usuários estão em geral a serviço de testes de usabilidade, diários e
painéis, mas elas podem também ser realizadas isoladamente. Por meio desse tipo
de técnica busca-se identificar, de maneira padronizada e sistemática, a
satisfação dos usuários em relação a uma interface ou sistema. O
desenvolvimento dos instrumentos de pesquisa caracterizou-se inicialmente pela
busca das melhores perguntas a colocar aos usuários e, mais recentemente, pela
busca da melhor forma e do melhor momento para obter suas respostas. 

Em sua
evolução, surgiram questionários com questões sobre aspectos gerais (SUS) e específicos (SUMI e QUIS)
para interfaces em geral e para tipos específicos de interfaces (MUMMS –
multimídia e WAMMI – Web). As pesquisas de satisfação já
foram enviadas pelo correio normal, depois pelo correio eletrônico e hoje elas
estão disponíveis em páginas Web específicas (SurveyMonkey).
Elas também estão incorporadas às interfaces dos sistemas sendo
monitorados (KeySurvey,  OpinionLab). Kampile é
uma solução que convida o usuário a dar sua opinião sobre uma interface em
momentos críticos, quando ele completa uma tarefa ou ao contrário, quando parece
tê-la abandonado. 4QSurvey.com implementa um tipo de pesquisa em dois
momentos, num primeiro, para identificar o propósito do usuário e, no segundo,
para obter a sua satisfação em relação a esse propósito. É interessante notar
que essa ferramenta produz também um tipo especial de medida da eficácia dos
usuários.

Para concluir e para justificar este
artigo, recorro a uma evidência. Cada vez mais, tudo está em evolução. Não
só as interfaces, mas também os contextos, os ambientes, os usuários e as
comunidades. É mais do que evidente a necessidade de monitoramento de todos esses
aspectos. Apresentei aqui cerca de 20 soluções que podem apoiar
iniciativas de monitoramento de interfaces. Imagino que muitas outras existam e
espero ansioso pelas contribuições de vocês.