A ideia desta publicação é compartilhar com você um pouco da forma como eu tenho absorvido a coleta e análise de dados como uma disciplina para entregar experiências, por meio de produtos focados em pessoas. Essa trajetória tem sido bem enriquecedora, porque envolve visões diferentes de produto, experiência, métricas e, claro, de pessoas!

O acompanhamento de métricas fornece informações que quando combinadas nos ajudam a ter uma compreensão mais consiste das necessidades das pessoas, o que é essencial para você conseguir estabelecer uma experiência reativa, capaz de modificar-se de acordo com o contexto do seu público.

Isso significa que acompanhar como as pessoas estão percebendo e utilizando seu produto é fundamental para determinar se ele foi um sucesso e planejar etapas futuras, ou ainda, se precisa de mudanças para que ele não seja um fracasso.

É importante ressaltar que análise de métricas não é um conhecimento impeditivo ou excludente: você analisa métricas ou pensa na experiência do usuário? Na verdade para nós, UX designer, ter a maturidade para trabalhar com métricas significa ter acesso a conhecimento através da informação. O que concede uma visão mais clara sobre padrões, associações e anomalias de comportamento, pessoas em seus contextos e necessidades.

Rochelle King, VP de user experience e design do Spotify, aborda este ponto de maneira incrível em seu TED Talk "The complex relationship between data and design in UX". Nele, ela conta como a sua equipe acompanha métricas para decisões de UX, como por exemplo, em como eles usaram métricas para escolher entre uma interface mais clara ou mais escura.

[caption id="attachment_117573" align="aligncenter" width="620"]

Spotify usando métricas para definir sua paleta de cor. Uma decisão que influenciou diretamente na formação de grupos de informação e percepção da experiência[/caption] A Netflix é um outro bom exemplo, eles testam com bastante frequência a imagem dos programas que aparecem na grade do app com intuito de utilizar aquela que gere mais engajamento. [caption id="attachment_117574" align="aligncenter" width="620"]

Testes com imagens dos programas, neste exemplo a última versão foi a que mais gerou engajamento.[/caption]

Outro ponto que merece ser destacado antes de finalmente entrarmos em nosso tema é o fato de que para trabalharmos com métricas, de forma efetiva, é fundamental ter estabelecido e compreendido o objetivo do seu produto. Caso contrário, as métricas irão mostrar o que você quiser e esse, meu amigo, é um dos maiores perigos.

Eu já passei por isso. Certa vez realizamos um teste A/B no carrinho de compra de um e-commerce com o objetivo de tentar aumentar a taxa de conclusão de compra. [caption id="attachment_117575" align="aligncenter" width="620"]

Versão A com quantidade e sub-total do pedido / Versão B apenas com a quantidade de itens[/caption] Depois de um período rodando o teste, os responsáveis por analisar as métricas neste teste chegaram a conclusão que houve uma melhora de usabilidade na versão B, devido ao aumento da quantidade de cliques para visualizar mais detalhes do pedido. Entretanto, além de não considerar isso uma melhora de usabilidade*, percebemos que quando comparamos as duas versões, a versão A proporcionalmente continuava tendo uma taxa de conversão melhor. Se olhássemos apenas para o número de cliques, sem relacionar ao objetivo principal do componente (neste caso, a conclusão da compra), teríamos feito uma escolha ruim para o produto e para o negócio. Lembre-se: objetivos de negócio são diferentes de objetivos de produto, sendo que, na maioria das vezes, o que será “metrificado” é um objetivo do produto que reflete o objetivo do negócio. Por isso, é importante assumir que você não vai ter a visão “do todo” com base em uma única métrica. É preciso analisar, cruzar informações e investigar os dados coletados. Já pensou o que seria do Capitão Kirk e sua Enterprise sem relatórios de bordo e entendimento do ecossistema explorado? [caption id="attachment_117577" align="aligncenter" width="620"]

Capitão Kirk já trabalhava com análise de dados antes de nós! ;)[/caption] Lembrando, por fim, que métricas não se referem apenas às informações de web analytics, mas sim a todo tipo de dado que possa ser coletado através dos pontos de contato do seu produto, como por exemplo: sugestões e criticas de clientes, lista de produtos mais vendidos, termos mais buscados, termos mais usados em avaliações de produtos, principais motivos para cancelamento de compra ou de uma assinatura, postagens que geram mais interações em redes sociais, acompanhamento e compreensão dos momentos de consumo, principais fluxo de navegação, artigos mais visualizados em seu blog etc…

1. Planejamento

O que estamos tentando resolver?

O acompanhamento de métricas deve ser um tema tratado desde o início da concepção de um produto, simplesmente porque precisa-se de métricas para entender onde estamos pisando, para onde e como estamos indo. Por isso, ainda na fase de planejamento, começo estabelecendo qual será o objetivo do meu produto: o que estamos tentando resolver? O que eu quero entregar para as pessoas? E ao contrário do que possam imaginar, esta resposta não aparece magicamente para mim. Ela só é determinada após entendimento de toda uma cadeia que envolve perguntas (muitas), pessoas, uma carga inicial de informações e alinhamento com as expectativas do negócio. Podemos chamar essa etapa de unpacking ou imersão, bem ao modelo do Google Design Sprint. Depois de determinar os pontos que irão indicar o sucesso ou fracasso do seu produto, e disseminá-los de forma que eles passem a ser de entendimento das equipes. É preciso conhecer os modelos de acompanhamento e estabelecer uma estratégia de coleta.

2. Modelos de acompanhamento

Para se obter respostas é preciso questionar. Existem basicamente dois modelos de acompanhamento: quantitativo (Big data) e qualitativo (Small data). Quando falamos de análises quantitativas, nos referimos “ao que está acontecendo?”. E as qualitativas “ao por que estão acontecendo?”.

Quantitativos

Quando falamos deste modelo, estamos falando de métricas. Elas não estão vinculadas apenas à utilização de algo, mas, sim, a forma como o produto está sendo direcionado e posicionado. As métricas apontam uma direção que requerem maior investigação dos fatos, ajudando a entender como o produto está desempenhando, identificar hipóteses e pontos de atenção. Alguns exemplos de dados quantitativos: taxas de conversão, números de acesso, taxas de rejeição, tempo de permanência, ticket-médio, life time value, número de unidades por compra, quantidade de páginas visualizadas, número de recomendações etc…

Qualitativos

Quando começamos a olhar sob uma perspectiva mais qualitativa, independente do modelo ou da ferramenta, é preciso sempre pensar que assim como uma métrica isolada não revela o cenário todo, você pode se deparar com alguns comportamentos e modelos mentais que não refletem um grupo maior. Por isso, eu crio uma classificação de informações que podem ser avaliadas e analisadas com outros dados anteriores e com outras métricas. Alguns exemplos de dados qualitativos: mapas de calor, gravações de tela, avaliações de produto, padrões de navegação, principais reclamações, unboxing do produto após entrega. Você pode ver um pouco mais “Como tenho trabalhado com acompanhamento qualitativo”.

Ferramentas

Dentro desses dois modelos, existem várias maneiras e ferramentas para acompanhar uma experiência. Por exemplo: Análise de métricas: Consiste na coleta e análise de métricas extraídas de ferramentas como Google Analitycs ou Adobe Analitycs. São dados relacionados a acessos, cliques, tempos de permanência, funil de conversão, desempenho de campanhas de marketing. Análise de Churn: Churn é uma métrica que avalia a quantidade de clientes que deixam de fazer parte da base da sua empresa mensalmente. Questionários: Bastante conhecido por nós, UX designers, consiste na coleta de respostas relacionadas a um determinado contexto de sua base de clientes ou público-alvo. Os questionários são desenvolvidos de acordo com a necessidade do seu produto, por exemplo: você quer identificar o sentimento dos seus clientes em relação ao seu produto ou entender se eles estariam inclinados a um novo tipo de produto? Heatmaps (mapas de calor): Esta é uma ferramenta bem atrelada a produtos digitais e mapeia as áreas com maior índice de interação do mouse, como por exemplo: cliques e scroll. [caption id="attachment_117578" align="aligncenter" width="470"]

O VWO é uma excelente ferramenta para realizar para coleta de heatmaps[/caption] Screen-recording (gravação de tela): Segue o mesmo principio do heatmap, de mapear as interações dos usuários com seu produto digital, a diferença é que ele grava as sessões e mostra como as pessoas navegam por ele. [caption id="attachment_117579" align="aligncenter" width="620"]

O Hotjar é uma ferramenta que além de heatmaps oferece serviço de screen recording[/caption] Análises de tickets de atendimento: Se sua empresa possui um serviço de relacionamento ou de atendimento ao cliente, com certeza ela possui registro dos atendimentos realizados. Vale a pena você selecionar alguns desses registros para análise. Entrevistas com clientes: Se sua empresa conhece bem seus clientes e tem um bom relacionamento com eles, fica mais fácil de você realizar entrevistas para entender como eles percebem seu produto e em qual contexto eles usufruem dele. É uma oportunidade de você começar a coletar informações reais sobre as pessoas por trás do seu público. Entrevistas com stakeholders: Se você não tem verba ou acesso ao seu público (duas barreiras muito comuns), você sempre pode conversar com pessoas da sua própria organização, reúna algumas hipóteses e busque a visão delas. Stakeholders que lidam diretamente com os clientes são uma fonte rica em insights. Pesquisas etnográficas: É o estudo de comportamento humano a partir de uma visão antropológica, oriunda das ciências humanas. Abordando dentro do nosso contexto da UX, diferentemente da entrevista com clientes, na qual você traz as pessoas e faz uma serie de perguntas, você vai até eles e observa como elas realizam suas atividades diante do seu contexto cultura. Análises de interações em canais sociais: Se seu produto possui canais sociais, vale a pena dar uma olhada em relatórios de mídias e aproveitar para mergulhar um pouco mais no perfil de pessoas que se relacionam com ele nestes canais. É possível identificar padrões na linguagem, assuntos de interesse e até mesmo pontos de atenção recorrentes ou que estejam mais salientes. Cada uma delas permite que você tenha visibilidade através de diferentes perspectivas, mas todas elas fornecem informações que se relacionam e ajudam na compreensão de como as pessoas estão percebendo e utilizando seu produto. Bem, já sabemos qual o nosso objetivo e quais os modelos e ferramentas temos à nossa disposição, certo? Mas como saber o que acompanhar?

3. Mapeamento da interface

O que iremos acompanhar? Tudo nesse universo existe por um motivo e, para mim, quando falamos de UX, tudo deve ter um propósito. Por tanto, antes de saber como e quando aplicar cada um desses modelos é preciso saber o que você vai acompanhar. Lembre-se: pelo fato de ter determinado o objetivo do nosso produto, com base nas metas do nosso negócio (Tópico 1: Planejamento), estabelece-se uma relação de dependência entre os objetivos que repercute por toda cadeia de desenvolvimento.

Ou seja, tendo esses objetivos estabelecidos ao dar início o desenvolvimento da Arquitetura da Informação e o Design da Interface, temos vários componentes e recursos sendo aplicados, todos eles com um propósito atrelado aos objetivos dos quais foram derivados Em todas as telas do meu produto eu mapeio os componentes que podem ser acompanhados e por que eles devem ser acompanhados. Desta forma, consigo manter a simplicidade e ter um raciocínio metrificado em cada etapa do processo e em cada parte do produto. Isso traz clareza sobre quais ferramentas mais adequadas para o acompanhamento, para no final dizer com certeza: fomos bem sucedidos, ou ainda, precisamos melhorar para não fracassar. [caption id="attachment_117581" align="aligncenter" width="620"]

Primeiro mapeamos todos os elementos que estão sendo aplicados e relacionamos eles com nossos objetivos. Depois identificamos aqueles que podem ser acompanhados através de métricas[/caption] Após esse mapeamento, eu envolvo a equipe de web analytics, profissionais responsáveis por acompanhar e analisar as métricas geradas a partir da interação do público com nossa loja (compra, cadastro, engajamento) e especializados em ferramentas como Adobe Analitycs, Google Analitycs e Tableu. Eles indicam as melhores práticas para o acompanhamento, possíveis falhas ou melhores caminhos para coletar determinadas informações.

4. Acompanhamento

O que está acontecendo? Onde acontece? Por quê? Como? Todas estas perguntas são facilmente respondidas quando temos boas definições na fase de Planejamento. Como tenho trabalhado muito com base em uma visão de produto, procuro sempre classificar meus acompanhamentos por áreas que me tragam informações importantes sobre o negócio, sobre pessoas e também sobre o próprio produto. Assim, criamos um lastro que permite entender como novos releases do produto podem estar impactando em outros pontos do ecossistema. Eu tenho ações e tenho visão das reações. Por isso, classifico da seguinte forma:

Desempenho:

São métricas relacionadas ao sucesso do negócio por trás do produto, como: compras, acessos, captação, cadastros, churn. Esse tipo de informação vai variar de acordo com o contexto do seu negócio. As métricas de desempenho também são determinantes para se validar hipóteses via Teste A/B. A versão A teve um desempenho maior (de acordo com os objetivos estabelecidos) do que a versão B.

Comportamento:

Se referem a percepção de como as pessoas estão utilizando seu produto. A forma como navegam, interagem, manuseiam seu produto, quais os fluxos utilizados e componentes mais clicados. Aqui, tenho dados quantitativos e qualitativos, por exemplo: posso ter uma visão macro dos componentes mais utilizados através de um screen-recording (gravação de tela) e complementar isso com um “tagueamento” por segmento do meu público, que quantifica os cliques nestes componentes, vinculando os cliques a um dado de conversão no final do funil. Um outro exemplo: imagine que você se depara com uma baixa taxa de cliques no principal CTA (Call To Action) de uma página. Posso usar heatmaps (mapas de calor) para tentar identificar quais elementos podem estar causando uma distração e afetando minha atividade principal.

Base:

São métricas que podem ser coletadas em qualquer tipo de sessão, página ou parte do produto. Elas me ajudam na comparação entre dados de períodos anteriores e me dão visibilidade se algo foge do padrão de comportamentos anteriores ou esperados (em caso de produtos que não tenham métricas de referência). Por exemplo: visitas, engajamento, tempo de permanência, bounce-rate. Um ponto importante é sempre comparar ou analisar faixas de dados por período, levando em consideração ações externas que podem ter impactado nos fluxos de acesso ou na própria utilização do produto.

Modelo para coleta:

Para ter controle sobre todas essas classificações, criei um modelo de documento simples que tenho utilizado para orientar as equipes e organizar as coletas periódicas. Dessa forma, sabemos quais os dados precisam ser buscados e com que equipe posso consegui-los para compor uma visão baseada em diversas perspectivas. Além disso, esse material serve de insumo para o desenvolvimento de dashboards (uma combinação e apresentação de diferentes dados) e automação da coleta de dados quantitativos.

http://bit.ly/2f9OcdI

Cruzando qualitativos com quantitativos

Como eu disse no início deste texto, nenhum dado isolado, seja ele qualitativo ou quantitativo, vai te esclarecer ou te nutrir com informações suficientes para uma tomada de decisões. Cruzar informações e entender o que elas representam em seu ecossistema é super importante para transformar hipóteses em afirmações e ainda identificar oportunidades. Não acredite em dados isolados, busque confrontar informações através do cruzamento entre os métodos e veja se fazem sentido. Busque por comparação entre períodos e estabeleça faixas de amostra. E, por fim, envolva os profissionais certos. Você, enquanto UX, precisa ter ao lado pessoas que entendam de Análise de métricas e B.I para que sua visão e hipóteses não contaminem os dados e assim, consiga obter o insumo mais transparente e puro possível para uma tomada de decisão inteligente. Além disso, faça com que esse tipo de informação chegue a outras equipes e a outros níveis da sua organização. Desenvolva relatórios, análise de coletas e prepare dashboards de acompanhamento, mas este é um assunto para uma próxima conversa, combinado?

Gabriel Pinheiro Maciel