Este artigo tem por finalidade apresentar um referencial que visa a oferecer um embasamento teórico e prático para a criação de indicadores. Para efeito de exemplo, será apresentando um modelo de indicador qualitativo para medir a qualidade do documento de uma especificação funcional de requisitos de software.

Esta pesquisa nasceu da necessidade de criação de um indicador qualitativo para o Departamento de Análise de Sistema, no qual eu atuo e também fez parte da minha monografia de conclusão do MBA Excelência em Gestão de Projetos e Processos Organizacionais.

O objetivo de um indicador qualitativo para o Departamento de Análise foi medir e avaliar a qualidade do documento de especificação funcional elaborado de forma a promover uma melhoria contínua desse processo.

Criação de indicadores

De acordo com TJTO (2010), os indicadores permitem a avaliação do desempenho da organização, segundo três aspectos relevantes: controle, comunicação e melhoria.

Para a formulação de indicadores, é necessário um conjunto de passos para assegurar os princípios da qualidade. Seguem os passos definidos pelo TJTO (2010):

1. Identificação do nível, dimensão, subdimensão e objetos de mensuração.
2. Estabelecimento dos indicadores: É necessário considerar alguns componentes e requisitos básicos, para garantir a sua operacionalização:

Os componentes básicos:

• Medida (relação matemática), num determinado momento, grandeza qualitativa ou quantitativa que permite classificar as características, resultados e consequências dos produtos, processos ou sistemas.
• Fórmula de obtenção do indicador que indica como o valor numérico (índice) é obtido.
• Índice – valor de um indicador em determinado momento.
• Metas – são os índices atribuídos para os indicadores a serem alcançados num determinado período de tempo. São pontos ou posições a serem atingidos no futuro.

Requisitos básicos:

• Disponibilidade: facilidade de acesso para coleta.
• Simplicidade: facilidade de ser compreendido.
• Estabilidade: permanência no tempo, permitindo a formação de série histórica.
• Rastreabilidade: facilidade de identificação da origem dos dados, seu registro e manutenção.
• Representatividade, confiabilidade e sensibilidade: atender às etapas críticas dos processos, ser importante e abrangente.

Tipos de indicadores:

• Indicadores de eficiência (Produtividade): medem a proporção de recursos consumidos com relação às saídas dos processos.
• Indicadores de eficácia (Qualidade): focam as medidas de satisfação dos clientes e as características do produto/serviço.
• Indicadores de Efetividade (impacto): focam as consequências dos produtos/serviços. Fazer a coisa certa da maneira certa. A efetividade está vinculada ao grau de satisfação ou ainda ao valor agregado, a transformação produzida no contexto em geral.

3. Validação preliminar dos indicadores com as partes interessadas: Selecionar e validar os indicadores com as partes interessadas é fundamental para obtenção de um conjunto de indicadores, que propicie uma visão global da instituição e represente seu desempenho. Durante a validação é necessário levar em conta os requisitos básicos apresentados no passo (2. Estabelecimento de indicadores).

4. Construção de fórmulas e estabelecimento de metas:

Construção de fórmulas: A fórmula do indicador deve ser de fácil compreensão e não envolver dificuldades de cálculo ou de uso, proporcionando a obtenção de um resultado, numérico ou simbólico, facilmente comparável com valores predeterminados, posteriores ou anteriores, para apoiar o processo decisório.

Estabelecimentos de metas: Meta é o índice de resultado que se espera alcançar com o desempenho do processo que está sendo medido. É o desafio a ser alcançado. Todos os indicadores de desempenho devem ter metas, podendo ser definida mais de uma meta por indicador. As metas têm como objetivo serem suficientes para assegurar a efetiva implementação da estratégia. A finalidade de cada meta é enunciada no detalhamento do indicador e expressa um propósito da organização.

5. Definição de Responsáveis: Após a construção das fórmulas e o estabelecimento das metas, é importante estabelecer os responsáveis pela apuração do indicador. Indicadores sem responsáveis por sua coleta e acompanhamento não são avaliados, tornando-se sem sentido para a organização. Uma vez identificado o responsável pela coleta, é definida a periodicidade de coleta do indicador.

6. Geração de Sistema de Coleta de Dados: Etapa complexa, uma vez que há necessidade de se coletar dados acessíveis, confiáveis e de qualidade. A identificação dos dados varia de acordo com o tempo e os recursos disponíveis, assim como o tipo de informação necessária. Após definidos os métodos de coleta das informações, é necessário seguir para o próximo passo, de validação dos indicadores pelas partes interessadas.

7. Ponderação e Validação Final dos Indicadores com as Partes Interessadas: A ponderação e a validação final dos indicadores com as partes interessadas são fundamentais para a obtenção de uma cesta de indicadores relevante e legítima que assegure a visão global da organização e, assim, possa representar o desempenho da mesma.

8. Mensuração do Desempenho: Após a execução de todos os passos básicos para a criação do indicador e sua sistemática, torna-se necessário medir o que se deseja. Esse passo é iniciado com a coleta de dados e o cálculo do indicador, e finalizado com a conversão do valor obtido na nota correspondente.

Interpretação de indicadores

Promover a análise e a interpretação dos dados é aspecto primordial para o processo decisório, pois, caso contrário, a existência de uma sistemática de monitoramento e avaliação não proporciona ganhos e benefícios para a organização, havendo apenas dispêndio de tempo e de recursos. A análise e a interpretação de dados podem ocorrer de diversas formas, após a prévia coleta e mensuração das informações. Algumas formas de análise e interpretação ocorrem por meio de:

• Gestão do dia‐a‐dia.
• Reuniões gerenciais;
• Reuniões operacionais;
• Intercâmbio de informações e soluções.

Para interpretar um indicador, deve-se primeiro definir sua formatação, porém nunca se esqueça de tornar esse processo de visualização e interpretação o mais fácil possível.

É necessário avaliar os seguintes critérios em seu indicador: a meta deve estar relacionada ao alcance dos resultados, ou seja, índices fora do padrão da meta geram um plano de ação.

Seguindo a metodologia apresentada no ciclo PDCA, origine suas ações sempre na interpretação de seu indicador.

Destaca-se que não devemos construir indicadores apenas para medir, mas para estabelecer indicadores que possam aferir resultados, bem como monitorar, orientar e induzir o desempenho da organização.

Nesse contexto, os indicadores funcionam como ferramentas que conduzem ao comportamento desejado e devem dar aos indivíduos o direcionamento que precisam para atingir os objetivos da organização.

Divulgação de indicadores

Indicadores devem ser divulgados a cada período de coleta, divulgando seu histórico para todo o setor envolvido, pois indicadores são resultados de três ações – coleta, avaliação e planejamento de ações. Divulgue os seus indicadores, mantenha-o sempre atualizado e organizado.

Modelo de indicador qualitativo

De acordo com o descrito acima e o modelo de formulário proposto por Hazan e Leite (2003), foi composto o indicar descrito pelo Quadro 1.

Quadro 1. Indicador de Qualidade do Conteúdo da Especificação Funcional 

ESPECIFICAÇÃO DO INDICADOR DE EFICÁCIA (QUALIDADE)
Título		Sigla	Revisão
Indicador de Qualidade do Conteúdo da Especificação Funcional avaliado pela área Técnica.		IQCEFT	dd/mm/aaaa
Tipo Chave	Abrangência	Unidade de Medida	Periodicidade
Processos Relativos à especificação funcional	Departamento de Desenvolvimento.	Média das notas atribuídas às especificações avaliadas pela área Técnica.	Mensal
Definição	O indicador de eficácia (qualidade) deve aferir o grau de qualidade do conteúdo da especificação funcional.
Objetivo	Fazer com que o conteúdo da especificação funcional tenha qualidade suficiente para que a equipe de desenvolvimento implemente a solução com clareza, que não ocorra retrabalho e atenda à necessidade do cliente.
Fórmula de Cálculo	IQCEFT = A média das notas atribuídas às especificações avaliadas.
Definição dos Parâmetros	A nota deve ser única por especificação. Seguem as opções que devem ser consideradas na avaliação:Nulo – Não avaliada ou não se aplica.1 – Avaliado com nível muito ruim.2 – Avaliado com nível ruim.3 – Avaliado com nível regular.4 – Avaliado com nível bom.5 – Avaliado com nível muito bom.6 – Avaliada com nível excelente. Criar combo “Solicitação de Melhoria” com as opções abaixo. Quando julgar aplicável, o responsável pela avaliação técnica deverá selecionar a opção que considera não estar bem definida e requer melhoria. Introdução e escopo não estão bem definidos. As premissas não estão bem definidas. As restrições técnicas e de negócio não estão claras. A necessidade do cliente a ser atendida não está clara e nem definida de forma funcional. Protótipos de Interface Gráfica não estão bem detalhados. Criar campo texto, chamado “Justificativa”. Neste campo o responsável pela avaliação técnica deverá justificar a avaliação da especificação, principalmente quando a especificação for avaliada com uma nota abaixo de 4.
Meta a ser atingida	A meta a ser atingida é possuir uma média de avaliação igual ou superior à nota “4 – Avaliado com nível bom”.
Fonte de Dados	Documento de Especificação Funcional.
Método de Análise	A coleta de dados para o indicador IQCEFT deve iniciar-se na aprovação técnica efetuada pelo Departamento de Desenvolvimento. O indicador deve ser analisado mensalmente, visando à verificação de sua aderência com os objetivos relativos à qualidade da especificação funcional. Os resultados do indicador devem ser analisados. Caso a média esteja abaixo do limite estabelecido, deve-se analisar o motivo pelo qual as especificações não atingiram a qualidade mínima esperada.
Responsável pela medição e Análise	Gerente de Análise de Sistemas e Analistas de Sistema.
Responsável pela melhoria do Uso	Gerente de Análise de Sistemas e Analistas de Sistema.
Arquivo	Intranet, na seção de Indicadores da Gerência de Análise de Sistema.

Sugere-se que semelhante ao indicador criado para a área Técnica (Desenvolvimento), descrito no Quadro 1 acima, também seja criado um indicador para o Cliente, de forma que as duas avaliações sejam confrontadas.

Além do “Indicador de Qualidade do Conteúdo da Especificação Funcional”, é interessante a elaboração dos dois indicadores descritos abaixo.

• Estimativa de prazo: O objetivo é ajudar a definir uma melhor estimativa de prazo. Este indicador irá avaliar o prazo estimado e o prazo efetivamente gasto para elaboração dos documentos de especificação funcional de requisitos de software. Para este indicador, considerar dois fatores:
  • Tempo estimado em horas;
  • Data de entrega estimada.

Comparar essas informações com:

• O tempo efetivamente gasto em horas;
• Data de conclusão.

O “tempo gasto em horas” X“ tempo previsto em horas” dá a real noção da eficiência dos prazos estimados.

O “data de entrega estimada” X “data de conclusão” dá a real noção da assertividade do planejamento dos prazos. Para os casos em que a data prevista de entrega não foi comprida, mas o tempo estimado em horas foi cumprido, deve ser registrado o motivo do atraso, dentre os motivos:

• Aguardando informações do cliente.
• Tempo investido em tarefas não planejadas.
• Motivos de retrabalho: O objetivo deste indicador é identificar as causas de retrabalho que podem ser geradas por diversos fatores. Seguem alguns exemplos: a) Especificação devolvida pelo cliente por conflito de informações e/ou falta de informação; b) Especificação devolvida pelo desenvolvimento por conflito de informações e/ou falta de informação; c) Restrição técnica; d) Mudança de escopo; e) Revisor diferente do requisitante. Para cada “revisão” da especificação, adicionar o atributo “motivo” de acordo com uma lista de motivos pré-definida, como:
  • Requisitos incompletos ou faltantes;
  • Restrição técnica;
  • Alteração de escopo.

Depois, gerar um indicador quantitativo usando os tipos de retrabalho pré-definidos. A necessidade de utilização de mais dois indicadores surgiu como forma de complementação do “Indicador de Qualidade do Conteúdo da Especificação Funcional”, porém o novo indicador “Motivos de retrabalho” ainda não foi definido devido à grande complexidade em mapear as possíveis causas de retrabalho e como medi-las através de um indicador.

O Quadro 2 apresenta a sugestão para o indicador de Eficiência de estimativa de prazos.

Quadro 2. Indicador de Eficiência da Estimativa de Prazos.

ESPECIFICAÇÃO DO INDICADOR DE EFICIÊNCIA (PRODUTIVIDADE)
Título		Sigla	Revisão
Indicador de Eficiência da Estimativa de Prazos		IEEP	dd/mm/aaaa
Tipo Chave	Abrangência	Unidade de Medida	Periodicidade
Prazo estimado e o prazo efetivamente gasto.	Departamento de Análise de Sistema.	Diferença entre o prazo estimado e o prazo efetivamente executado (para mais ou menos) em horas.	Tempo de elaboração das Especificações Funcionais.
Definição	O indicador de eficiência (produtividade) deve aferir o grau de assertividade da estimativa de prazo versus o prazo realmente executado.
Objetivo	Fazer com que o processo de estimativa de prazos seja o mais assertivo possível.
Fórmula de Cálculo	IEEP = PE – PR
Definição dos Parâmetros	PE= Prazo Estimado; PR =Prazo Realizado
Meta a ser atingida	A meta a ser atingida é que a diferença obtida seja menor ou igual ao prazo estimado .
Fonte de Dados	Listas de Tarefas com o planejamento semanal.
Método de Análise	A coleta de dados para o indicador I IEEP deve iniciar-se na conclusão da elaboração da especificação funcional e liberação da mesma para aprovação técnica e do cliente. O indicador deve ser analisado mensalmente, visando à verificação de sua aderência com os objetivos relativos à assertividade na estimativa dos prazos. Os resultados do indicador devem ser analisados. Caso a diferença seja diferente de zero (0), deve-se analisar o motivo pelo qual as especificações não foram concluídas no prazo estimado.
Responsável pela medição e Análise	Gerente de Análise de Sistemas e Analistas de Sistema.
Responsável pela melhoria do Uso	Gerente de Análise de Sistemas e Analistas de Sistema.
Arquivo	Intranet, na seção de Indicadores da Gerência de Análise de Sistema.

 Referências:

• HAZAN, Claudia; LEITE, Júlio Cesar Sampaio do Prado. Indicadores para a Gerência de Requisitos. Anais do WER03 – Workshop em Engenharia de Requisitos, Piracicaba-SP, 2003. Disponível em: http://wer.inf.puc-rio.br/WERpapers/artigos/artigos_WER03/claudia_hazan.pdf
• Tribunal de Justiça do Tocantins – TJTO. Manual para a Construção de indicadores. 2010.