Engenharia de dados: a importância na implementação de modelos de IA

Um estudo publicado pelo Gartner sobre as principais tendências estratégicas de tecnologia para 2021 destaca áreas de oportunidade para as organizações se diferenciarem dos concorrentes e para que possam operar e impulsionar o crescimento. Foram explorados três pilares nesse estudo: centricidade/foco nas pessoas, independência de localização/hospedagem e entrega/delivery resiliente.

Dentro do pilar entrega resiliente, me chamou a atenção o tema Engenharia de Inteligência Artificial, que salienta que até 2023, pelo menos 50% das organizações terão um grande esforço para promover seus projetos de IA que estão em fase de prototipação e testes para o próximo nível de maturidade: a produção. No Brasil, a IA está em alta, como mostra outro estudo, feito pela IBM e pela Morning Consult, no qual quase metade dos profissionais de TI do Brasil (49%) entrevistados relatam que suas organizações planejam investir em aplicativos de IA prontos para uso nos próximos 12 meses.

Engenharia de dados

Mas por que será que a engenharia de IA teria um papel tão importante nos nossos modelos de inteligência artificial? Não basta apenas termos cientistas de dados e construir modelos? A resposta não é tão simples, vamos entender os aspectos e papeis envolvidos.

A engenharia de IA/dados deve estar envolvida nos seguintes conceitos dentro do ciclo de vida de um projeto de IA:

DataOps:

É a orquestração de pessoas, processos e tecnologias com o intuito de disponibilizar dados de maneira rápida e confiável, para que sejam entregues aos responsáveis pelo projeto de IA que irão construir os modelos.

ModelOps:

É o centro da estratégia corporativa de IA, responsável por orquestrar o ciclo de vida dos modelos em produção, desde a sua promoção para produção até a medição dos KPIs (Key Performance Indicator) técnicos e de negócio. Dentro do ModelOps (ML), está MLOps, que é a prática de colaboração entre os cientistas de dados e os profissionais de operações para gerenciar o ciclo de vida de ML.

DevOps:

É a integração entre as equipes de desenvolvimento e operações (infraestrutura). Como os projetos de IA experimentam alterações dinâmicas no código, modelos e principalmente nos dados, este é o responsável por reagir a essas mudanças rapidamente.

Dados os conceitos, um projeto de inteligência artificial bem sucedido deve tratar a engenharia de IA desde a concepção do projeto, por mais simples que possa parecer, até a sua experimentação e medição dos resultados, seja de um MVP (Minimum Viable Product) ou de um projeto mais robusto.

Desde o nascimento do dado, para que possa ser identificada qual a melhor fonte, se será necessário adquirir ou tratar fontes externas, qualidade do dado, termos de negócio a serem usados (DataOps), passando então para a operacionalização do modelo de IA (ModelOps) e então para a validação contínua dos resultados em produção pelo time de operações, retroalimentando com seu feedback a área de negócios, que irá tratar melhorias com a engenharia de IA.

Os cientistas de dados são os nossos maestros dentro do ModelOps, mas eles precisam de dados, de boa qualidade e relevantes, por isso o envolvimento do engenheiro de dados ser tão crucial. Tudo deve estar interligado. As organizações devem aplicar os princípios do DevOps em todo o pipeline de dados para DataOps e no pipeline de modelo de aprendizado de máquina para MLOps para colher os benefícios da engenharia de IA.

E a grande máxima se repete também em inteligência artificial: independência e isolamento não proporcionam flexibilidade e escalabilidade para os modelos. Devemos realizar pequenos experimentos independentes, sim, mas para escalar, é preciso criar um roadmap alinhado com a estratégia de IA da organização e buscar o envolvimento também da engenharia de IA desde o início do projeto.