Como a Hostinger criou um dos assistentes de bate-papo mais avançados baseados em LLM
O Kodee, criado pela Hostinger, utiliza tecnologia avançada para otimizar o atendimento ao cliente, com padrões que simulam a comunicação em linguagem humana.
Um modelo de linguagem de larga escala (LLM) é uma tecnologia de inteligência artificial desenvolvida para realizar tarefas ao interpretar a linguagem humana. Um exemplo conhecido é o ChatGPT, que se tornou popular no mundo inteiro.
Nesse contexto, a Hostinger lançou um assistente de bate-papo com recursos avançados baseados em LLM. A empresa, especialista em hospedagem de sites, traz essa tecnologia em suas soluções para otimizar a experiência dos usuários.
O Kodee realiza o atendimento inicial ao cliente e soluciona questões simples, permitindo que os agentes direcionem seus esforços para dúvidas mais complexas.
O que é LLM?
Esse modelo de linguagem utiliza um programa de aprendizado de máquina que possibilita trabalhar com padrões baseados na linguagem humana. Dependendo de sua configuração, ele também pode gerar imagens, vídeos e áudios, simulando conversas.
Os LLMs funcionam baseados em uma arquitetura chamada transformer, que permite que eles compreendam contextos longos em um texto, algo que aprimora sua capacidade de entender nuances e gerar respostas mais coerentes e contextualizadas.
É possível utilizar trilhões de parâmetros para analisar dados e permitir que o computador processe informações em linguagem natural, ou seja, humana. Quanto maior a quantidade, mais complexas serão as interações que a IA poderá reconhecer.
Alguns exemplos já disponíveis de LLMs são o GPT (Generative Pre-trained Transformer), da OpenAI, e o BERT (Bidirectional Encoder Representations from Transformers), do Google.
Esses modelos são geralmente usados em áreas como atendimento ao cliente, criação de conteúdo, assistentes virtuais e na automação de processos de linguagem em várias indústrias
Como foi o processo conduzido pela Hostinger?
O processo teve início com o uso do Rasa, um software de IA conversacional de código aberto, aplicado no desenvolvimento de assistentes de texto e voz. Em paralelo, foi utilizada uma camada de LLM como complemento. Os resultados iniciais foram promissores.
Contudo, o modelo apresentou limitações por lidar apenas com interações previamente descritas, respondendo somente 20% das conversas. Já a LLM, apesar de compreender melhor as solicitações, fornecia respostas genéricas por não estar treinada.
Diante disso, a Hostinger deixou de utilizar o Rasa e adotou exclusivamente a LLM. Como soluções prontas não estavam disponíveis no mercado, a empresa desenvolveu seu próprio assistente de IA baseado apenas em LLM, o Kodee.
Desafios técnicos e integração do Kodee
A integração do Kodee aos sistemas existentes da Hostinger representou um desafio técnico, pois era necessário que o assistente tivesse acesso a dados de APIs, bancos de dados e plataformas de chat. Para alcançar esse objetivo, o desenvolvimento seguiu as etapas abaixo:
1. Configuração do ambiente
Para o lançamento do Kodee, foi necessário configurar variáveis como chaves de API e credenciais de banco de dados. A chave API do OpenAI foi essencial para a conexão, sendo salva em um arquivo .env para o desenvolvimento local. Uma demonstração foi disponibilizada no arquivo .env.example, listando as variáveis necessárias.
2. Construção do backend com FastAPI
Para gerenciar as solicitações dos clientes, o FastAPI foi escolhido como framework devido à sua modernidade, eficiência e compatibilidade com Python. Suas principais vantagens incluem:
Velocidade: oferece respostas rápidas às solicitações.
Simplicidade: permite um código mais resumido e fácil de escrever.
Programação assíncrona: suporte a operações assíncronas, ideal para um chatbot.
3. Gerenciamento de bancos de dados
Foi necessário um sistema robusto para gerenciar interações com os usuários. O PostgreSQL, banco de dados objeto-relacional de código aberto, foi escolhido para lidar com dados estruturados.
Além disso, o Redis auxiliou no armazenamento de estruturas de dados na memória, rastreamento de interações e preservação do contexto, permitindo decisões mais informadas pelo chatbot.
4. Monitoramento da intenção do usuário
Nem todas as dúvidas podem ser resolvidas pelo chatbot. Para evitar frustrações, o Kodee é capaz de transferir o atendimento para um agente humano.
O sistema identifica essa necessidade com a função is_seeking_human_assistance, que avalia se há demanda por intervenção humana. Caso necessário, a função get_handoff_response_message notifica o agente.
5. Roteamento de bate-papo entre agentes
O Kodee permite o encaminhamento eficiente de dúvidas para profissionais especializados, garantindo respostas precisas e personalizadas. Por exemplo, dúvidas relacionadas a domínios recebem o rótulo adequado na conversa, ativando o comando DomainChatHandler.
6. Consultas com manipuladores, funções e APIs
Base: classe que define a estrutura e funcionalidade comum.
Especializado: extensão da base, adaptada para dúvidas específicas.
Esses manipuladores integram funções modulares e interagem com APIs para executar ações específicas e atualizar dados conforme necessário.
7. Execução local do aplicativo
O Docker foi implementado para garantir a funcionalidade do modelo em diferentes ambientes. Após a inicialização do servidor FastAPI e dos bancos de dados associados, o sistema passou a operar, permitindo a interação dos usuários com o Kodee por meio de endpoints de API.
Qual foi o impacto do assistente na resolução de dúvidas no site?
A Hostinger treinou e aperfeiçoou o Kodee com informações específicas sobre seus produtos, ferramentas e serviços de atendimento, permitindo que o assistente fornecesse orientações precisas e personalizadas aos clientes.
Atualmente, o Kodee está integrado aos principais produtos e plataformas da Hostinger. A ferramenta consegue resolver, de forma integral, 50% das dúvidas no suporte via chat ao vivo, o que equivale a cerca de 5,5 mil atendimentos diários, com um tempo médio de resposta de 20 segundos.
Durante o desenvolvimento, a Hostinger teve a oportunidade de aprender com os erros para aprimorar o Kodee. No início, o processo foi conduzido muito rapidamente e com pouca análise de dados, o que dificultava a identificação dos motivos de falhas nas interações.
Com o Kodee, tornou-se possível identificar com precisão os pontos que precisam de ajustes, e essas melhorias imediatas foram essenciais para o lançamento de um assistente de bate-papo avançado.
Um LLM autodesenvolvido é ideal para negócios com processos complexos, e o Kodee demonstrou ser capaz de atender a essas demandas em um mercado altamente competitivo.
LEIA TAMBÉM
De 0 a 10, o quanto você recomendaria este artigo para um amigo?