Como o laboratório lê as respostas dos modelos

Uma execução típica começa com uma cena bastante banal: uma pessoa da equipa faz uma pergunta ao modelo sobre uma empresa e observa o que, exatamente, surge na resposta. Não apenas o nome. Importam a categoria, a função do produto, o público presumido, os concorrentes, os temas vizinhos. Às vezes o modelo acerta na cidade, resume com cuidado uma linha do site e, logo a seguir, empurra a empresa para uma categoria muito próxima, mas errada. Para o laboratório, esta pequena torção vale mais do que uma alucinação vistosa: mostra como o modelo remenda falhas de conhecimento com as palavras que tem à mão.

A conclusão aparece mais tarde. Uma resposta isolada pode ser ruído, efeito de uma formulação específica da pergunta ou particularidade do sistema de IA escolhido. Por isso, o Atelier das Entidades recolhe séries de perguntas iguais e próximas: sobre escolha de fornecedor, comparação de soluções, explicação de uma categoria, procura de alternativas, esclarecimento das funções de um produto. A equipa não finge ter a internet inteira à vista. Reúne um fragmento denso do comportamento do modelo — denso o suficiente para notar um desenho que se repete. Se várias execuções voltam a levar a marca para o lado de uma “agência de marketing”, mesmo quando o site quase não fala de marketing, já não parece um deslize isolado na resposta.

A repetibilidade, neste trabalho, não exige coincidência literal. Um modelo de linguagem raramente repete o mesmo parágrafo palavra por palavra; a questão principal fica noutro ponto, longe da cópia verbal. O laboratório observa a trajetória semântica: para onde o modelo leva a empresa, que rótulos escolhe, onde perde a ligação entre produto, público e categoria. As formulações podem oscilar, mas, se a rota se mantém, a observação torna-se estável. É como pôr a marca em cima da mesa sob lâmpadas diferentes: as sombras mudam, o contorno não.

Os erros silenciosos ocupam um lugar próprio. Uma alucinação grosseira vê-se logo: o modelo inventou um escritório, um serviço inexistente, um fundador que não existe. O problema mais comum é mais fino. O modelo pode nomear o setor correto e, ainda assim, perder o público real. Pode perceber que o produto está ligado à comunicação com clientes e, quase sem se notar, conduzi-lo para a categoria conhecida dos serviços de agência. O leitor acena com a cabeça, porque a resposta soa plausível. Aí está o risco: esse erro não parte o texto, altera o mapa do terreno.

O método tem limites, e o laboratório não os esconde numa nota de rodapé. As respostas de IA são instáveis: dependem do modelo, do modo de funcionamento, do contexto da conversa, de atualizações do sistema e, por vezes, até da ordem das perguntas de seguimento. Por isso, os relatórios mantêm-se dentro de uma fórmula mais estreita: comportamento observável dos modelos em condições definidas. A formulação é decisiva. É mais rigoroso escrever: “nestas execuções, o modelo associa a empresa a uma categoria vizinha e não preserva a diferença do produto”. Soa menos espetacular. Também é mais honesto.

As previsões são marcadas à parte. Quando a equipa supõe que um certo tipo de confusão se pode intensificar com o crescimento da pesquisa por IA, isso permanece uma avaliação; não passa a facto estabelecido. Nos materiais de trabalho, o laboratório usa o seu próprio eixo de classificação: quatro formas pelas quais o modelo perde a entidade da marca — desloca a categoria, substitui a função, puxa um vizinho, deixa um espaço vazio. Esta moldura muda a conversa: em vez de discutir o gosto das frases, procura-se o ponto em que se rompeu a ligação entre a empresa e o seu rasto linguístico.

Princípios de trabalho

1. A resposta vem antes da conclusão

   Primeiro regista-se uma resposta concreta do modelo a uma pergunta concreta. A interpretação só aparece depois da comparação entre várias observações.

2. O sentido pesa mais do que as palavras

   A repetibilidade é medida pela preservação da trajetória semântica, mesmo quando as frases diferem. Se a marca volta sempre à mesma categoria errada, isso conta como sinal estável.

3. Os erros silenciosos ficam visíveis

   O laboratório analisa em separado deslocamentos plausíveis: um público errado, uma função vizinha, uma categoria quase certa. Muitas vezes, estes erros são mais perigosos do que invenções grosseiras.

4. As condições são descritas de forma explícita

   Cada execução é lida no contexto do modelo, da pergunta e do cenário. A equipa não apresenta o comportamento observável da IA como verdade final sobre a marca.

5. A previsão fica separada

   Avaliações sobre desvios futuros são marcadas como hipóteses. O laboratório não apresenta uma tendência provável com a entoação de um facto estabelecido.