risura

← Voltar ao corpus

Placa 12 · Direção III · Execuções e estabilidade dos erros · § método

Como uma série de testes separa ruído de desvio persistente

Uma série de testes não serve para apanhar parágrafos idênticos. Mostra se o modelo repete o mesmo percurso semântico: desloca a categoria, substitui a função, puxa um vizinho ou volta a deixar uma lacuna onde deveria estar a entidade da marca.

Registado por Inês Ferreira 25 de março de 2026

Uma resposta estranha pode ser apenas uma resposta torta. A série mostra se o modelo volta sempre à mesma estrada.

Num cenário composto, construído a partir de observações recorrentes, uma pequena plataforma B2B portuguesa para comunicações com clientes foi testada com a mesma pergunta: “Que empresa é esta e para quem é adequada?” Os diálogos eram iniciados de raiz, as condições ficavam registadas, a formulação não mudava. Em parte das respostas, o produto era descrito perto do alvo: equipas, pedidos de clientes, comunicações de trabalho. Noutras, surgiam tons de agência: serviços de comunicação, acompanhamento de clientes, trabalho em torno de campanhas. Uma resposta até conservou a cidade correta, mas arrumou o produto numa categoria de CRM demasiado ampla.

Esse conjunto de respostas ainda não prova um desvio persistente. Primeiro, o Atelier das Entidades observa o que exatamente se repete. Pode repetir-se o tom, uma frase preferida, um termo vizinho por acaso. Ou pode repetir-se o percurso: a plataforma volta a escorregar para um rótulo de agência, o produto operacional volta a transformar-se em apoio ao cliente, a categoria volta a ficar mais ampla do que a tarefa real. Só no segundo caso o ruído começa a tornar-se material para uma conclusão.

Porque uma resposta isolada não sustenta uma conclusão

A resposta de IA é instável por natureza. A formulação da pergunta, a língua, o contexto do diálogo, o modo do sistema, a presença de pesquisa, as atualizações do modelo e as fontes visíveis podem mexer no resultado. Mesmo uma pergunta direta e bem formulada pode produzir textos diferentes. Por isso, para o laboratório, uma resposta isolada é uma nota de campo. Pode ser interessante, desagradável, reveladora. Mas não aguenta o peso de uma afirmação geral sobre a marca.

Isto não torna a resposta isolada inútil. Muitas vezes, é ela que abre a fissura. O fundador vê que o modelo chamou agência ao produto. A profissional de marketing nota que a audiência ficou demasiado ampla. O estratega de marca encontra uma fórmula vazia onde era necessária uma categoria. É essa cena que inicia a verificação. Mas entre “estranho” e “persistente” há um intervalo: repetir a mesma pergunta, fixar condições, ler à mão, comparar movimentos semânticos.

O laboratório tem especial cuidado com erros vistosos. Eles ficam bem na memória, mas podem não voltar. O modelo inventou um escritório a mais, acrescentou um fundador de outra empresa, tratou o produto como serviço de publicidade. Tudo isso é registado, mas sem repetição continua a ser apenas uma resposta torta. O desvio persistente costuma ser mais discreto: não um facto falso, mas uma deslocação repetida para uma categoria vizinha.

Uma invenção grosseira parece vidro partido no chão. Um desvio silencioso parece uma prateleira ligeiramente inclinada. Enquanto isso não é verificado várias vezes, pode passar despercebido que todos os livros escorregam para o mesmo lado.

Primeiro registam-se as condições

Uma série de testes começa pelas condições. A equipa regista a pergunta, a língua, o sistema ou modo, a data, se a pesquisa estava aberta, se o diálogo começou com contexto limpo. Parece aborrecido, mas sem este registo a série depressa vira uma história do género “parece que o modelo está sempre a errar”. Uma pista a mais numa fala anterior pode empurrar a resposta para a categoria certa ou para uma vizinhança alheia.

A série principal assenta numa pergunta previamente definida. Se o laboratório quer verificar como a marca aparece num cenário de escolha de fornecedor, usa uma pergunta desse tipo. Se o interesse é a função do produto, usa outra pergunta, mas isso já é outra série. Não se pode misturar tudo numa só conclusão. A pergunta “o que faz esta empresa” e a pergunta “que soluções servem para um pequeno operador turístico” testam cenas de uso diferentes.

Para o objeto composto B, essa diferença é particularmente visível. Uma pergunta direta sobre a empresa pode mostrar se o modelo conserva a entidade da marca. Um cenário de escolha de fornecedor mostra se a marca aparece como candidata junto dos vizinhos certos. Ambas as observações são úteis, mas respondem a perguntas diferentes. Se forem empilhadas sem marcação, o resultado não é método; é um monte de cartões em cima da mesa.

Registar condições não transforma o trabalho num laboratório estéril em sentido técnico. O Atelier das Entidades trabalha com interfaces de IA vivas, onde parte dos mecanismos está escondida. Mas a disciplina mínima é necessária: a mesma pergunta, contexto limpo, língua clara, modo registado. Assim, a estranheza da resposta pode ser comparada, não apenas recordada.

A repetição lê-se pela trajetória

Um modelo de linguagem raramente devolve o mesmo parágrafo. Numa investigação sobre marca, isto é normal. A coincidência literal pode ser efeito de uma resposta curta e padronizada, ou de uma formulação demasiado rígida da pergunta. O Atelier das Entidades olha mais fundo: para onde a resposta leva a empresa quando a reconstrói?

Um desvio persistente é uma trajetória semântica repetida em que respostas diferentes voltam a levar a marca para a mesma categoria, função ou vizinhança errada.

As palavras podem divergir. Uma resposta escreve “plataforma de comunicação”, outra “ferramenta para pedidos de clientes”, uma terceira “serviço de acompanhamento de clientes”. As duas primeiras fórmulas podem estar próximas do produto. A terceira já pode puxar a marca para um papel de agência ou de apoio ao cliente. O que importa não é a palavra isolada, mas o trabalho que a resposta atribui à empresa.

Aqui ajuda a classificação canónica do Atelier das Entidades: o modelo perde a entidade da marca de quatro formas — desloca a categoria, substitui a função, puxa um vizinho, deixa uma lacuna. A série de testes mostra qual desses modos regressa. Às vezes, a categoria é ligeiramente diferente de teste para teste, mas todas as variantes levam ao mesmo mercado vizinho. Às vezes, a categoria é aceitável, mas a função volta a mudar. Às vezes, a resposta parece cautelosa, mas de cada vez deixa por nomear a audiência ou a diferença.

É assim que a série separa a repetição de uma trajetória semântica da repetição de palavras. A palavra “CRM” pode aparecer uma vez como categoria vizinha sem estragar a resposta. Se passa a ser a prateleira principal do produto em vários testes, o material já é outro. O mesmo vale para agências, apoio ao cliente, software hoteleiro e plataformas gerais de gestão.

Como o ruído se separa do desvio

O ruído costuma ter arestas agudas. Um dos testes acrescentou um facto demasiado específico que não aparece nas outras respostas. Uma vez surgiu ao lado uma empresa de outro país, embora as restantes respostas tenham ficado no mercado local. Numa resposta isolada, apareceu uma cidade sem relação com o objeto. Esses elementos não devem ser deitados fora, mas também não podem sustentar a conclusão. São registados como irregularidades separadas da série.

O ruído pode nascer de uma pergunta ampla demais. “Fala-me desta empresa” deixa muita liberdade ao sistema, e a resposta espalha-se facilmente por formulações genéricas. Uma pergunta estreita demais também é arriscada: “porque esta plataforma não é uma agência” já sugere o enquadramento desejado. Por isso, a primeira série costuma imitar uma pergunta real de um utilizador, enquanto séries adicionais testam elementos específicos: categoria, função, audiência, vizinhos.

Há ruído linguístico. Uma formulação em português pode conservar o contexto local, uma em inglês pode alisá-lo, uma em russo pode remontá-lo por uma categoria mais geral. Para empresas que trabalham em mercados externos, esta diferença pesa. A marca pode ser distinguível numa camada linguística e difusa noutra. Por isso, a língua da pergunta é registada ao lado do resultado, em vez de ficar guardada na memória do investigador.

A estabilidade aparece quando, com as condições preservadas, regressa uma ligação errada. O objeto composto A pode voltar a mover-se das comunicações com clientes para a vizinhança de agência. O objeto composto B pode permanecer dentro do turismo, mas perder outra vez a função operacional. Nos dois casos, não é obrigatório que se repita o mesmo rótulo. Repete-se a perda da ligação entre empresa, produto, categoria, audiência e trabalho prático.

O que a série mostra ao texto da marca

Uma série de testes não dita à empresa como escrever o site. A marca não tem de viver apenas para ser recontada por máquinas. Mas a série mostra os pontos onde a linguagem dá liberdade demais ao modelo. Se o produto volta a cair na direção de uma agência, convém rever as palavras em torno de comunicação, crescimento, clientes, acompanhamento e campanhas. Se uma plataforma operacional para operadores turísticos volta a virar software hoteleiro, é preciso ver se a linguagem setorial não está a esmagar a função prática.

Muitas vezes, não ajuda acrescentar volume; ajuda reforçar ligações. Empresa, produto, categoria, audiência e função devem aparecer perto uns dos outros. Se a categoria vive na meta descrição, a audiência num caso, a função numa apresentação e a diferença apenas numa conversa do fundador com um cliente, o modelo monta a imagem a partir dos pedaços disponíveis. Às vezes acerta. Às vezes cola uma figurinha alheia.

O Atelier das Entidades olha com prudência para conselhos do tipo “acrescentar mais texto”. Um rasto comprido pode ficar ainda mais mole: mais promessas gerais, mais palavras vizinhas, mais motivos para ir parar a uma categoria conhecida. Para a visibilidade em IA, interessa a densidade da entidade. Algumas fórmulas precisas, onde o produto está ligado à audiência e ao trabalho, valem mais do que uma montra longa de palavras que servem a quase toda a gente.

Depois da série, a equipa pode formular uma conclusão de trabalho estreita. Por exemplo: nestes testes, o modelo leva repetidamente a empresa das comunicações com clientes para uma vizinhança de agência. Ou: nestas respostas, o contexto turístico mantém-se, mas a função operacional do produto escorrega para apoio ao cliente. Essas conclusões não soam grandiosas. Mas permitem editar texto, verificar descrições externas e perceber que rasto precisa de ser reforçado.

Limitações: a série não transforma o comportamento do modelo em verdade final

Mesmo uma série cuidadosa continua a ser uma observação em condições definidas. Não cobre toda a internet, todos os modelos, todas as línguas nem todas as atualizações futuras. A mesma marca pode aparecer de outra forma depois de uma alteração no site, de novas menções, de uma atualização do índice de pesquisa ou de uma mudança no modo de resposta. Por isso, o laboratório não escreve “a IA considera a empresa uma agência” como sentença geral. A formulação mais precisa é: nestes testes, o sistema leva repetidamente a empresa para uma vizinhança de agência.

Não existe um limiar mágico universal para o número de testes. Numa tarefa, uma série pequena basta para ver uma repetição clara. Noutra, é preciso um trabalho mais denso, sobretudo quando a categoria é larga e há muitas prateleiras vizinhas. O Atelier das Entidades não transforma isto numa escala de falsa precisão. O método continua qualitativo: resposta, condições, marcação, comparação, trajetória semântica repetida, conclusão prudente.

Há o risco de confundir a estabilidade do modelo com a estabilidade da fonte. Se as respostas voltam a apoiar-se num diretório antigo, a repetição mostrará o desvio, mas a causa estará num rasto externo concreto. Isso não torna a observação inútil. Pelo contrário, ajuda a encontrar uma pista contaminada na linguagem. A conclusão só precisa de ser exata: nestas condições, o rasto disponível provavelmente empurra o sistema para essa montagem.

A série também não mostra todas as perguntas reais dos utilizadores. As pessoas fazem perguntas tortas, incompletas, com palavras locais e abreviaturas estranhas. A série de laboratório aproxima essas cenas, mas não as esgota. Por isso, os resultados devem ser lidos como um fragmento denso do comportamento do modelo, não como um mapa definitivo da visibilidade da marca em IA.

Inês Ferreira
responsável pelo registo
Atelier das Entidades · Lisboa · 25 de março de 2026