Quanto de IA uso nos meus artigos, e o que isso realmente significa
Antes de entrar no tema deste artigo, um contexto rápido. Os artigos que escrevo, no site e aqui no LinkedIn, fazem parte de uma coleção chamada Matemática para o Século XXI, que percorre a matemática desde suas raízes históricas até aprendizado de máquina e inteligência artificial. É nesse contexto, de alguém que escreve sobre matemática aplicada e IA, que a pergunta deste artigo faz sentido.
A pergunta errada
Toda vez que alguém descobre que uso IA para escrever, cedo ou tarde aparece a pergunta. Quanto por cento desse texto é seu, e quanto é da máquina. É uma pergunta natural, mas é a pergunta errada, porque não existe uma unidade de medida honesta para responder. Um parágrafo pode ter vindo de um rascunho meu, reescrito três vezes pela ferramenta, e devolvido para eu cortar metade. Outro pode ter nascido de uma pergunta minha, respondida por ela, e publicado quase sem alteração. Contar palavra por palavra e atribuir uma origem não captura nada real sobre o processo. A pergunta que substitui essa é mais simples de responder, e mais honesta. Não é quanto, é o quê. O que eu trago para esse processo, que a ferramenta não tem e não pode ter sozinha.
O que eu trago que a IA não tem
A primeira coisa é a escolha e formulação do problema. A IA responde bem quando a pergunta já está bem colocada. Ela não decide sozinha que vale a pena escrever sobre um assunto. Boa parte do que a ferramenta gera comigo nunca vira artigo. Fica em rascunho, descartado, porque na minha avaliação não estava bom o suficiente, ou não dizia nada novo. Essa curadoria é inteiramente humana. Essa escolha, do tema, de qual ângulo vale a pena, e por quê, é minha, sempre.
Mas o mais importante é o julgamento sobre o que está certo. Não existe atalho para isso. É preciso já saber o suficiente do assunto para reconhecer quando algo soa errado, mesmo bem escrito, mesmo fluente, mesmo com aparência de rigor.
Um caso real de erro que eu peguei
Durante a série sobre validação matemática de modelos de IA, no artigo sobre o modelo de precificação de imóveis da Zillow, a ferramenta escreveu um título de seção assim, "O problema que a média nacional esconde, Nova York".
Parecia certo. Mas alguns parágrafos antes, no mesmo artigo, já tínhamos estabelecido que a Zillow publica erro mediano, não erro médio, e que essa diferença é justamente um dos pontos centrais do texto, porque mediana e média respondem perguntas diferentes sobre uma distribuição de erros. Usar a palavra errada no título contradizia o próprio argumento que o artigo tinha acabado de construir duas seções antes.
É um erro pequeno, uma palavra só, fácil de passar despercebido numa leitura rápida. Mas é o tipo de erro que só se percebe quando você já entende a diferença entre os dois conceitos, e está prestando atenção em manter consistência entre o que foi dito antes e o que está sendo escrito agora. Apontei a inconsistência, e o título foi corrigido para mediana nacional, coerente com o resto do artigo.
Onde a IA realmente me ajuda
Não é só desconfiança. Existem pelo menos quatro formas em que o processo genuinamente melhora com a ferramenta, não só mais rápido, melhor.
A primeira é formalizar uma intuição que eu já tinha, mas não sabia como tornar concreta. Num artigo sobre quanto de matemática um Cientista de Dados realmente precisa, eu já sabia que toda profissão técnica tem um andar de cima que a maioria nunca visita. A primeira tentativa de ilustrar isso usou um exemplo de teoria jurídica obscuro demais, um nome que praticamente ninguém reconhece, nem eu sabia o que significava. Apontei que não funcionava, e a ferramenta substituiu por Direito Romano, algo que qualquer pessoa já ouviu falar na escola, cumprindo exatamente o papel que eu queria.
A segunda é fazer contas repetitivas rápido, sem erro de digitação. Comparar três formas diferentes de medir a mesma diferença de variância, desvio-padrão, variância, e probabilidade de cauda, exige repetir a mesma fórmula três vezes, com números diferentes. É exatamente o tipo de tarefa onde erro humano de conta é comum, e onde a ferramenta é confiável, desde que eu confira o resultado contra a lógica do que deveria acontecer.
A terceira é apontar quando uma explicação está tecnicamente incompleta, não errada, só incompleta, antes de eu publicar. Várias vezes, ao pedir para desenvolver um raciocínio, a resposta veio com uma ressalva que eu não tinha pensado em incluir, tipo avisar que um exemplo didático usa uma suposição simplificadora que não valeria num caso real.
A quarta é gerar as ilustrações e gráficos que acompanham os artigos. Praticamente tudo que uso é gerado pela IA. Eu descrevo o que a figura precisa mostrar, e qual dado real ela precisa representar com precisão. Já aconteceu de eu pedir ajuste porque uma legenda estava no lugar errado, ou porque a escala do eixo escondia a diferença que a figura deveria evidenciar. A imagem só vai ao ar depois dessa checagem, do mesmo jeito que o texto.
Este próprio artigo passou pelo mesmo processo. A primeira versão usava, como exemplo de erro corrigido, um caso da minha série sobre simulação social, que exigia conhecer todo o contexto de cinco artigos anteriores para fazer sentido. Troquei pelo exemplo da média e mediana, que já estava sendo citado aqui mesmo, mais simples, mais direto, sem pedir ao leitor nenhum conhecimento prévio.
O processo, passo a passo
Uma ideia geralmente começa comigo, numa frase solta, às vezes mal formulada. Escrevo o que quero dizer, do jeito que sai, sem me preocupar com forma.
A ferramenta devolve uma versão desenvolvida, mais longa, mais estruturada. Eu leio, e quase sempre encontro algo para corrigir. Um número que precisa ser conferido, uma generalização forte demais, uma palavra que não é o meu tom.
Aponto o problema, peço a correção. Às vezes isso acontece duas ou três vezes seguidas no mesmo parágrafo, até o texto ficar no ponto certo.
Só depois disso o texto vira candidato a publicação. E mesmo aí, ainda decido se aquilo realmente merece ir para o site, ou se fica de lado.
O que eu nunca deixo a IA decidir sozinha
Escolha de tema, sempre minha. Nenhum artigo nasce de sugestão espontânea da ferramenta sobre o que eu deveria escrever a seguir.
Tom e registro, sempre meu. Frases curtas, sem travessão, sem certas palavras que não soam como eu, são decisões minhas, aplicadas de forma consistente, não geradas por acaso.
Quando parar de aprofundar um assunto, sempre minha. A ferramenta tende a continuar explicando, adicionando mais uma camada técnica, mais uma ressalva. Decidir que já está bom, e que mais uma seção só deixaria o texto cansativo, é julgamento editorial que continua comigo.
O que fica de fora, sempre minha decisão. Um exemplo que parece bom mas que eu não consigo verificar direito, uma analogia que soa esperta mas não é precisa, ficam fora, mesmo que a ferramenta os tenha sugerido com confiança.
Por que isso não é diferente de qualquer ferramenta anterior
Uma calculadora não decide qual conta fazer, só executa a conta rápido. Um corretor ortográfico não decide o que você quer dizer, só aponta onde a grafia falhou. Um revisor humano lê seu texto e sugere melhorias, mas a decisão final de aceitar ou não continua sua.
A IA se parece com as três coisas ao mesmo tempo, e vai além delas numa forma específica. Ela não só executa e aponta erro, ela também propõe estrutura, frase, argumento inteiro. É por isso que a vigilância precisa ser maior do que com uma calculadora, mas o princípio de fundo é o mesmo. A ferramenta amplia o que você já sabe fazer. Não substitui saber fazer.
O ponto central
Minha agregação não está nas palavras que aparecem na tela. Está nas perguntas que eu faço antes delas aparecerem, e na checagem que faço depois.
É a mesma tese que venho defendendo em toda a série sobre validação matemática de modelos de IA. Não é a ferramenta que erra sozinha, é a ausência de alguém checando o resultado antes de aceitar ele. Um texto, assim como um modelo de precificação de imóveis, pode parecer certo, fluente, bem formatado, e ainda assim estar errado num detalhe que só quem já sabe o suficiente do assunto consegue perceber.
Uso IA em praticamente todo artigo que publico. Uso porque acelera muito o processo de ir de ideia solta a texto organizado. Mas o processo inteiro só funciona porque, em algum ponto de cada artigo, alguém que entende o assunto parou, conferiu um número, rejeitou uma frase, e decidiu que aquilo ainda não estava bom o suficiente. Esse alguém segue sendo eu, o tempo todo.
Comentários