Nos anos 2010, enfrentar lacunas técnicas, como a incapacidade de escrever CSS, significava depender de um colega habilidoso ou torcer para que a solução para seu problema estivesse disponível na internet. Atualmente, qualquer pessoa consegue criar CSS razoável ao delegar essa tarefa a um LLM, transformando todos em generalistas.

Essa facilidade leva muitas pessoas a subestimar as habilidades necessárias para trabalhar com LLMs. Para obter produtos gerados por esses modelos — como matemática a nível de PhD, códigos de computador que, embora bons, podem ser sem graça, ou textos no estilo LinkedIn — basta solicitar. Contudo, como todos interagem com os mesmos modelos, os "proficientes em prompt" obtêm resultados semelhantes aos de usuários inexperientes.

Isso é um equívoco. A verdadeira habilidade ao utilizar LLMs é o conhecimento especializado na área em que se está solicitando informações. Um exemplo claro disso é a conversa de Terence Tao com o ChatGPT sobre o recente contraexemplo à Conjectura de Jacob. "Esse não é o mesmo ChatGPT que eu utilizo!" afirmou alguém, reconhecendo a diferença de expertise.

Na conversa de Tao, ele utiliza mensagens curtas e diretas, evitando responder ponto a ponto. Ele sinaliza sua especialização, fazendo com que o modelo entre em modo "conversar com matemáticos" em vez de "explicar para amadores". Tao também desafia as respostas incorretas do modelo, mas sem contradizer diretamente, usando frases como "isso parece mais complexo do que eu esperava".

Além disso, Tao frequentemente faz sugestões e saltos em sua linha de raciocínio, raramente aceitando as recomendações do modelo sobre os próximos passos. No entanto, não é suficiente apenas seguir essas dicas para obter resultados semelhantes nas questões matemáticas. O segredo está em entender a matemática: extrair a ideia relevante da resposta do ChatGPT, sugerir abordagens alternativas e identificar o que "parece estranho".

Assim como Terence Tao é um matemático superior ao que sou como programador, a noção de que o conhecimento na área torna alguém mais eficiente ao usar LLMs é algo que também vivenciei em meu trabalho. Ter uma sólida compreensão do seu código permite que você explore muito mais o LLM do que se não tiver familiaridade. Isso possibilita fazer perguntas como "não, acredito que isso poderia ser mais simples aqui" ou "já não fazemos X?".

Essa reflexão se conecta a uma ideia que já escrevi anteriormente: problemas de design de sistemas são dominados por especificidades concretas, não por princípios genéricos. Embora ambos sejam úteis, prefiro ter familiaridade com a base de código do que um entendimento profundo de sistemas de software. Durante a conversa, Tao faz perguntas específicas, como "X funciona aqui?" ou "dado Y e Z, por que A?". Embora eu não consiga fazer essas perguntas sobre a Conjectura de Jacob, posso fazê-las sobre os sistemas que administro no GitHub.

Para aqueles sem conhecimento na área, é possível recorrer ao LLM para obter algo útil. Isso não é ruim! Porém, quem tem conhecimento pode extrair muito mais valor do mesmo LLM, direcionando-o com precisão. A maioria de nós precisará misturar as duas abordagens, já que temos expertise em algumas áreas, mas não em outras.

A relevância do conhecimento especializado sugere que a expertise humana continuará sendo valiosa, mesmo com o avanço dos modelos. Para muitas tarefas, o humano é o gargalo, não o modelo, pois a parte difícil é comunicar ao modelo exatamente que tipo de solução se deseja. As informações já estão "no modelo", mas é necessário um humano inteligente para extraí-las.

Esta postagem gerou muitos comentários no Hacker News. Alguns usuários compartilharam experiências sobre como a expertise os ajudou e a falta dela os prejudicou. Outros expressaram ceticismo, questionando uma visão que os tranquiliza sobre sua continuidade de valor. Concordo com essa desconfiança; no entanto, suspeito que, quando formos estudar isso, o cenário já terá mudado novamente. Alguns comentaristas apontaram que os prompts matemáticos da OpenAI eram inexperientes, sugerindo que a expertise não é necessária. Responderia que a OpenAI conta com uma equipe de matemáticos especialistas que revisaram e filtraram as descobertas sugeridas pelo modelo, e atualmente não é possível pular essa etapa.