Pergunta2 min de leitura

Como funcionam os grandes modelos de linguagem?

Um grande modelo de linguagem é um programa que aprendeu padrões em uma quantidade enorme de texto escrito e usa esses padrões para prever qual palavra, ou pedaço de palavra, vem a seguir. Repetindo isso várias vezes, saem frases, respostas, redações e código. Por isso ele pode soar muito seguro e, mesmo assim, estar errado.

bre Perguntas para ouvir

A resposta curta

Um grande modelo de linguagem aprendeu padrões em muito texto e os usa para prever a próxima palavra, ou o próximo pedaço de palavra. Quando você repete esse passo várias vezes, aparecem frases, respostas, redações e código.

Não existe uma lista guardada de respostas prontas. O que existe é um conjunto enorme de números, chamados parâmetros, que foram ajustados durante o treinamento até o modelo ficar bom em adivinhar.

O que já se sabe e o que ainda é debatido

O mais interessante é até onde um objetivo tão simples pode chegar. Para prever bem a próxima palavra, parece ser preciso captar, pelo caminho, gramática, fatos, estilo e alguns hábitos de raciocínio.

Os pesquisadores ainda debatem quanto um modelo realmente entende e como ele chega a cada resposta, e essa pergunta em aberto faz parte da história. Ela também ajuda a explicar as falhas estranhas: um modelo pode soar confiante e continuar errado.

O que um episódio no bre cobriria

Um episódio percorreria as peças em ordem, de como o texto vira números até as razões pelas quais o modelo erra.

  • Palavras viram tokens: o texto é cortado em pedaços pequenos, e cada um vira uma lista de números com que o modelo consegue trabalhar.
  • Prever o próximo token: dado tudo o que veio antes, qual token é provável agora. Encadeando esses palpites, saem parágrafos inteiros.
  • O transformer e a atenção: o modelo pesa quais palavras anteriores mais importam para a atual, e assim acompanha o contexto.
  • Como o treinamento ajusta os números: o modelo chuta, é comparado com texto real e tem os parâmetros levemente ajustados. Repetir isso em escala enorme é o que o treina.
  • Do modelo bruto ao assistente, e por que ele erra: depois do primeiro treinamento, o modelo é refinado com exemplos e feedback para seguir instruções. Ele produz texto provável, não verdade checada, então pode inventar detalhes. Também separamos o que se sabe do que ainda é debatido.

Como ouvir e perguntar

No bre, você escreve o tema que quer entender, ou junta suas próprias anotações, e o bre faz todo o trabalho e monta um podcast para você.

Os apresentadores são de IA e também podem errar. Vale tratar qualquer episódio como um ponto de partida. Se surgir uma dúvida enquanto você ouve, aperte Talk para perguntar.

Perguntas frequentes

Um grande modelo de linguagem é só um autocompletar?
Ele parte da mesma ideia, prever o que vem a seguir, mas em escala muito maior e com um desenho que pesa muito contexto. Essa escala permite escrever textos longos e coerentes. Se isso equivale a entender, os pesquisadores ainda debatem.
De onde um modelo de linguagem tira o que sabe?
Do treinamento com coleções enormes de texto, como livros, sites e código. Ele não guarda uma cópia desses documentos como uma biblioteca. Ele ajusta seus números para captar padrões, e é por isso que lembra os fatos de forma imperfeita.
Por que os modelos de linguagem inventam coisas?
Eles são treinados para produzir texto plausível, não para checar fatos. Quando o padrão aponta para uma resposta que soa certa mas não é, o modelo pode afirmá-la com segurança mesmo assim. Isso costuma ser chamado de alucinação e é uma limitação conhecida.
O que é um transformer em um modelo de linguagem?
O transformer é o desenho de rede neural por trás da maioria dos modelos de linguagem atuais. Sua característica central, a atenção, permite pesar o quanto cada palavra anterior é relevante para prever a próxima, o que ajuda com trechos longos e contexto.

Perguntas para ouvir

Cada episódio é gerado por IA na hora em que você pede, então pode conter erros ou estar desatualizado: confira o que for importante. Conteúdo para curiosidade e aprendizado, não é orientação médica, financeira ou jurídica.