Pergunta2 min de leitura
Como funcionam os grandes modelos de linguagem?
Um grande modelo de linguagem é um programa que aprendeu padrões em uma quantidade enorme de texto escrito e usa esses padrões para prever qual palavra, ou pedaço de palavra, vem a seguir. Repetindo isso várias vezes, saem frases, respostas, redações e código. Por isso ele pode soar muito seguro e, mesmo assim, estar errado.
A resposta curta
Um grande modelo de linguagem aprendeu padrões em muito texto e os usa para prever a próxima palavra, ou o próximo pedaço de palavra. Quando você repete esse passo várias vezes, aparecem frases, respostas, redações e código.
Não existe uma lista guardada de respostas prontas. O que existe é um conjunto enorme de números, chamados parâmetros, que foram ajustados durante o treinamento até o modelo ficar bom em adivinhar.
O que já se sabe e o que ainda é debatido
O mais interessante é até onde um objetivo tão simples pode chegar. Para prever bem a próxima palavra, parece ser preciso captar, pelo caminho, gramática, fatos, estilo e alguns hábitos de raciocínio.
Os pesquisadores ainda debatem quanto um modelo realmente entende e como ele chega a cada resposta, e essa pergunta em aberto faz parte da história. Ela também ajuda a explicar as falhas estranhas: um modelo pode soar confiante e continuar errado.
O que um episódio no bre cobriria
Um episódio percorreria as peças em ordem, de como o texto vira números até as razões pelas quais o modelo erra.
- Palavras viram tokens: o texto é cortado em pedaços pequenos, e cada um vira uma lista de números com que o modelo consegue trabalhar.
- Prever o próximo token: dado tudo o que veio antes, qual token é provável agora. Encadeando esses palpites, saem parágrafos inteiros.
- O transformer e a atenção: o modelo pesa quais palavras anteriores mais importam para a atual, e assim acompanha o contexto.
- Como o treinamento ajusta os números: o modelo chuta, é comparado com texto real e tem os parâmetros levemente ajustados. Repetir isso em escala enorme é o que o treina.
- Do modelo bruto ao assistente, e por que ele erra: depois do primeiro treinamento, o modelo é refinado com exemplos e feedback para seguir instruções. Ele produz texto provável, não verdade checada, então pode inventar detalhes. Também separamos o que se sabe do que ainda é debatido.
Como ouvir e perguntar
No bre, você escreve o tema que quer entender, ou junta suas próprias anotações, e o bre faz todo o trabalho e monta um podcast para você.
Os apresentadores são de IA e também podem errar. Vale tratar qualquer episódio como um ponto de partida. Se surgir uma dúvida enquanto você ouve, aperte Talk para perguntar.
Perguntas frequentes
- Um grande modelo de linguagem é só um autocompletar?
- Ele parte da mesma ideia, prever o que vem a seguir, mas em escala muito maior e com um desenho que pesa muito contexto. Essa escala permite escrever textos longos e coerentes. Se isso equivale a entender, os pesquisadores ainda debatem.
- De onde um modelo de linguagem tira o que sabe?
- Do treinamento com coleções enormes de texto, como livros, sites e código. Ele não guarda uma cópia desses documentos como uma biblioteca. Ele ajusta seus números para captar padrões, e é por isso que lembra os fatos de forma imperfeita.
- Por que os modelos de linguagem inventam coisas?
- Eles são treinados para produzir texto plausível, não para checar fatos. Quando o padrão aponta para uma resposta que soa certa mas não é, o modelo pode afirmá-la com segurança mesmo assim. Isso costuma ser chamado de alucinação e é uma limitação conhecida.
- O que é um transformer em um modelo de linguagem?
- O transformer é o desenho de rede neural por trás da maioria dos modelos de linguagem atuais. Sua característica central, a atenção, permite pesar o quanto cada palavra anterior é relevante para prever a próxima, o que ajuda com trechos longos e contexto.
Perguntas para ouvir
- Qual é o tamanho do universo?O universo observável tem cerca de 93 bilhões de anos-luz de diâmetro, mas o universo inteiro pode ser bem maior, ou infinito. Veja o que se sabe e o que não.
- Como as estatísticas podem enganar vocêMédias, amostras, porcentagens e gráficos podem enganar sem nenhum número falso. Veja como isso acontece e o que perguntar diante de uma estatística.
- Como a vida começou na Terra?Ninguém sabe ao certo como a vida surgiu na Terra, mas há boas pistas. Veja o que se sabe, o que é debatido e como um episódio do bre explora o tema.
- Como o alfabeto surgiu e se desenvolveu?Siga o alfabeto dos hieróglifos egípcios e de povos semitas até as letras fenícias, gregas e latinas, e veja onde as evidências ainda são incertas.
- Como a Peste Negra mudou a EuropaA Peste Negra matou uma enorme parcela dos europeus nos anos 1340. Veja o que mudou no trabalho, nos salários, na Igreja e no dia a dia, e o que ainda se debate.
- Como a prensa de Gutenberg mudou o mundoA prensa de tipos móveis de Gutenberg barateou os livros e acelerou as ideias. Veja o que mudou, o que é debatido e o que um episódio do bre abordaria.
Cada episódio é gerado por IA na hora em que você pede, então pode conter erros ou estar desatualizado: confira o que for importante. Conteúdo para curiosidade e aprendizado, não é orientação médica, financeira ou jurídica.