Recentemente, tenho refletido sobre as limitações fundamentais da IA. É uma conversa semelhante à do protagonista do filme "Amnésia", de que os LLMs atuais podem estar sofrendo de uma espécie de amnésia progressiva.

Se os parâmetros permanecerem fixos, o modelo não consegue aprender de verdade com novas experiências. Ele tenta compensar isso com o histórico de chat ou sistemas de busca, mas, no final, está apenas confiando na memória externa. Ele não internaliza isso.

De acordo com a análise da a16z, o aprendizado no contexto (ICL) é apenas uma busca, não um verdadeiro aprendizado. Como falta compressão, não consegue fazer descobertas criativas ou lidar com cenários adversariais. Por exemplo, em problemas que requerem uma abordagem totalmente nova, como a prova do último teorema de Fermat, o LLM só consegue combinar conhecimentos existentes.

As soluções propostas pelos pesquisadores envolvem três caminhos. O primeiro é o fortalecimento da camada de contexto, como em sistemas de múltiplos agentes. O segundo é a modularização, com módulos de conhecimento integráveis, como adaptadores ou caches de KV comprimidos. O terceiro é a atualização de pesos, com treinamento durante a inferência ou metaaprendizado, permitindo um aprendizado mais profundo a nível de parâmetros.

No entanto, a atualização de pesos apresenta muitos desafios. Esquecimento catastrófico, desacoplamento temporal, deterioração do alinhamento de segurança. Atualizar o modelo após a implantação não é apenas uma questão técnica, envolve também questões de auditoria e privacidade.

No futuro, os sistemas provavelmente serão hierárquicos. O ICL lidará com adaptações rápidas, os módulos oferecerão especialização, e a atualização de pesos permitirá uma internalização mais profunda. Para superar a amnésia progressiva, não basta expandir um arquivo de arquivo, é preciso compressão, abstração e mecanismos de aprendizado verdadeiro.

Este campo está recebendo a entrada de várias startups, com experimentos em gerenciamento de contexto, design de módulos e otimização de parâmetros. Ainda não há um vencedor claro, mas nos próximos anos, grandes mudanças podem acontecer.