Resumo The Batch #276
- João Bugelli
- 22 de nov. de 2024
- 2 min de leitura
Atualizado: 10 de jun.
Este post é um resumo da newsletter The Batch, publicada em 20 de novembro de 2024. Você pode acessar o conteúdo original aqui.
Esta edição traz insights sobre temas fundamentais no desenvolvimento da IA, incluindo textos voltados para grandes modelos de linguagem (LLMs), avanços e desafios no treinamento de novos modelos, e restrições no setor de chips de IA. Confira os principais destaques:
Textos Para LLMs
Um novo fenômeno está surgindo: a criação de conteúdos otimizados para serem consumidos por LLMs, e não por humanos. Esse texto pode ajudar os modelos a compreenderem novos conteúdos, como documentação de bibliotecas de software, e melhorar as respostas para usuários. A abordagem inclui formatos como XML denso ou arquivos llms.txt, semelhante ao robots.txt. Embora ainda seja uma tendência inicial, a prática está atraindo atenção como uma nova forma de SEO adaptada à era da IA.
Modelos de Próxima Geração Mostram Ganhos Limitados
Gigantes da tecnologia, como OpenAI, Google e Anthropic, enfrentam desafios para atingir as expectativas com seus novos modelos, como Orion, Gemini e Claude 3.5. Apesar de arquiteturas maiores e mais dados, os ganhos têm sido menores do que em gerações anteriores. As empresas estão buscando alternativas como fine-tuning e fluxos de inferência mais sofisticados para otimizar os resultados.
Restrição de Chips de IA na China
A TSMC, principal fabricante de chips de IA, interrompeu a produção de designs avançados para empresas chinesas devido às sanções dos EUA. Isso impacta o acesso da China a GPUs como Nvidia A100 e H100, essenciais para treinar grandes modelos. A medida intensifica a corrida tecnológica e reforça a dependência de fornecedores alternativos.
Treinamento Mais Eficiente para Transformers
Pesquisadores reduziram em cerca de 20% o custo computacional de treinar transformers utilizando aproximações de low-rank nos pesos das camadas lineares. Embora a performance tenha sofrido uma pequena degradação, a economia em tempo e processamento marca um passo significativo na busca por eficiência em modelos gigantescos.
