Resumo The Batch #273
- João Bugelli
- 5 de nov. de 2024
- 5 min de leitura
Atualizado: 10 de jun.
Este post é um resumo da newsletter The Batch, publicada em 30 de outubro de 2024. Você pode acessar o conteúdo original aqui.
Esta edição da The Batch explora temas cruciais que desafiam o futuro da IA e seu impacto na sociedade: desde o consumo energético e regulamentações até os dilemas dos programadores e a influência de dados sintéticos. Confira os principais insights sobre esses tópicos e como eles moldam o desenvolvimento da inteligência artificial.
Consumo Energético das IAs
O crescimento da infraestrutura de IA está colocando uma pressão significativa no consumo energético global. Conforme empresas como OpenAI, Microsoft e Google intensificam o uso de sistemas avançados de IA, a demanda por eletricidade para treinar e operar modelos está desafiando a capacidade dos provedores de energia, aumentando a dependência de combustíveis fósseis e elevando as emissões de carbono. Estima-se que os data centers terão uma alta de 160% no consumo de eletricidade até 2030, com a IA responsável por cerca de 20% desse aumento.
Apesar dos esforços para migrar para fontes de energia limpa, muitas dessas empresas estão enfrentando dificuldades para atingir suas metas de carbono zero. A Nvidia, por exemplo, está produzindo GPUs mais potentes, mas com consumo energético elevado, e projeta que seus servidores podem consumir até 134 terawatt-horas por ano até 2027. Esse aumento no uso de eletricidade está inclusive revivendo plantas de carvão e atrasando transições planejadas para energia verde.
Para mitigar esses efeitos, a IA também está sendo usada como parte da solução: algoritmos de aprendizado de máquina estão ajudando a otimizar o uso de energia, gerenciar a distribuição e até capturar carbono. No entanto, o dilema central persiste: atender à crescente demanda de IA sem intensificar as emissões de gases de efeito estufa, exigindo uma abordagem equilibrada que combine inovação e políticas energéticas responsáveis.
Regulamentações na IA e o Impacto na Inovação
A crescente preocupação com os riscos da inteligência artificial tem levado legisladores ao redor do mundo a considerar medidas rigorosas para controlar seu desenvolvimento. No entanto, enquanto tentam mitigar possíveis danos, essas regulamentações podem sufocar a inovação e dificultar avanços essenciais.
À medida que surgem novas leis e tratados, como o AI Act da União Europeia e a proposta californiana SB 1047, desenvolvedores enfrentam custos e riscos legais cada vez maiores. Essas regulamentações, mesmo que bem-intencionadas, podem tornar o desenvolvimento de IA tão custoso que muitas empresas e pesquisadores de menor porte são excluídos, criando um ambiente menos favorável para a inovação.
Casos recentes
SB 1047 (Califórnia): Vetado recentemente, o projeto exigia que desenvolvedores de modelos grandes instalassem um “kill switch” para emergências e os responsabilizava por danos imprevistos. Embora tenha sido rejeitado, é possível que uma versão modificada ainda seja introduzida.
AI Act (União Europeia): Implementado em agosto de 2024, restringe aplicações “de alto risco” e exige que desenvolvedores divulguem informações detalhadas sobre algoritmos e dados usados. Críticos temem que isso possa limitar pesquisas iniciais e inovações tecnológicas, já que várias grandes empresas atrasaram ou adaptaram lançamentos na Europa devido a essas exigências.
Tratado Internacional de IA: Assinado por EUA, Reino Unido e outros países, o tratado exige que modelos respeitem democracia e direitos humanos, mas permite diferentes interpretações desses conceitos, criando incertezas legais para empresas globais.
China
A China implementou uma série de leis que priorizam o controle governamental da IA, exigindo identificação e divulgação dos dados e algoritmos usados, além de alinhar conteúdos com as políticas governamentais. Empresas como OpenAI e Anthropic já começaram a restringir suas ofertas na China devido a essas exigências.
Como encontrar um equilíbrio?
Embora a regulamentação da IA seja importante para prevenir abusos e garantir um desenvolvimento seguro, é necessário um equilíbrio. Leis eficazes devem se concentrar em regular as aplicações prejudiciais, sem sufocar a tecnologia em si. Colaborar com desenvolvedores de diferentes tamanhos e evitar o controle excessivo podem ajudar a garantir que a IA continue a evoluir de forma responsável, permitindo que seu potencial seja plenamente explorado.
Conclusão
Para que a IA avance de maneira saudável e ética, as regulamentações devem ser pensadas com cautela, garantindo um ambiente onde a inovação não seja sufocada pela burocracia. A abordagem ideal envolve alinhar o desenvolvimento responsável da tecnologia com políticas eficazes que protejam a sociedade, mas sem bloquear o progresso.
Futuro dos Programadores
Ferramentas de IA, como o GitHub Copilot e o Amazon CodeWhisperer, estão cada vez mais envolvidas na criação de código. Elas já auxiliam desde a sugestão de linhas até o planejamento de projetos e design de arquitetura. Alguns assistentes de IA, como o Replit Agent e o o1 da OpenAI, chegam a atuar como “engenheiros automatizados,” gerando código, corrigindo bugs e até documentando.
Muitos temem que essas IA substituam programadores, eliminando a necessidade de engenheiros humanos ao longo do tempo.
Na realidade, embora essas ferramentas sejam excelentes em automatizar tarefas repetitivas, elas ainda não conseguem substituir a habilidade humana em especificar o que um programa deve fazer, interpretar necessidades de negócio ou colaborar com colegas. Estudos mostram que assistentes de IA aumentam a produtividade, mas não eliminam a necessidade de habilidades críticas dos programadores.
Em vez de temer a IA, desenvolvedores podem usá-la para acelerar seu aprendizado e aprimorar suas habilidades. Aqueles que dominarem tanto os fundamentos da programação quanto o uso de assistentes de IA estarão melhor preparados para se destacar no mercado.
Benchmark Tests Realmente Medem o Progresso em IA?
Modelos de linguagem avançados são avaliados com benchmarks, mas muitos desses testes já estão incluídos nos dados de treinamento, o que levanta dúvidas sobre a validade dos resultados.
O progresso em IA é medido pela performance dos modelos em problemas inéditos, mas benchmarks populares podem estar “vazando” para os conjuntos de dados de treinamento, distorcendo a avaliação real dos avanços.
Casos preocupantes
Modelos de IA demonstraram resultados melhores em benchmarks conhecidos, como GSM8K e AG News, mas pioraram quando testados em problemas similares, mas novos. Isso sugere que os modelos “viram” as respostas antes.
No caso do GPT-4, estudos mostram que ele tem dificuldade em resolver problemas de programação recentes, mas se sai bem em questões de antes de 2021, indicando que treinou em problemas anteriores.
Como mitigar o problema?
Para evitar a contaminação, pesquisadores sugerem estratégias como embutir “strings canários” — identificadores únicos em dados de teste — e criar benchmarks com problemas mais desafiadores e inéditos. Outra solução seria manter novos benchmarks em servidores privados, garantindo que modelos não acessem as respostas previamente.
Impacto dos Dados Sintéticos na IA
Com o aumento de conteúdo sintético — texto, imagens, vídeos — na internet, modelos de IA estão cada vez mais treinados em dados gerados por outras IA. Esse ciclo de "treinamento recursivo" levanta uma questão crítica: até que ponto isso afeta a precisão e a diversidade dos modelos?
Com o tempo, o uso de dados sintéticos pode desviar os modelos da realidade, resultando em modelos menos precisos e até falhos. Quando modelos são treinados repetidamente com saídas de outros modelos, a qualidade do aprendizado pode decair, levando ao "colapso do modelo."
Pesquisadores já observaram que o treinamento contínuo com dados gerados por IA degrada a diversidade e a qualidade dos modelos. Ainda assim, incluindo apenas 10% de dados reais, a queda de desempenho pode ser atenuada. Além disso, modelos recentes, como o Llama 3.1 e o Phi 3, ainda demonstram alta performance ao usar dados sintéticos de forma controlada, especialmente para tarefas com pouca representatividade em dados reais.
Como gerenciar o risco?
O risco de colapso por dados sintéticos é gerenciável. Medidas como o uso de snapshots do Common Crawl, filtros de dados e marcas d’água ajudam a equilibrar dados reais e sintéticos nos conjuntos de treinamento. Monitorar cuidadosamente a presença de dados gerados e manter um percentual saudável de dados reais no treinamento são passos essenciais para garantir a qualidade dos modelos no longo prazo.
