No drop de hoje, repetindo a palavra modelo 12x:

• Ilya Sutskever: a próxima era da IA

• Meta: Tokens dão lugar aos Bytes

• OpenAI 12-days: A 3ª parte dos lançamentos

• Google: State-of-The-Art em vídeo e imagens

• Os Casos de Uso: China, OpenAI, IBM & Meta, CEO Softbank, Amazon Prime Video, Nvidia, Sicoob

• Me explique como se eu fosse uma criança: Bytes X Tokens

Seu trabalho não será substituído por uma Inteligência Artificial, mas por alguém utilizando Inteligência Artificial. Quer ficar por dentro da década de avanços que rolam no universo de IA todas as semanas? Assina o AiDrop e te contamos tudo, sem tecniquês, todas as quintas-feiras no seu inbox.

A próxima era na Inteligência Artificial

ilya sutskever, agentes, ia, dados, treinamento

O papa da inteligência artificial, Ilya Sutskever, subiu aos palcos da conferência NeurIPS para aceitar, pela terceira vez consecutiva, o prêmio Test-of-Time Award. Não satisfeito, aproveitou para dar uma rápida palestra sobre o atual estado da indústria de IA e uma previsão de onde vamos a partir daqui:

Onde estamos: estagnados da perspectiva de treinamentos de LLM com base nos dados existentes:

• Escalar LLMs na fase de pré-treinamento estagnou

• A computação está aumentando, mas os dados não.

• Dados novos ou sintéticos não estão movendo o ponteiro

Onde vamos: assim como o cérebro humano parou de crescer em tamanho mas a humanidade continuou avançando:

• Os agentes e ferramentas no topo dos LLMs irão alimentar o progresso

• Aprendizagem de sequência a sequência

• Comportamento agente (agentic behavior)

• Ensinar autoconsciência aos agentes e chatbots

Ilya ainda correlacionou o atual momento de IA com o dos iPhones: que ficou cada vez maior e mais útil do ponto de vista do hardware, mas estagnou e o foco mudou para os aplicativos.

P.S.1: assista a palestra na íntegra através deste link.

Meta: Quando Tokens dão lugar aos Bytes

meta, tokens, bytes, gpts, blts

Quando a Meta decidiu investir ~U$100bi em IA, Infra, VR/AR este ano, não sabia ao certo do que seria capaz. Mas as apostas de Zuck começam a gerar bem mais retornos que os jogos do tigrinho. Entre elas, a mais nova descoberta que pode acabar com a tokenização.

A Meta apresentou o Byte Latent Transformer (BLT), uma nova arquitetura de modelo de linguagem baseada em bytes que, pela primeira vez, alcança o mesmo desempenho dos modelos tradicionais de Generative Pre-trained Transformers (GPT).

Enquanto os GPTs fixam unidades de texto (tokens) em tamanhos padrões, o BLT organiza bytes em "patches" de tamanho dinâmico, ajustando a quantidade de cálculos conforme a complexidade do texto. Os resultados iniciais são promissores:

• Inserir/substituir caracteres individualmente ou palavras.

• Escrever caractere-a-caractere

• Escrever textos de trás para frente

• Melhoria em semântica e gramática

Conforme os modelos de linguagem evoluem, novas técnicas e abordagens com maior qualidade, refinamento e otimização são necessárias para ultrapassar barreiras, assim como os próprios benchmarks tendem a exigir mais dos LLMs nas baterias de testes - e os Bytes permitem a precisão no nível unitário.

🤖 Casos de Uso

• China lançará em 2025 o MedAgent-Zero, um hospital virtual autônomo com médicos de IA, com precisão de até 95,6% em diagnósticos.

• OpenAI propôs um pacto com o governo para competir com os avanços em IA da China.

• IBM, Meta e +50 empresas se uniram para brigar com os modelos de IA fechados.

• CEO do Softbank anunciou um investimento de U$100bi nos Estados Unidos, mirando na criação de 100k empregos nos próximos 4 anos.

• Amazon Prime Video lançou o AI Topics, que usa aprendizado de máquina para recomendar conteúdos aos usuários baseados nos hábitos e interesses.

• Nvidia acrescentou mais 1.000 funcionários na China, sendo 200 deles pesquisadores, para tecnologias focadas em veículos autônomos.

• Sicoob está apostando no Llama, Mistral e Phi 3 em tecnologias internas da empresa e mais de 60 mil funcionários tem acesso às ferramentas.

OpenAI 12-days: Parte 3

openai, avm, advance voice mode, projetos, search

Seguindo a 3ª leva de novidades (nos bundles do AiDrop) dos 12 dias da OpenAI:

• Dia 6 - AVM com Video & Santa Mode: 
  Mais de 7 meses após a demo oficial, a OpenAI lançou o Advanced Voice Mode com vídeo, para você poder mostrar o que está enxergando e fazer perguntas interpretadas em tempo real pela visão do GPT, por exemplo: No lançamento oficial, o apresentador perguntou se estava passando um café corretamente, enquanto filmava a maneira em que coava.

  Além da visão, também foi adicionada a voz do Papai Noel como sazonal, para você fazer perguntas divertidas ou pedir para ele contar histórias aos caçulas da sua família.

• Dia 7 - Projetos do GPT: 
  Outro recurso solicitado desde o GPT 3.5 são as pastas para organizar as bagunças que nossas perguntas se tornam na barra lateral do histórico (tendo até soluções temporárias de usuários como extensões do Chrome).

  Com o lançamento do Claude Projects, a OpenAI não quis ficar para trás e trouxe o Projects in ChatGPT. Você pode adicionar 20 arquivos para a base de conhecimento e criar instruções personalizadas, com chats usando todas ferramentas existentes (Canvas, Dall-E etc) e organizá-los.

• Dia 8 - GPT Search para todos & Voice Search:
  Disponibilizado inicialmente somente para usuários Plus/Teams, agora está incluindo o Free Tier, mas somente para usuários logados. Também foram lançados os Voice Search: buscar com o GPT através das chamadas de voz e melhorias em buscas no aplicativo do GPT.

Ao fim da apresentação, eles deixaram uma palhinha → hoje (17/12) virão as revelações de um mini-dev-day, com novidades da API da OpenAI.

🤖 Novidades em IA

• Meta lançou o Apollo, uma nova família de SLMs (1B, 3B e 7B) que interpreta vídeos com alta precisão, ótimos para resumos feitos localmente de até 1h.

• Microsoft apresentou o Phi-4, LLM de 14B com performance disputando com os Gemini 1.5 Pro, GPT-4o e outros maiores. Atualmente disponível somente no Azure, em breve no Hugging Face.

• Pika Labs trouxe o update Pika 2.0, com um novo recurso de “Mix de origens”, onde você pode adicionar várias referências através de imagens.

• DeepSeek lançou o novo VL2, um modelo Mixture-of-Experts multimodal de ~4B, pequeno que disputa com o Qwen2-VL-7B.

• Anonymous-chatbot retornou ao LM Arena, o que foi usado anteriormente para testar o GPT-4o. Rumores apontam GPT-4.5 ou algo similar da OpenAI.

• Google lançou o NotebookLM Plus com novas interações de áudio e Gemini Flash 2.0, permitindo usuários conversarem por voz no chat.

• v0 criou um recurso novo de Templates, incluindo Next.js + shadcn/ui, formulários, gráficos, AI Chatbot, ecommerce e páginas de documentação

• MidJourney trouxe o “Moodboards”, um recurso de fine-tuning de estilos para seus projetos.

• Replit lançou um update com recomendações para adicionar ao seu projeto após as alterações feitas.

Google: State-of-The-Art em vídeo e imagens

google, veo 2, imagen 3, sundar pichai, satya

Quando Satya Nadella anunciou o investimento da Microsoft na OpenAi, disse: “Quero que as pessoas saibam que nós fizemos [O Google] dançar”. Pois bem, não demorou para o CEO Sundar Pichai descer para a pista e mostrar seu rebolado.

Seguindo a enxurrada de lançamentos das últimas semanas (que incluem um supercomputador quântico, um modelo de previsão do tempo, e uma série de novos agentes), vem aí…

• VEO 2: o modelo texto-para-vídeo capaz de gerar clipes de 8 segundos em qualidade 4k ganha sua segunda versão.

  Demo do VEO 2 →

• Imagen 3: o modelo texto-para-imagem integrado ao Gemini capaz de gerar imagens com qualidade igual/superior aos MidJourney, Flux e Recraft, trazendo um benchmark incrível topo de tabela.
  Teste o Imagen 3 aqui →

Com a elegância e confiança que só uma empresa de trilhões pode te dar, o CEO Sundar respondeu a Satya dizendo que adoraria realizar uma disputa com a Microsoft para descobrir quem possui os melhores modelos.

cAIxa da Semana

• HowThisGoing, check-ins automatizados no Slack para coletar atualizações da equipe.

• Doctronic, seu médico de IA particular e pessoal.

• TryDepth, converse com sua base de código ou crie assistentes de IA.

• AnimateAi, transforma suas ideias de histórias em vídeos animados

• Surf é um assistente, navegador e gerenciador de arquivos em um só lugar

^{*todas as ferramentas possuem trial}

Indique o AiDrop e libere a cAIxa inteira!

Você tem 0 indicações, faltam 3 para ganhar cAIxa de ferramentas

MEME

Enquanto isso no Sora…