- Gemini consegue assistir vídeos em formatos YouTube, MP4 e MOV via interface web, incluindo testes com vídeos de annealing, drone e estratégia de canal.
- Claude não consegue processar conteúdo de vídeo ou áudio diretamente, seja de links do YouTube ou arquivos locais.
- ChatGPT, com a ajuda do Codex, pode ler arquivos locais, baixar vídeos do YouTube e, com prompts adequados, criar thumbnails; é necessário configurar as ferramentas.
- Nos testes, as AIs entenderam o conteúdo de vídeos longos em pouco tempo (simulando compreensão em dois a três minutos de vídeo), com Gemini destacando a gestualidade no teste do drone e Codex/ChatGPT produzindo thumbnails mais alinhados após ajustes.
- Principais aplicações incluem varredura rápida de vídeos para extrair pontos-chave, marcação de tempo e geração de thumbnails, embora haja limitações e variações de desempenho entre as ferramentas.
Três modelos de IA foram avaliados para entender conteúdos de vídeos, tanto de YouTube quanto de arquivos locais. O teste envolveu vídeos sem áudio e com diferentes formatos. O objetivo foi verificar se as IA conseguem interpretar cenas, ações e contextos sem depender apenas de metadados.
O experimento utilizou os modelos Gemini, ChatGPT e Claude para analisar três vídeos distintos. Um deles é um vídeo sobre o processo científico de têmpera, publicado no YouTube. Outro mostra um teste de movimento com um drone DJI Neo 2, em MP4. O terceiro é um walk-and-talk em MOV, sem áudio.
Os resultados indicaram diferenças relevantes entre as plataformas. Claude não conseguiu processar conteúdo de vídeo diretamente, seja de links ou de arquivos locais. Gemini funcionou bem em navegação via navegador e lidou com YouTube, MP4 e MOV. ChatGPT exigiu ajuda do Codex para atividades mais avançadas.
Desempenho por modelo
Gemini: a interface web reconheceu formatos de vídeo e entregou descrições detalhadas de cenas, incluindo o teste com gestos para o drone. Também conseguiu sugerir frames para thumbnails com base no conteúdo, embora a geração de imagens não fosse perfeita.
ChatGPT: com Codex, abriu possibilidades de leitura de arquivos locais e criação de código para baixar vídeos, transcrever áudio e interpretar contextos. Mesmo assim, houve limitações com vídeos muito grandes e com streams diretos de YouTube, sem suporte nativo.
Claude: permaneceu indisponível para processamento direto de vídeo, não lendo links nem arquivos de vídeo. A limitação foi destacada como principal obstáculo para uso nessa tarefa.
Detalhes operacionais
O teste utilizou vídeos com diferentes formatos e tamanhos: YouTube, MP4 de 625 MB e MOV de 1,65 GB. O objetivo foi verificar se há necessidade de metadados ou transcripts para entender o conteúdo. A expressão watch funcionou como indicação de análise direta pelo usuário.
No drone test, Gemini reconheceu que não havia áudio e identificou o gesto com as mãos como forma de orientar a câmera do drone. Em outro caso, Gemini reconheceu a estrutura do vídeo de annealing e identificou pontos específicos verbalizados.
Conclusões preliminares
Os autores destacam que as IA podem interpretar vídeos com rapidez, ainda que as capacidades variem entre as plataformas. A combinação de ChatGPT com Codex mostrou potencial para tarefas adicionais, como geração de thumbnails a partir de frames úteis. Claude ficou atrás nesse conjunto.
Os resultados indicam aplicações práticas, como varredura rápida de vídeos de segurança, extração de pontos-chave e apoio na produção de conteúdo audiovisual. A análise completa e as implicações ficam para desenvolvimentos futuros das ferramentas.
Fonte: ZDNET
Entre na conversa da comunidade