Anteriormente, a criação de vídeos usando redes neurais era prerrogativa de serviços em nuvem como Runway ou Luma. Hoje, se você possui uma placa gráfica Nvidia moderna, pode gerar vídeos de alta qualidade diretamente no seu computador. Neste post, vou explicar como configurar a geração de vídeo local usando ComfyUI e o modelo LTX-2.3 efetivo.
Ferramentas para geração de vídeo
Para trabalhar, precisaremos de:
– ComfyUI: uma interface poderosa com uma arquitetura baseada em nós que permite personalizar de forma flexível o processo de geração.
– LTX-2.3: Um modelo moderno da Lightricks, otimizado para criar vídeos suaves e detalhados com requisitos de memória de vídeo relativamente moderados.
Requisitos de hardware
Gerar vídeo é um processo que consome muito mais recursos do que trabalhar com imagens:
– Placa de vídeo (GPU): Nvidia RTX com 8 GB VRAM é o mínimo necessário para uma resolução de 768×512. Para uma operação confortável e resoluções mais altas, é altamente desejável ter de 16 a 24 GB de VRAM.
– Memória de acesso aleatório (RAM): mínimo 32 GB. Modelos de vídeo e VAEs ocupam muito espaço durante o download.
– Espaço em disco: cerca de 500 GB para o próprio modelo e componentes relacionados.
Configuração e inicialização
O processo de lançamento do LTX-2.3 no ComfyUI é o seguinte:
1. Atualize o ComfyUI: O modelo é relativamente novo, portanto, certifique-se de ter a versão mais recente da interface instalada.
2. Fluxo de trabalho de instalação: A maneira mais fácil é encontrar um modelo JSON pronto para vídeo LTX. O modelo requer nós específicos para trabalhar com espaço latente de vídeo.
3. Prompt e parâmetros: Insira uma descrição da cena em inglês. Observe que o LTX-2.3 entende bem o movimento (por exemplo, “a câmera orbita”, “movimento rápido”).
Por que escolher LTX-2.3?
O LTX-2.3 é notável porque oferece resultados comparáveis aos serviços de nuvem proprietários, mas é executado localmente. Isso lhe dá:
– Privacidade total: seus prompts e vídeos gerados não vão para servidores de outras pessoas.
– Controle: você pode experimentar a taxa de quadros (FPS), a resolução e a intensidade do prompt sem ter que pagar por cada tentativa.
A geração de vídeo local ainda está em desenvolvimento ativo e o LTX-2.3 é uma excelente entrada no mundo da “Hollywood doméstica”.
Links
https://github.com/comfyanonymous/ComfyUI
https://huggingface.co/Lightricks/LTX-Video
