ByteDance Presenta OmniHuman-1, Una De Las Herramientas DeepFake Más Realistas En El Mercado

Investigadoras de ByteDance, la empresa matriz de TikTok, presentaron esta semana una nueva herramienta de IA llamada OmniHuman para generar videos humanos basados en imágenes y otros medios.

La primera versión de la herramienta de IA, OmniHuman-1, es capaz de generar videos que soportan múltiples estilos de imagen, desde fotografía realista hasta animación y dibujos animados, así como ofrecer variaciones de audio y música, varios aspectos de relaciones de aspecto e imágenes de movimiento realistas. En varias demostraciones, la empresa china mostró las capacidades del modelo de IA.

“OmniHuman supera significativamente a los métodos existentes, generando videos de humanos extremadamente realistas basados en entradas de señales débiles, especialmente audio”, declara el artículo publicado el lunes por el equipo de Bytedance. “Admite entradas de imágenes de cualquier relación de aspecto, ya sean retratos, imágenes de medio cuerpo o de cuerpo entero, entregando resultados más realistas y de alta calidad en diversos escenarios”.

El equipo de investigación explicó que utilizaron una “estrategia de entrenamiento mixto con acondicionamiento de movimiento multimodal” y proporcionaron varios ejemplos de las capacidades de la herramienta, incluyendo la recreación de una clase con Albert Einstein, simulando discursos utilizando imágenes de sitios web de libre uso, y generando actuaciones musicales a partir de medios de audio o video.

El equipo de investigación de ByteDance advirtió sobre los riesgos de fraude: aún no han lanzado la herramienta de IA al público, y no compartieron una fecha, además de otras preocupaciones éticas. La empresa aseguró que las imágenes y videos utilizados para demostrar el rendimiento del modelo se obtuvieron de fuentes públicas.

Según Forbes, la empresa china utilizó 18,700 horas de datos de video humano para entrenar el nuevo modo. Varios expertos ya han compartido sus opiniones sobre la nueva herramienta de inteligencia artificial.

“Crear algo a partir de solo una imagen y hacer que parezca que realmente está hablando y moviéndose es fascinante desde un punto de vista tecnológico, pero también podría tener muchas consecuencias negativas potenciales”, dijo Samantha G. Wolfe, profesora adjunta en la Escuela Steinhardt de Cultura, Educación y Desarrollo Humano de la NYU y fundadora de PitchFWD en una entrevista con Forbes. “Las versiones ficticias de líderes empresariales o políticos diciendo algo que no es preciso, pueden tener una gran influencia en un negocio o en un país.”

Las preocupaciones de Wolfe son compartidas por varios expertos en la industria. Expertos en ciberseguridad advirtieron recientemente sobre una nueva ola de estafas con deepfakes generados por IA sofisticada.