- CM3leon, un modelo de IA líder en la generación de texto a imagen, impulsado por la empresa Meta, que permite producir imágenes coherentes y detalladas, superando a otros generadores y abriendo nuevas posibilidades en la comprensión de imágenes.
- Utiliza transformadores y mecanismos de atención para evaluar la relevancia de los datos de entrada, logrando una mayor velocidad de entrenamiento y capacidad de paralelización, superando a métodos anteriores basados en difusión.
- Puede generar subtítulos, responder preguntas y editar imágenes existentes siguiendo instrucciones de texto, demostrando una habilidad excepcional para seguir indicaciones complejas y producir resultados visualmente coherentes y contextualmente apropiados.
Avances en la generación de imágenes impulsada por IA. La generación de imágenes impulsada por IA ha experimentado un crecimiento significativo en los últimos dos años. Gracias a la disponibilidad generalizada de la tecnología y a la disminución de las barreras técnicas, esta tecnología se ha mercantilizado y ha sido implementada por numerosas empresas, incluyendo gigantes tecnológicos como Google y Microsoft, así como por nuevas empresas emergentes. Según TechCrunch, hoy, Meta presentó CM3leon, un modelo de IA que, según la compañía, alcanza un rendimiento de vanguardia en la generación de texto a imagen. Una característica destacada de CM3leon es su capacidad para generar subtítulos para imágenes, sentando las bases para modelos de comprensión de imágenes más sofisticados en el futuro.
CM3leon: Un avance en la generación de texto a imagen
Según Meta, CM3leon permite a las herramientas de generación de imágenes producir imágenes más coherentes que siguen mejor las instrucciones de entrada. La compañía afirma que el sólido rendimiento de CM3leon en una variedad de tareas es un paso hacia la generación y comprensión de imágenes más fieles a la realidad.
Transformadores y eficiencia en la generación de imágenes. La mayoría de los generadores de imágenes modernos, como DALL-E 2 de OpenAI, Google Imagen y Stable Diffusion, utilizan un proceso llamado difusión para crear obras de arte. Sin embargo, la difusión es computacionalmente intensiva y no es práctica para la mayoría de las aplicaciones en tiempo real debido a su costo y velocidad.
Por otro lado, CM3leon es un modelo transformador que se beneficia de un mecanismo llamado «atención» para evaluar la relevancia de los datos de entrada, ya sean texto o imágenes. El uso de transformadores aumenta la velocidad de entrenamiento del modelo y permite una mayor capacidad de paralelización. CM3leon es aún más eficiente que la mayoría de los transformadores, ya que requiere menos cálculos y un conjunto de datos de entrenamiento más pequeño en comparación con los métodos anteriores basados en transformadores.
Entrenamiento y parámetros de CM3leon
Para entrenar a CM3leon, Meta utilizó un conjunto de datos compuesto por millones de imágenes con licencia de Shutterstock. La versión más avanzada de CM3leon construida por Meta cuenta con 7 mil millones de parámetros, más del doble que DALL-E 2. Los parámetros son elementos aprendidos por el modelo a partir de los datos de entrenamiento y determinan la habilidad del modelo para resolver un problema específico, en este caso, generar imágenes.
El ajuste fino supervisado y su impacto en CM3leon. Una de las claves para el mejor rendimiento de CM3leon es una técnica llamada ajuste fino supervisado (SFT). Esta técnica se ha utilizado con éxito en la capacitación de modelos de generación de texto, como ChatGPT de OpenAI. Meta teorizó que esta técnica también sería útil en el dominio de las imágenes. De hecho, el ajuste fino de instrucciones mejoró el rendimiento de CM3leon no solo en la generación de imágenes, sino también en la redacción de subtítulos y en la capacidad de responder preguntas sobre imágenes y editarlas siguiendo instrucciones de texto.
Avances y capacidades destacadas de CM3leon. CM3leon muestra una destacable habilidad para generar imágenes coherentes y detalladas, incluso cuando se le proporcionan indicaciones complejas. En comparación con otros generadores, como DALL-E 2, CM3leon produce imágenes que se acercan más a las instrucciones dadas y capturan más detalles. Además, CM3leon puede comprender instrucciones para editar imágenes existentes, generando resultados visualmente coherentes y contextualmente apropiados. A diferencia de DALL-E 2, CM3leon también es capaz de generar subtítulos y responder preguntas sobre imágenes específicas. En estas áreas, el modelo supera incluso a modelos especializados en subtítulos de imágenes, a pesar de haber recibido menos texto en sus datos de entrenamiento, según Meta.
Consideraciones sobre sesgo en la generación de imágenes
Aunque la cuestión del sesgo en la generación de imágenes no es abordada directamente por Meta, es un tema que se ha observado en modelos generativos de IA como DALL-E 2. Estos modelos han mostrado un sesgo social al generar imágenes que representan principalmente a hombres blancos en roles de autoridad, como «CEO» o «director». Meta menciona que CM3leon puede reflejar cualquier sesgo presente en los datos de entrenamiento, pero no proporciona más detalles al respecto.
El futuro de los modelos generativos y la importancia de la transparencia. A medida que la industria de la IA evoluciona, los modelos generativos como CM3leon se vuelven cada vez más sofisticados. Meta destaca la importancia de la transparencia para acelerar el progreso en este campo, aunque no ha anunciado una fecha de lanzamiento para CM3leon. Dado el debate en torno a los generadores de arte de código abierto, es incierto cuándo estará disponible para el público en general.