Arte de IA en el edge: informe de progreso del desarrollo de Txt2Img

Como Midjourney ha sido ampliamente probado por el público, ya se han detectado algunos problemas en las imágenes generadas por IA. Se ha pasado de una sensación de asombro a notar que las imágenes de Midjourney suelen tener el mismo estilo, que podrías describir como «cremoso» y demasiado homogéneo. Además, Midjourney no cuenta con... Si eres usuario gratuito, tus imágenes quedarán expuestas al resto de la comunidad; y, si eres usuario de pago, no se puede descartar que tus imágenes sean «robadas» para otros fines.

Stable Diffusion forma parte de un ecosistema de código abierto y, gracias a la combinación de sus complementos y la creatividad de los usuarios, se pueden explorar más situaciones de uso. No te conformarás con generar una imagen a partir de una descripción, como en Midjourney; lo tratarás como un diseñador de estilos, y ahí empezarán las experiencias divertidas y valiosas.

En la comunidad, descubrirás muchos modelos con estilos muy marcados, como ChilloutMix, de estilo manga japonés; MoXin, de estilo de tinta china; e incluso modelos que imitan el rostro de estrellas de cine. Puedes cargar estos modelos entrenados para generar imágenes más personalizadas. Cuando llegue el momento de que esta tecnología esté realmente disponible comercialmente, creo que el interés del mercado pasará de Midjourney a Stable Diffusion.

¿Qué necesitas para alojar tu propio entorno de Stable Diffusion?

Preparación del hardware

1. Un ordenador con WindowsPreferiblemente, un ordenador con Windows; los Mac pueden tener más problemas con los controladores de la tarjeta gráfica. 2. Una GPU NVIDIA con más de 6 GBSi quieres entrenar, necesitas al menos 12 GB de memoria de vídeo.

3. Más de 16 GB de memoriaCon 8 GB basta, pero es difícil cargar los excelentes modelos de la comunidad. Proceso de instalación y precauciones.

1. Instala el entorno de Python. Durante la instalación, asegúrate de marcar Add Python to PATH.

2. Instala el entorno de Git

3. En CMD, ejecuta el siguiente comando para descargar stable-diffusiongit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Inicia la interfaz web de stable-diffusionUsa el administrador de archivos para buscar el archivo webui-user.bat descargado y ejecútalo sin permisos de administrador.

5. Según la instrucción del paso anterior, abre la dirección IP y aparecerá la interfaz de usuario– Si se produce algún error en los pasos anteriores, puedes pedirle ayuda a GPT para resolverlo.

Diseña un objetivo pequeño – unas pocas imágenes para entrenar un modelo pequeño

Algunos conceptos importantes que debes entender

modelo principal

– El modelo principal influye en el estilo del resultado; puedes usar el modelo original v1.5 que aparece en la ilustración

– Puedes elegir un modelo que te guste de civiai y colocarlo en la ubicación indicada…/stable-diffusion-webui/models/Stable-diffusion

Prompt – Introduce una descripción de texto de la imagen que quieras generar, por ejemplo: Un padre chino curtido por el tiempo sosteniendo un cuenco de arroz, características especiales

Pasos de muestreo – Por lo general, cuanto mayor sea el número de pasos, más refinada será la imagen, pero más tiempo tardará. Normalmente, lo configuro entre 20 y 40.

Alto y ancho – 512×512 es un tamaño razonable; si necesitas una proporción de imagen específica, también puedes modificarla

Generar – Haz clic en el botón de generación para generar la imagen. Si no te convence el primer resultado, inténtalo varias veces

Semillas – Si te gusta la composición generada, puedes seguir usando esta semilla en la próxima generación guardando la imagen de abajo.

opciones avanzadas

Extras – Marca esta casilla para abrir las opciones avanzadas – La intensidad de las diferencias puede aumentar el nivel de detalle de la imagen; si te parece demasiado sencilla, puedes aumentar este valor

Añade un estilo al modelo – Haz clic en el botón rojo «show extra Networks» que aparece debajo del botón Generate para desplegar el panel adicional – Puedes descargar los min modelos de civiai o entrenarlos tú mismo.

– La Hypernetwork es más versátil, mientras que LoRA es más adecuada para generar retratos

– Los min modelos se guardan en la carpeta correspondiente dentro de models, donde puedes verlos y seleccionarlos

– Después de seleccionar «style», se añadirán los parámetros del estilo al prompt; los parámetros que aparecen después representan la intensidad

Acciones para alcanzar el miniobjetivo (entrenamiento)

1. Prepara el conjunto de entrenamiento

– Unas 20 imágenes son suficientes para entrenar un buen modelo de estilo pequeño – Para empezar, bastan 5 imágenes con un estilo específico – Todas las imágenes del conjunto de entrenamiento deben tener las mismas dimensiones 2. Crea una Hypernetwork – En la sección de entrenamiento, introduce un nombre para crear una Hypernetwork

3. Preprocesa las imágenes – En este paso, la IA generará primero una descripción de texto basada en la imagen de entrenamiento. – En la imagen preprocesada, introduce la ruta de la carpeta de la imagen de entrenamiento y la ruta de la carpeta de la imagen preprocesada de salida. – Modifica las proporciones de la imagen de entrenamiento – Si las dimensiones no coinciden, puedes usar Birme para modificar primero el tamaño de las imágenes en lote. – Marca la opción BLIP y haz clic en el botón Preprocess para preprocesar las imágenes

–Espera a que se complete el entrenamiento. Junto a cada imagen habrá un archivo txt con la descripción correspondiente –Las descripciones pueden tener imprecisiones; puedes corregirlas manualmente – La precisión de las descripciones determina, en cierta medida, la eficacia del entrenamiento

4. Entrenamiento –Durante el entrenamiento, selecciona el Hypernetwork que acabas de crear. 2. –Introduce una tasa de aprendizaje de 0.00005 – En el entrenamiento inicial, son adecuados 4 ceros; en los entrenamientos posteriores, reduce gradualmente el número de ceros – Introduce el directorio con las imágenes y sus descripciones de texto –Modifica el tamaño de la imagen –Elige 2000 pasos de iteración –Por lo general, entrenar durante 2000 pasos lleva 1 hora con una tarjeta gráfica de la serie 10 y media hora con una de la serie 30 –Haz clic en el botón Training Hypernetwork para iniciar el entrenamiento

5. Presentación de resultados –Una vez iniciado el entrenamiento, puedes ver el proceso en la ventana de vista previa

–Después del entrenamiento, puedes ver el proceso en … /stable-diffusion-webui/textual_inversion/date/… Puedes encontrar los resultados del entrenamiento en la carpeta hyper networks –En la carpeta images están los resultados del proceso de entrenamiento –Puedes ver las imágenes y decidir qué resultado del entrenamiento es adecuado

–En la carpeta hyper networks, los archivos con el sufijo .pt son los modelos de estilo entrenados. – Por ejemplo, si te parece adecuado el resultado del paso 1400, puedes mover el archivo pt del paso 1400 a models/hyper networks para usarlo como estilo

–Generar imágenes con los resultados del entrenamiento –En «txt to img» e «img to img», selecciona el estilo que acabas de entrenar y genéralas. –Si el estilo no se aprecia lo suficiente, puedes aumentar el factor

–¡Que te diviertas!

Acabo de publicar los últimos avances y mi interpretación

Recientemente, Stable Diffusion ha presentado un nuevo modelo llamado DeepFloyd IF, que mejora enormemente una serie de problemas de la generación de imágenes con IA, que ha sido objeto de críticas. Por ejemplo, las imágenes generadas por IA presentan problemas de relaciones espaciales, personajes con varios dedos en las extremidades e incapacidad para representar relaciones lógicas complejas. Francamente, creo que el futuro de la IA para imágenes está del lado del código abierto y la implementación privada.

La sociedad humana es diversa y diferente a nivel visual, y las herramientas con determinados estilos y tendencias no pueden cubrir un área amplia. Las diferencias estéticas entre las personas se deben a los distintos conjuntos de entrenamiento; no hay ninguna diferencia entre las personas y la IA. El entrenamiento con implementación privada garantiza la independencia estética, y la «independencia» puede recuperar un mayor grado de «diversidad».