Arte de IA na Edge: Relatório de progresso do desenvolvimento do Txt2Img

Com a ampla experimentação e avaliação do Midjourney pelo público, foram identificados alguns problemas nas imagens geradas por IA. A sensação de deslumbramento dá lugar à constatação de que as imagens geradas pelo Midjourney tendem geralmente a ter o mesmo estilo, que se poderia descrever como «cremoso» e demasiado homogéneo. Além disso, o Midjourney não tem... Se for um utilizador gratuito, as suas imagens ficarão expostas ao resto da comunidade e, se for um utilizador pago, não pode excluir a possibilidade de as suas imagens serem «roubadas» para outros fins.

O Stable Diffusion faz parte de um ecossistema de código aberto e, graças à combinação de funcionalidades de plug-ins e da criatividade dos utilizadores, é possível explorar mais cenários de aplicação. Não se ficará satisfeito com a simples geração de uma imagem a partir de uma descrição, como acontece com o Midjourney: irá encará-lo como um designer de estilos, e é aí que começam as experiências divertidas e valiosas.

Na comunidade, irá descobrir muitos modelos com estilos marcantes, como o ChilloutMix, para um estilo de manga japonês, o MoXin, para um estilo de tinta chinesa, e até modelos que imitam o rosto de estrelas de cinema. Pode carregar estes modelos treinados para gerar imagens mais personalizadas. Quando o uso comercial se tornar realmente viável, penso que o foco do mercado passará do Midjourney para o Stable Diffusion.

De que precisa para alojar o seu próprio ambiente Stable Diffusion?

Preparação do hardware

1. Um computador com WindowsDe preferência, um computador com Windows. Os computadores Mac podem ter mais dificuldades com os controladores da placa gráfica. 2. Uma GPU NVIDIA com mais de 6 GBSe quiser treinar, precisa de pelo menos 12 GB de memória de vídeo.

3. Mais de 16 GB de memória8 GB de memória são suficientes, mas é difícil carregar os excelentes modelos da comunidade. Processo de configuração e precauções.

1. Instale o ambiente Python. Durante a instalação, certifique-se de que a opção Adicionar Python ao PATHestá selecionada.

2. Instale o ambiente Git

3. Na linha de comandos, execute o seguinte comando para transferir o Stable Diffusiongit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Inicie a interface Web do Stable DiffusionUtilize o gestor de ficheiros para localizar o ficheiro webui-user.bat transferido e execute-o sem privilégios de administrador.

5. De acordo com a instrução do passo anterior, abra o endereço IP e a interface do utilizador será apresentada– Se ocorrer algum erro nos passos anteriores, pode pedir ao GPT que o ajude a resolver o problema.

Definir um pequeno objetivo – algumas imagens para treinar um pequeno modelo

Alguns conceitos importantes que precisa de compreender

modelo principal

– O modelo principal que influencia o estilo do resultado. Pode usar o modelo original v1.5 apresentado na ilustração

– Pode escolher um modelo que lhe agrade no civiai e colocá-lo no local especificado…/stable-diffusion-webui/models/Stable-diffusion

prompt – Introduza a descrição textual da imagem que pretende gerar, por exemplo, «A weathered Chinese father holding a rice bowl, Special Features»

Passos de amostragem – Em geral, quanto maior o número de passos, mais refinado será o resultado, mas mais tempo demorará. Normalmente, defino um valor entre 20 e 40.

Largura e altura – 512×512 é um tamanho razoável. Se tiver requisitos específicos para as proporções da imagem, também pode alterá-lo

gerars – Clique no botão Generate para iniciar a geração. Se não ficar satisfeito à primeira, experimente várias vezes

seeds – Se gostar da composição gerada, pode continuar a usar esta seed na geração seguinte, guardando a imagem abaixo.

opções avançadas

Extra – Clique nesta caixa de seleção para abrir as opções avançadas – A intensidade da diferença pode aumentar o nível de detalhe da imagem. Se achar que a imagem está demasiado simples, pode aumentar este valor

Aplicar um estilo ao modelo – Clique no botão vermelho «show extra Networks», por baixo do botão Generate, para abrir o painel adicional – Pode descarregar as miniaturas de civiai ou treiná-las por conta própria.

– a hypernetwork é mais versátil, enquanto o LoRA é mais adequado para gerar retratos

– os minimodelos são colocados na pasta correspondente em models, onde podem ser visualizados e selecionados

– depois de selecionar «style», os parâmetros do estilo serão adicionados ao prompt, e o valor a seguir representa a intensidade

Ações para atingir o miniobjetivo (treino)

1. preparar o conjunto de treino

– cerca de 20 imagens são suficientes para treinar um pequeno modelo de estilo de qualidade – para começar, bastam 5 imagens com um estilo específico – as imagens do conjunto de treino têm de ter todas as mesmas dimensões 2. Criar uma Hypernetwork – Na secção de treino, introduza um nome para criar uma hypernetwork

3. Pré-processar as imagens – Nesta etapa, a IA começará por gerar uma descrição textual com base na imagem de treino. – Na imagem pré-processada, indique o caminho da pasta da imagem de treino e o caminho da pasta para guardar a imagem pré-processada de saída. – Modifique as proporções da imagem de treino – Se as dimensões forem diferentes, pode usar o Birme para redimensionar várias imagens de uma só vez. – Marque a opção BLIP e clique no botão Preprocess para iniciar o pré-processamento

–Quando o processamento de cada imagem terminar, será criado um ficheiro txt ao lado dela, com a descrição da imagem correspondente –as descrições podem conter imprecisões; pode corrigi-las manualmente – A precisão das descrições determina, em certa medida, a eficácia do treino

4. Treino –No separador de treino, selecione o Hypernetwork que acabou de criar. 2. –introduza uma taxa de aprendizagem de 0.00005 – No treino inicial, 4 zeros são adequados; nos treinos seguintes, reduza gradualmente o número de zeros – introduza o diretório com as imagens e as respetivas descrições de texto –altere o tamanho da imagem –escolha 2000 passos de iteração –Em geral, um treino de 2000 passos demora 1 hora numa placa gráfica da série 10 e meia hora numa da série 30 –Clique no botão Training Hypernetwork para iniciar o treino

5. Apresentação dos resultados –Após o início do treino, pode acompanhar o processo na janela de pré-visualização

–Após o treino, pode consultar o processo em … /stable-diffusion-webui/textual_inversion/date/… Pode encontrar os resultados do treino na pasta hyper networks –a pasta images contém os resultados do processo de treino –Pode ver as imagens e decidir qual o resultado do treino mais adequado

–Na pasta hyper networks, os ficheiros com a extensão .pt são os modelos de estilo treinados – Por exemplo, se achar adequado o resultado do passo 1400, pode mover o ficheiro pt do passo 1400 para models/hyper networks e usá-lo como estilo

–Utilizar os resultados do treino para gerar imagens –Em «txt to img» e «img to img», selecione o estilo que acabou de treinar e gere as imagens. –Se o estilo não for suficientemente forte, pode aumentar o fator

–divirtam-se!

Acabei de publicar as novidades mais recentes e a minha interpretação

Recentemente, o Stable Diffusion apresentou um novo modelo chamado DeepFloyd IF, que melhora significativamente vários problemas da geração de imagens por IA, frequentemente criticada. Por exemplo, as imagens geradas por IA apresentam relações espaciais problemáticas, personagens com vários dedos nos membros e incapacidade para representar relações lógicas complexas. Francamente, acredito que o futuro da IA de imagem está do lado do código aberto e da implementação privada.

A sociedade humana é diversificada e apresenta diferenças visuais, pelo que ferramentas com determinados estilos e tendências não conseguem abranger uma vasta gama. As diferenças estéticas entre as pessoas resultam de diferentes conjuntos de treino. Não há diferença entre humanos e IA: a implementação privada do treino garante a independência estética, e essa «independência» pode recuperar um maior grau de «diversidade».