Una breve introducción a Sampler

Stable Diffusion Art. (s. f.). Samplers. Recuperado de https://stable-diffusion-art.com/samplers/. Hay muchos métodos de muestreo disponibles en Novita AI, incluidos Euler a, Heun y DDIM. ¿Qué son los samplers? ¿Cómo funcionan? ¿Cuáles son las diferencias entre ellos? ¿Cuál deberías usar? Encontrarás las respuestas en este artículo. Para producir una imagen, Stable Diffusion primero genera una imagen completamente aleatoria en el espacio latente. Luego, el predictor de ruido estima el ruido de la imagen, que posteriormente se resta de la imagen. Este proceso se repite varias veces, lo que da como resultado una imagen limpia. Este proceso de eliminación de ruido se llama muestreo porque Stable Diffusion genera una nueva imagen de muestra en cada paso. El método utilizado en el muestreo se denomina sampler o sampling method. El muestreo es solo una parte del modelo Stable Diffusion. Lee el artículo “¿Cómo funciona Stable Diffusion?” si quieres entender el modelo completo. A continuación se muestra un proceso de muestreo en acción. El sampler produce gradualmente imágenes cada vez más limpias. Aunque el marco es el mismo, hay muchas formas diferentes de llevar a cabo este proceso de eliminación de ruido. A menudo se trata de un equilibrio entre velocidad y precisión.

​

Descripción general de los samplers

En el momento de escribir esto, hay 19 samplers disponibles en Novita AI, y este número parece estar creciendo con el tiempo. ¿Cuáles son las diferencias? Aprenderás sobre ellos en la parte posterior de este artículo. Los detalles técnicos pueden ser abrumadores, así que incluiré una visión general en esta sección para ayudarte a hacerte una idea general de qué son.

​

Solucionadores ODE clásicos

Empecemos por los más sencillos. Algunos de los samplers de la lista se inventaron hace más de cien años. Son solucionadores clásicos para ecuaciones diferenciales ordinarias (ODE).

• Euler – El solucionador más simple posible.
• Heun – Una versión más precisa pero más lenta de Euler.
• LMS (Linear Multi-Step Method) – Misma velocidad que Euler, pero supuestamente más preciso.

​

Samplers ancestrales

¿Notas que algunos nombres de samplers tienen una sola letra “a”?

• Euler a
• DPM2 a
• DPM++ 2S a
• DPM++ 2S a Karras

Estos son samplers ancestrales. Un sampler ancestral añade ruido a la imagen en cada paso de muestreo. Son samplers estocásticos porque el resultado del muestreo contiene cierta aleatoriedad. Ten en cuenta que muchos otros samplers también son estocásticos, incluso si sus nombres no incluyen una “a”. La desventaja de usar un sampler ancestral es que la imagen puede no converger. Compara las imágenes generadas usando Euler a y Euler a continuación. Euler a no converge. (pasos de muestreo 2–40) Euler converge. (pasos de muestreo 2-40) Las imágenes generadas con Euler a no convergen con muchos pasos de muestreo, mientras que las imágenes de Euler convergen bien. Para la reproducibilidad, es deseable que la imagen converja. Si quieres generar variaciones ligeras, deberías usar una semilla variacional.

​

Programa de ruido de Karras

Los samplers etiquetados como “Karras” usan el programa de ruido recomendado en el artículo de Karras. Si observas con atención, verás que los tamaños de los pasos de ruido son más pequeños cerca del final. Este ajuste mejora la calidad de las imágenes.

​

DDIM y PLMS

DDIM (Denoising Diffusion Implicit Model) y PLMS (Pseudo Linear Multi-Step Method) fueron los samplers incluidos con el Stable Diffusion v1 original. DDIM es uno de los primeros samplers diseñados para modelos de difusión, mientras que PLMS es una alternativa más nueva y más rápida a DDIM. Generalmente se consideran obsoletos y ya no se usan ampliamente.

​

DPM y DPM++

DPM (Diffusion Probabilistic Model Solver) y DPM++ son nuevos samplers diseñados para modelos de difusión lanzados en 2022. Representan una familia de solucionadores con arquitectura similar. DPM y DPM2 son similares, siendo DPM2 de segundo orden (más preciso pero más lento). DPM++ es una mejora sobre DPM. DPM adaptive ajusta el tamaño del paso de forma adaptativa. Puede ser lento, ya que no garantiza completarse dentro del número especificado de pasos de muestreo.

​

UniPC

UniPC (Unified Predictor-Corrector) es un nuevo sampler lanzado en 2023. Inspirado en el método predictor-corrector de los solucionadores ODE, puede lograr generación de imágenes de alta calidad en 5-10 pasos.

​

Cómo elegir un sampler

En esta sección, proporcionaré algunas comparaciones objetivas para ayudarte a decidir.

​

Convergencia de la imagen

En esta sección, generaré la misma imagen usando diferentes samplers con hasta 40 pasos de muestreo. La última imagen en el paso 40 se utilizará como referencia para evaluar qué tan rápido converge el muestreo, con el método Euler como punto de referencia.

Euler, DDIM, PLMS, LMS Karras y Heun

Primero, veamos Euler, DDIM, PLMS, LMS Karras y Heun como grupo, ya que representan solucionadores ODE clásicos o solucionadores de difusión originales. DDIM converge con aproximadamente el mismo número de pasos que Euler, pero con más variaciones debido a la inyección de ruido aleatorio durante sus pasos de muestreo. PLMS no tuvo un buen rendimiento en esta prueba. LMS Karras parece tener dificultades para converger y se estabiliza en una línea base más alta. Heun converge más rápido, pero es dos veces más lento, ya que es un método de segundo orden. Por lo tanto, deberíamos comparar Heun con 30 pasos con Euler con 15 pasos, por ejemplo.

Samplers ancestrales

Si tu objetivo es una imagen estable y reproducible, deberías evitar usar samplers ancestrales, ya que todos fallan al converger.

DPM y DPM2

DPM fast no convergió bien. DPM2 y DPM2 Karras tienen mejor rendimiento que Euler, pero nuevamente a costa de ser dos veces más lentos. DPM adaptive tiene un rendimiento engañosamente bueno porque usa sus propios pasos de muestreo adaptativos. Puede ser muy lento.

Solucionadores DPM++

DPM++ SDE y DPM++ SDE Karras sufren la misma deficiencia que los samplers ancestrales. No solo no convergen, sino que las imágenes también fluctúan significativamente a medida que cambia el número de pasos. DPM++ 2M y DPM++ 2M Karras tienen buen rendimiento. La variante Karras converge más rápido cuando el número de pasos es lo suficientemente alto.

UniPC

UniPC converge un poco más lento que Euler, pero no demasiado mal.

​

Velocidad

Aunque DPM adaptive tiene buen rendimiento en convergencia, también es el más lento. Es posible que hayas notado que el resto de los tiempos de renderizado se dividen en dos grupos: el primer grupo tarda aproximadamente lo mismo (alrededor de 1x), y el otro grupo tarda aproximadamente el doble (alrededor de 2x). Esto refleja el orden de los solucionadores. Los solucionadores de segundo orden, aunque más precisos, necesitan evaluar la U-Net de eliminación de ruido dos veces. Por eso son 2x más lentos.

​

Calidad

Por supuesto, la velocidad y la convergencia no significan nada si las imágenes se ven mal. Imágenes finales Primero veamos muestras de la imagen. DPM++ fast falló bastante mal. Las muestras ancestrales no convergieron a la imagen a la que convergieron otros samplers. Los samplers ancestrales tienden a converger a una imagen de un gatito, mientras que los deterministas tienden a converger a un gato. No hay respuestas correctas siempre que te parezcan bien. Calidad perceptual Una imagen aún puede verse bien incluso si no ha convergido. Veamos qué tan rápido cada sampler puede producir una imagen de alta calidad. Verás la calidad perceptual medida con BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator). Mide la calidad de las imágenes naturales. DDIM lo hace sorprendentemente bien aquí, siendo capaz de producir la imagen de mayor calidad dentro del grupo en tan solo 8 pasos.

​

Entonces… ¿cuál es el mejor?

Estas son mis recomendaciones:

1. Si quieres usar algo rápido, convergente, nuevo y con calidad decente, las opciones excelentes son

• DPM++ 2M Karras con 20 – 30 pasos
• UniPC con 20-30 pasos.

2. Si quieres imágenes de buena calidad y no te importa la convergencia, buenas opciones son

• DPM++ SDE Karras con 10-15 pasos (Nota: este es un sampler más lento)
• DDIM con 10-15 pasos.

3. Evita usar cualquier sampler ancestral si prefieres imágenes estables y reproducibles.
4. Euler y Heun son buenas opciones si prefieres algo simple. Reduce el número de pasos para Heun para ahorrar tiempo.