redes neuronales profundos ahora pueden transferir al estilo de una foto a otra

Usted probablemente ha escuchado de una técnica de IA conocida como “transferencia de estilo” - o, si usted no ha oído hablar de él, que lo ha visto. El proceso utiliza redes neuronales para aplicar la apariencia de una imagen a otra, y aparece en aplicaciones como Prisma y Facebook. Estas transferencias de estilo, sin embargo, son estilística, no fotorrealista. Se ven bien porque se ven como si hubieran sido pintados. Ahora un grupo de investigadores de la Universidad de Cornell y Adobe han aumentado la transferencia de estilo para que pueda transferir el aspecto de una foto a otra - mientras que todavía parece como una foto. Los resultados son impresionantes.

El trabajo de los investigadores se describe en un artículo titulado En esencia, que han tomado los métodos de la transferencia de estilo original, y ha añadido otra capa de redes neuronales para el proceso de ‘Deep foto de la transferencia del estilo.’ - una capa que se asegura de que los detalles de la imagen original se conservan.

redes neuronales profundos ahora pueden transferir al estilo de una foto a otraDe izquierda a derecha: la imagen de referencia imagen original, y la salida.

“La gente es muy indulgente cuando ven imágenes de transferencia [estilo] en estos estilos pictóricos,” profesor de Cornell Kavita Bala, un co-autor del estudio, dijo a The Verge. “Pero con fotos reales hay una expectativa más fuerte de lo que queremos que se vea como, y por eso se convierte en un reto interesante.”

La capa de red neuronal añadido presta mucha atención a lo que Bala llama “parches afines locales.” No hay forma rápida de traducir con precisión esta frase, pero básicamente significa que los diversos bordes dentro de la imagen, si esa es la frontera entre un árbol y un lago, o un edificio y el cielo. Si bien la transferencia de estilo tiende a jugar rápido y suelto con estos bordes, cambiando de un lado a otro a su antojo, la transferencia de la foto de estilo las conserva.

Hay límites a la técnica, por supuesto. Los algoritmos parecen funcionar mejor con estructuras como edificios - los defectos son más evidentes con caras. Y no se puede utilizar de forma masiva fotos diferentes para la transferencia de estilo, de lo contrario las redes neuronales tienen más dificultades para el análisis de elementos para copiar de una imagen a otra. “Si usted tiene una imagen de un lago y tiene una escena en la que usted está tomando el estilo de, lo ideal sería que también tendría una masa de agua en ella de algún tipo”, dice Bala. “No hay un límite definido, pero esta es una buena pregunta de investigación abierta. Ponemos el código porque queremos que la gente a jugar con él y probarlo.”(El código está disponible en GitHub aquí.)

redes neuronales profundos ahora pueden transferir al estilo de una foto a otraEn la imagen marcada Neural estilo, se puede ver cómo la transferencia de estilo ordinaria muta los bordes afilados de la foto.

La pregunta es, ¿cuánto tiempo pasará hasta que comencemos a ver este tipo de transferencias de estilo de fotografías siendo accesibles al público? Después de todo, la transferencia estilo original pasó de un primer trabajo de investigación para la aplicación de Facebook, llegando a cientos de millones de usuarios, en menos de dos años. Y con la participación de Adobe en este documento, obviamente hay una expectativa que es al menos un poco interesado en algún tipo de comercialización. Hemos llegado a la empresa para obtener más información, y se actualizará siempre y cuando recibimos respuesta.

Por ahora, sin embargo, los investigadores están pensando ya en qué áreas de transferencia de estilo fotorrealista se podrían aplicar a continuación. “La cuestión de hasta qué punto puede empujar es importante”, dice Bala. “El video es una cosa lógica para que vaya a, y que, espero, va a suceder.”