En el context de la intel·ligència artificial generativa, els models de llenguatge multimodal són models d'IA que poden entendre i generar informació a través de diferents tipus de dades o "modes". Aquests modes poden incloure text, imatges, àudio, i més.
Per posar-ho en un context educatiu, penseu en un model de llenguatge multimodal com un alumne que no només és bo en una matèria, sinó que és un tot terreny amb múltiples talents. Aquest alumne pot redactar un informe de laboratori (text), dibuixar una imatge (imatges), i fins i tot compondre una cançó (àudio). Poden entendre les connexions entre aquests diferents tipus de dades i utilitzar-les conjuntament. Per exemple, podrien escriure un informe sobre una imatge o dibuixar una imatge basada en una peça musical.
En el món de la IA, un model de llenguatge multimodal podria ser entrenat per entendre una descripció de text i generar una imatge corresponent, o viceversa. També podria ser utilitzat per generar una descripció de text d'un clip d'àudio, o qualsevol altra combinació de modes. Això fa que aquests models siguin molt potents i flexibles, ja que poden treballar amb una àmplia varietat de tasques i tipus de dades.
En aquesta secció, ens centrarem en un tipus d'IA generativa anomenada models de difusió, els quals s'utilitzen per a la generació d'imatges.
https://view.genially.com/64b96a86918964001a894526/interactive-content-m3-els-models-de-ia-visuals
Així com tenim diferents mètodes d'ensenyament perquè l'alumnat aprèn de diferents maneres, hi ha diferents tipus de models generatius perquè diferents tipus de dades i problemes requereixen diferents enfocaments. Alguns models poden ser millors per gestionar certs tipus de dades o tasques, mentre que altres poden ser més adequats per a diferents aplicacions. Com tenim una varietat de models, podem triar el que millor s'ajusta a les nostres necessitats específiques.
Els Codificadors Automàtics Variacionals (CAV) són un tipus de model generatiu que funciona una mica com un alumne prenent apunts en una conferència. L'alumne escolta la conferència (les dades d'entrada), condensa la informació en apunts (el procés de codificació), i després utilitza aquests apunts per estudiar i recrear la informació més tard (el procés de descodificació).
En el cas dels CAV, aquests prenen dades (com una imatge), la comprimeixen en una forma més senzilla, i després utilitzen aquesta forma comprimida per generar noves dades similars a l'original. Aquest procés permet als CAV aprendre l'estructura subjacent i la distribució de les dades, permetent-los així generar noves dades similars.
Les Xarxes Generatives Antagòniques (XGA) funcionen una mica com un joc entre dos alumnes. Un alumne (el generador) intenta crear una obra d'art convincent, mentre que l'altre alumne (el discriminador) intenta determinar si l'obra d'art és una obra mestra autèntica o una falsificació.
El generador crea noves dades (com una imatge), i el discriminador les avalua en comparació amb les dades reals, intentant distingir la diferència. A mesura que el generador es torna millor creant falsificacions convincents, el discriminador es torna millor detectant-les. Aquest procés antagònic porta el generador a crear dades molt més realistes.
Els Models Autoregressius tracten les dades com una seqüència, molt semblant a com un alumne podria aprendre a llegir un llibre d'esquerra a dreta, de dalt a baix. En el cas d'una imatge, això seria tractar la imatge com una seqüència de píxels.
Aquests models generen dades una peça a la vegada, amb cada nova peça depenent de les peces que es van generar abans. Això és similar a com un alumne pot escriure un informe, amb cada frase construïda a partir de les anteriors. Els Models Autoregressius estan majorment inspirats en com els models de llenguatge extens gestionen el text, tractant-lo com una seqüència de paraules o caràcters per ser generats d’un en un.
Els models de difusió són un tipus de model generatiu que ha guanyat popularitat en el camp de la generació d'imatges. Funcionen una mica com un alumne que aprèn a escriure un informe fent i corregint errors.
Imagineu un alumne que comença amb un informe ben escrit (la imatge original) i després hi afegeix errors (soroll). Això és el procés de difusió cap endavant. L'alumne després aprèn a corregir aquests errors, el qual és el procés de difusió inversa.
El procés que segueixen és el següent:
Procés de difusió cap endavant: comencen amb una imatge i afegeixen soroll iterativament. Després d'unes quantes iteracions, la imatge es converteix en soroll pur, amb tota l'estructura original desapareguda.
Procés de difusió inversa: entrenen un model d'aprenentatge automàtic per analitzar la imatge amb soroll i predir el soroll que s'hi ha afegit. Això és com l'alumne que aprèn a identificar i corregir els errors que ha comès en l’informe.
Els models de difusió han guanyat popularitat per diversos motius:
Qualitat de les imatges generades: els models de difusió poden generar imatges d'alta qualitat que sovint són més realistes que les generades per altres tipus de models. Això és com un alumne que ha dominat l'escriptura d'informes i ara pot escriure informes d'alta qualitat.
Flexibilitat: els models de difusió poden ser utilitzats tant per a la generació no condicionada (creant noves imatges des de zero) com per a la generació condicionada (modificant imatges existents basades en alguna entrada). Això és com un alumne que pot escriure un informe sobre qualsevol tema des de zero, o modificar un informe existent basat en comentaris.
Avenços recents: encara que els models de difusió van ser introduïts per primera vegada el 2015, han vist un augment massiu de popularitat en els últims anys a causa dels avenços en la recerca i la tecnologia. Això és similar a com certes metodologies d'ensenyament poden esdevenir més populars a mesura que la recerca mostra la seva eficàcia.
Integració amb altres models: els models de difusió es poden combinar amb altres tipus de models, com els models de llenguatge extens, per crear sistemes encara més potents. Això és com un alumne que pot combinar les seves habilitats en diferents matèries per crear un projecte multidisciplinari.
Els models probabilístics de difusió de reducció de soroll segueixen el procés de difusió cap endavant i difusió inversa de manera iterativa, és a dir, es produeix en una sèrie de passos, per diversos motius:
Aprenentatge gradual: de la mateixa manera que un alumne no aprèn tot d'una vegada, el model també ha d'aprendre gradualment. En cada iteració, el model aprèn una mica més sobre l'estructura de les dades.
Gestió de la complexitat: el procés de generació d'una imatge a partir del soroll és complex. En dividir-lo en passos iteratius més petits, el model pot gestionar aquesta complexitat. És com un alumne resolent un problema complex de matemàtiques pas a pas.
Correcció d'errors: en cada iteració, el model fa una predicció sobre com hauria de ser la imatge el soroll reduït, i després corregeix la seva predicció en funció de la diferència entre el soroll previst i el real. Això és semblant a un alumne que endevina una resposta, comprova el seu treball i després corregeix la seva resposta si és necessari.
Millora de la qualitat: cada iteració millora la qualitat de la imatge generada. Partint del soroll pur, és possible que la imatge no se sembli molt a la del principi, però, amb cada iteració, esdevé més i més com una imatge real. Això és com un alumne que comença amb un esborrany d'un informe i el millora amb cada revisió.
El procés iteratiu en els models de difusió és crucial per gestionar la complexitat, permetre l'aprenentatge gradual, permetre la correcció d'errors i millorar la qualitat de les imatges generades.
Els models de difusió condicionats són com l’alumnat que completa una tasca basada en instruccions o condicions específiques. Per exemple, un docent pot demanar a un alumne que escrigui un informe sobre un tema específic o que resolgui un problema de matemàtiques utilitzant un mètode particular. El treball de l'alumne està "condicionat" per aquestes instruccions.
En el context de la IA, els models de difusió condicionats generen dades basades en alguna entrada o condició addicional. Per exemple, un model de difusió condicionat podria generar una imatge basada en una descripció de text, o modificar una imatge existent basada en algunes instruccions. Això és com l'alumne que escriu un informe basat en una instrucció específica, o edita un informe basat en comentaris.
En canvi, els models de difusió no condicionats són com alumnat que completen una tasca sense cap instrucció específica. Per exemple, es podria demanar a un alumne que escrigués un article sobre qualsevol tema que li agradi, o que resolgui un problema de matemàtiques de qualsevol manera que triï. El treball de l'alumne no està "condicionat" per cap instrucció específica.
En el context de la IA, els models de difusió no condicionada generen dades sense cap entrada o condició addicional. Per exemple, un model de difusió no condicionat podria generar noves imatges des de zero, sense cap guia sobre com haurien de ser les imatges. Això és com l'alumne que escriu un article sobre qualsevol tema que triï.
La diferència entre els models de difusió condicionats i no condicionats és si tenen o no instruccions o condicions específiques per guiar el seu procés de generació de dades. Els models condicionats tenen instruccions específiques, mentre que els models no condicionats no en tenen.
Els models de difusió no condicionats són com alumnat als quals se'ls dóna la llibertat de crear un projecte sense cap guia específica. Poden triar el seu tema, mitjà i enfocament. En el context de la IA, aquests models generen noves dades des de zero, sense cap guia específica.
Exemples:
Síntesi de rostres humans: és com un alumne al qual se li demana que dibuixi un rostre humà sense que se li doni una persona específica per dibuixar. L'alumne ha après com solen ser els rostres humans, on solen estar situats els ulls, el nas i la boca, quines formes i proporcions són comunes, i utilitza aquest coneixement per dibuixar un nou rostre. De manera similar, un model de difusió no condicionat entrenat amb imatges de rostres humans pot generar nous rostres que no corresponen a cap individu específic, però que tenen les característiques generals i l'estructura d'un rostre humà.
Super-resolució: és com un alumne al qual se li demana que millori un esbós de baixa qualitat. L’alumne utilitza els seus coneixements de línies, formes i ombrejat per omplir els detalls que falten i crear un dibuix d'alta qualitat. De manera similar, un model de difusió no condicionat pot utilitzar una imatge de baixa resolució i generar una versió d'alta resolució, omplint detalls que no estaven presents en l'original.
Els models de difusió condicionats són com alumnat als quals se'ls dóna una tasca o instrucció específica per treballar. Han de crear alguna cosa que compleixi cert criteri o segueixi certes pautes.
Exemples:
Text-a-Imatge: és com un alumne al qual se li demana que dibuixi una imatge basada en una descripció. Per exemple, el docent podria dir: "Dibuixeu una casa amb un teulat vermell, una porta blava i dues finestres". L'alumne utilitza aquest text per guiar el seu dibuix. De manera similar, un model de difusió condicionat pot generar una imatge basada en una descripció de text, creant una imatge que coincideixi amb el text donat.
Emplenament d'imatges: és com un alumne al qual se li dóna una imatge amb una part que falta i se li demana que ompli la part que falta. L'alumne ha d'utilitzar les parts circumdants de la imatge per endevinar com podria ser la part que falta. De manera similar, un model de difusió condicionat pot utilitzar una imatge amb una part que falta i generar la part que falta basant-se en la resta de la imatge.
Imatge-a-imatge guiada per text: és com un alumne al qual se li dóna una imatge i se li demana que la modifiqui basant-se en algunes instruccions. Per exemple, el docent podria donar a l'alumne una imatge d'una escena diürna i dir: "Canvieu aquesta imatge perquè sembli de nit". Llavors l'alumne modifica la imatge basant-se en aquestes instruccions. De manera similar, un model de difusió condicionat pot utilitzar una imatge existent i un text i generar una nova imatge que sigui una versió modificada de la imatge original basada en el text.
Els models de difusió han experimentat avenços significatius en els últims anys, de la mateixa manera que els mètodes d'ensenyament evolucionen amb el temps amb la nova recerca i tecnologia. Aquests avenços han portat a millores en la qualitat de les imatges generades per aquests models, així com en la velocitat amb la qual poden generar imatges.
Un dels principals avenços ha estat en la generació més ràpida. Inicialment, els models de difusió requerien moltes passes iteratives per generar una imatge, la qual cosa podia ser un procés que consumís molt temps. No obstant això, la recerca recent ha portat a mètodes que poden generar imatges molt més ràpidament. Això és com trobar un mètode d'ensenyament més eficient que permet a l'alumnat comprendre un concepte més ràpidament.
Els models de difusió condicionats són com alumnat a qui se'ls dóna una indicació específica per treballar. Els avenços recents han millorat la capacitat d'aquests models per generar imatges basades en condicions o entrades específiques, com una descripció de text o una imatge existent per modificar.
El Preentrenament Contrastiu de Llenguatge-Imatge és un mètode que entrena models per comprendre i generar informació a través de diferents tipus de dades, com text i imatges. Això és com un alumne que aprèn a connectar conceptes a través de diferents matèries, com utilitzar els seus coneixements d'història per entendre una novel·la a la classe de català. Aquests models s'entrenen en un gran nombre d'imatges i les seves descripcions, aprenent a associar les dades de text i imatge.
Un dels avenços més rellevants ha estat la combinació de models de difusió amb models de llenguatge extens. Això és com un alumne que combina les seves habilitats en diferents matèries per crear un projecte multidisciplinari.
Per exemple, un model de llenguatge extens podria ser utilitzat per generar una descripció de text, i després un model de difusió podria generar una imatge basada en aquesta descripció. Això permet la creació d'imatges fotorealistes, conscients del context, a partir d'una indicació, obrint un ampli ventall de possibles aplicacions.
El camp de la IA generativa, i en particular els models de difusió, està avançant ràpidament, amb millores en velocitat, qualitat i flexibilitat. Aquests avenços estan ampliant les possibles aplicacions d'aquests models i els estan convertint en eines més potents i eficients en el camp de la intel·ligència artificial.
