Els models d'IA visuals i altres recursos

Recursos amb IA visuals

En aquesta secció, s’expliquen alguns dels principals recursos de generació d’imatges amb intel·ligència artificial generativa. Aquests recursos són aplicacions web que permeten crear imatges a partir de textos, dibuixos o altres imatges, utilitzant algoritmes d’aprenentatge automàtic. Es comparen els serveis segons criteris com la seva disponibilitat i gratuïtat, la seva facilitat d’accés i si cal o no registre, la seva qualitat i el seu nivell d’accessibilitat i dificultat d’ús.

Abans de començar a fer proves amb els diversos generadors d’imatges amb IA que presentem a continuació, aquí teniu alguns aspectes a tenir en compte quan els feu servir, adaptats de Matt Miller:

• Poden crear art en diferents estils. Des d’estils fotorrealistes fins a il·lustracions, passant per dibuixos per a nens, anime, aquarel·les, pintures a l'oli i més. També poden imitar l'estil d'artistes famosos. Alguns generadors us suggeriran estils populars perquès els proveu.
• L'experimentació és clau. És possible que obtingueu la imatge perfecta al primer intent, però això és poc probable. És més probable que hàgiu d'experimentar amb diferents variacions a les indicacions per obtenir l'aspecte o el tipus d'imatge que realment voleu. La millor opció és no utilitzar-les amb pressa, sobretot la primera vegada. Preneu-vos el vostre temps per jugar.
• Poden utilitzar imatges existents com a base. Molts generadors d'imatges amb IA permeten penjar una imatge existent o utilitzar un enllaç a una imatge com a punt de partida. Un cop fet això, podeu demanar-li que la modifiqui, li afegeixi coses, etc.
• Podeu incloure molta informació en la vostra indicació. Podeu especificar, per exemple, la descripció de la imatge, l'ambientació amb adjectius, l'estil d'art, la il·luminació, els colors, la referència de l'artista, els detalls que busqueu, etc. És bo ser cada cop més específic, fins a cert punt.
• Els generadors d'imatges amb IA van acompanyats de controvèrsia. Els generadors d'imatges amb IA utilitzen grans biblioteques d'art existents per entrenar-se i crear les noves imatges que li demaneu. El problema amb això és que els creadors originals d'aquest art existent sovint no han donat permís perquè el model d'IA utilitzi el seu art per entrenar-se. Les comunitats artístiques estan molt preocupades pels generadors d'imatges amb IA.
• La situació dels drets d'autor amb els generadors d'imatges amb IA és complexa. En general, podeu utilitzar imatges generades per IA amb finalitats educatives. La majoria de models s’han entrenat amb imatges amb drets d'autor. Alguns generadors d'imatges amb IA posen una llicència d'ús específica a les seves imatges. Per exemple, Adobe Firefly exigeix que les seves imatges només s’utilitzin per a usos no comercials.
• Vigileu amb les condicions d'ús. Si voleu que el vostre alumnat utilitzi els generadors d'imatges amb IA directament, comproveu els límits d'edat a les condicions d'ús. És possible que l’alumnat més jove no els puguin utilitzar. També teniu la possibilitat d’utilitzar generadors d'imatges amb IA des d’un dispositiu a l’aula amb la vostra supervisió i després passar la imatge a l'alumnat.
• La majoria dels generadors d'imatges amb IA compten amb mesures de seguretat. Molts d’aquests generadors han introduït mitjans de protecció contra una varietat d’usos no ètics, com ara la desinformació, l'engany, les imatges explícites, etc. En la majoria de casos, us semblaran adequades. De vegades, però, aquests mitjans us impediran crear el que voleu. Per exemple, si voleu crear una imatge hipotètica basada en algun fet històric, una mesura de seguretat podria activar-se i aturar-vos.

https://view.genially.com/64bd46c576cc9d00116ee0ae/presentation-m3-2-recursos-amb-ia-visuals

Quina és l'edat mínima requerida per utilitzar cadascuna d'aquestes eines segons les seves condicions d'ús?

Creador d’imatges de Bing / Microsoft Designer

El creador d’imatges de Bing està vinculat al xat de Bing, el qual s’ha cobert al mòdul 2. Per tant, igual que el xat de Bing, us recomanarà utilitzar el navegador Microsoft Edge. Necessiteu un compte de Microsoft per utilitzar el creador d’imatges de Bing. Si no en teniu cap, podeu crear-ne un de manera gratuïta a https://signup.live.com/. Un cop inicieu sessió, us permetrà desar el vostre historial de xat i preferències. Recordeu que l’edat legal per a tenir un compte Microsoft és +13 anys.

S’hi por accedir a través de https://www.bing.com/create. Tingueu en compte que també li podeu demanar al xat de Bing generar imatges, però aquesta pàgina permet veure l’historial, les versions que es generen de cada indicació, etc.

Pel que fa al model gratuït, aquest parteix de 15 “impulsos” diaris. Si aquest límit es sobrepassa, es pot continuar generant imatges, però s’afegeix un temps d’espera. Val a dir que, després de la seva actualització a DALL·E 3 a l'octubre 2023, i el seu boom en popularitat, el temps d'espera pot arribar a ser molt alt. La qualitat de les sortides sol ser bona.

Al desembre 2023, tot el branding del creador d’imatges de Bing es va modificar per Microsoft Designer (https://designer.microsoft.com/home). “Powered by DALL·E” va passar a ser “from Designer”. Aquesta eina de Microsoft, sobre la qual podeu trobar una breu ressenya a la nostra secció sobre altres recursos amb IA focalitzada en el que anomenen Design Creator, s’ha ampliat per oferir diferents eines, entre les quals s’inclou la generació d’imatges.

Aquesta eina ha fet especial èmfasi en l’eina de compartició d’indicacions, promocionant la compartició de bones indicacions entre usuaris. L’eina va igualment lligada al vostre usuari de Microsoft, així que no es pot utilitzar sense registre.

Adobe Firefly

És el servei d’Adobe de generació d’imatges amb IA. S’hi accedeix a través de https://firefly.adobe.com/. Aquest servei requereix un usuari d’Adobe. Per accedir-hi, feu clic al botó ‘Sign in’. Si no en teniu, us hi podeu registrar (Create an account). Recordeu que l’edat legal per a tenir un compte Adobe és +13 anys.

Un dels punts forts que té aquesta plataforma és que permet algunes opcions de personalització i inspiració dintre de la interfície, com l’aspecte (1:1, 4:3, 3:4 o 16:9) i l’estil (fotografia, dibuix, etc.). Un dels punts febles podria ser que la marca d’aigua que afegeix a les imatges és força visible. El seu límit gratuït és de 25 indicacions al mes (100 imatges). La qualitat de les sortides sol ser mitjana.

DALL·E

DALL·E (es pronuncia com Dalí) és el servei de generació d’imatges d’OpenAI. S’hi pot accedir a través de https://openai.com/index/dall-e-3/ o a través de ChatGPT. Requereix els mateixos requisits per ser utilitzat que ChatGPT. Recordeu que això inclou verificació telefònica.

En implementar la seva versió 3, aquesta eina va passar a ser només de pagament. Tot i això, l'agost de 2024, l’eina va actualitzar el seu model gratuït per permetre als usuaris generar dues imatges al dia. La qualitat de les sortides acostuma a ser bona.

Considereu que, argumentant motius de qualitat en la compressió d’imatges, DALL·E treballa amb sortides en format .webp. Aquest format actualment té una compatibilitat molt baixa amb eines de creació de continguts com les de Google Workspace o Microsoft 365. Alguns usuaris tenen èxit demanant que posteriorment converteixi les imatges a altres formats, com .png, però no sempre es dona el cas. Per tant, que recomanem que utilitzeu un convertidor extern de format .webp a .png com, per exemple, el de EZgif.

Stable Diffusion Online

Stable Diffusion Online (https://stablediffusionweb.com/) permet accedir al model Stable Diffusion, el qual està disponible a múltiples eines amb IAG. Aquest cas es dona perquè Stable Diffusion és un model de codi obert. Això significa que el seu codi font està disponible públicament, el qual permet a investigadors i desenvolupadors accedir-hi, modificar-lo i utilitzar-lo per a les seves pròpies aplicacions. El pla gratuït de Stable Diffusion Online ofereix 10 crèdits al dia, els quals es regeneren cada 24 hores. La qualitat de les sortides acostuma a ser bona.

En desembre de 2023, l'Observatori d'Internet de Stanford va realitzar una inspecció detallada del conjunt de dades LAION-5B, el qual és àmpliament utilitzat per a l'entrenament d'eines d'intel·ligència artificial. Aquesta inspecció va descobrir la presència d'imatges d'abús infantil dins del conjunt de dades. Per aquesta raó, i des d'un punt de vista ètic, és altament desaconsellable utilitzar eines d'IA que s'hagin entrenat amb aquest conjunt de dades com, per exemple, Stable Diffusion.

En juny de 2024, Stability AI va presentar el seu nou model Stable Diffusion 3 Medium, entrenat amb un cos de dades revisat. La percepció immediata dels usuaris va ser que aquest nou model tenia grans problemes per solucionar anatomia humana, el qual fa reflexionar sobre el pes que tenia el material per a adults en l’entrenament de models anteriors. Podeu llegir més sobre aquest cas a la secció del mòdul 5 que tracta la polèmica del cos de dades LAION-5B.

Ideogram

Ideogram (https://ideogram.ai/) és una eina que destaca pel seu bon tractament del text dintre de la imatge, el qual permet als usuaris incloure paraules llegibles dintre de la seva indicació.

Requereix registre i tracta les seves generacions com a una xarxa social, el qual permet als usuaris seguir-se i donar likes, així com reutilitzar les imatges ja generades i les seves respectives indicacions per introduir-hi variacions.

En un inici, totes les generacions d’imatges que es creaven quedaven com a públiques dintre del vostre perfil. Ideogram ara permet fer imatges en mode privat. El seu límit gratuït és de 25 indicacions al dia (100 imatges). La qualitat de les sortides sol ser bona.

Freepik Pikaso

El popular banc d’imatges Freepik, conegut per estar darrere de recursos com el banc d’icones Flaticon o de plantilles de presentacions SlidesGo, ha llençat recentment el seu servei de creació d’imatges, anomenat Pikaso. S’hi pot accedir a través de https://www.freepik.com/ai/image-generator. També teniu disponible la versió de Pikaso que genera imatges en temps real a https://freepik.com/pikaso#/.

Freepik Pikaso és una eina amb un pla freemium, la versió gratuïta del qual permet la generació de 40 imatges al dia. Tenint en compte que es generen 4 imatges per indicació, això equivaldria a unes 10 indicacions al dia. La qualitat de les sortides sol ser baixa.

Recraft

Recraft (app.recraft.ai) es caracteritza per oferir la possibilitat de descarregar imatges en format vectorial (.svg). També permet descarregar les imatges com a .png, les quals poden treballar amb transparències. Aquest factor afavoreix usuaris que treballen amb disseny gràfic i requereixen més versatilitat dels fitxers i millor qualitat de les imatges amb les quals treballen. La qualitat de les sortides és variable, oscil·lant entre qualitats baixes i mitjanes.

El seu pla gratuït no inclou limitacions de generació d’imatge, però especifica que totes les imatges són públiques i propietat de Recraft. Aquesta és una estratègia similar a la que Ideogram va utilitzar abans d’incloure les limitacions actuals de generació d’imatges en el seu pla gratuït.

Canva

La plataforma Canva segueix creixent exponencialment. Un dels seus serveis és la creació de text a imatge amb IA. S’hi pot accedir a través de https://www.canva.com o directament a través de https://www.canva.com/apps/text-to-image. L’edat legal per usuaris de Canva és +13 anys. La qualitat de les sortides sol ser baixa.

Recordeu que podeu validar els vostres comptes XTEC o de centre com a comptes educatius per accedir als continguts de pagament a través del formulari a la pàgina https://www.canva.com/edu-signup/.

Padlet

La plataforma de murs col·laboratius Padlet (https://padlet.com/) ha afegit l'opció de generar imatges amb IA com a una de les seves possibilitats dintre de la interacció a murs. Aquesta opció està basada en DALL·E d’OpenAI.

El seu punt fort a contextos educatius és que no requereix que l’usuari estigui registrat a Padlet per utilitzar-lo. Si el creador del Padlet ha decidit que els usuaris sense registre el poden utilitzar, un usuari sense registre podrà afegir una entrada al mur col·laboratiu i podrà generar una imatge amb el seu generador. La qualitat de les sortides sol ser mitjana.

Craiyon

Craiyon (anteriorment coneguda com a DALL·E mini) és una plataforma de generació d’imatges gratuïta i que no requereix registre, tot i que compta amb un pla prèmium. S’hi accedeix a https://www.craiyon.com/. Això la pot fer útil per a treballar amb l’alumnat. Tot i això, aquesta plataforma compta amb una quantitat de publicitat notable i molt temps d'espera. La qualitat de les sortides sol ser baixa.

Val a dir que Craiyon (quan es va llençar com a DALL·E mini) va ser la primera plataforma de creació d'imatges amb IA que es va viralitzar i va guanyar l'interès dels usuaris, és de codi obert i ha estat entrenada amb dades agafades d'internet sense filtre ni revisió.

Flux AI

L'agost de 2024 Black Forest va llançar el seu model Flux.1. Aquest és un model obert, el qual diversos desenvolupadors han desenvolupat per millorar els seus resultats. Una de les plataformes a través de la qual podeu accedir al model és https://www.fluxpro.ai/. Aquesta eina permet generar imatges il·limitades amb el model Flux-Schnell, a més que permet crear imatges amb models més elevats amb un sistema per a usuaris gratuït de 3 crèdits al dia.

El llançament d’aquest model ha estat envoltat de polèmiques sobre els seus usos ètics. Grok, la IA de X/Twitter, ha implementat el model Flux-Schnell per a la creació d’imatges a la seva plataforma. La capacitat d’aquest model per generar hipertrucatges que involucren llocs i persones conegudes, i la seva baixa protecció per afegir elements com drogues, armes i violència, van disparar els seus mals usos, amb especial impacte en la campanya elector als EUA del 2024. La qualitat de les sortides oscil·la entre mitjana i alta.

Midjourney

Midjourney es va llençar el 2022 i és una de les eines que va tenir un impacte directe en el boom de la IA generativa. Es caracteritzava per oferir resultats molt superiors a la resta de generadors d’imatges. També s’ha caracteritzat per la seva elevada corba de dificultat per obtenir bons resultats i per la seva opacitat d’ús perquè no disposava d’una interfície web i operava a través de la plataforma de missatgeria instantània Discord. Una altra de les seves característiques és que no oferia pla gratuït. Tots els plans eren directament de pagament.

A causa dels avenços d’altres generadors, com Flux, en l’agost 2024 Midjourney ha obert el seu generador d’imatges a la seva plataforma web i ha afegit un pla gratuït de 25 crèdits (els quals no es renoven) per a usuaris. La qualitat de les sortides és generalment alta.

Scribble Diffusion

Plataforma gratuïta i que originàriament no requeria registre. S’hi accedeix a https://scribblediffusion.com/. Convida a l’entrada multimodal de text + un dibuix fet per l’usuari per condicionar la sortida. Aquesta eina era inicialment d'accés directe, pèro actualment demana un token únic per accedir-hi que s'aconsegueix registrant-se a Replicate. Un cop registrats, podeu trobar el token que es demana accedint a API tokens. Considereu que si no poseu el token i accediu a l'eina, l'eina no donarà sortides a les vostres indicacions.

També cal destacar que, tot i que inicialment es va donar molta cobertura a xarxes sobre aquesta eina per als seus usos a l'aula, les seves condicions de servei especifiquen que és per a usuaris majors de 18 anys.

Autodraw

AutoDraw (https://www.autodraw.com/) és un experiment de Google que és capaç de reconèixer el dibuix de l’usuari i adaptar-lo a la figura que vol plasmar. És gratuïta i no requereix registre, el qual la converteix en una eina molt útil per a treballar amb l’alumnat. Un cop l’usuari hi dibuixa, l’eina ofereix diverses possibilitats en funció al que aquesta reconeix al dibuix. L’usuari pot alternar entre dibuixar amb o sense l’eina automàtica.

Idees per utilitzar generadors d'imatge amb IAG a l'aula

Aquesta és una adaptació de l’article de Matt Miller AI image generators: 10 tools, 10 classroom uses (2023):

1. Afegiu il·lustracions a una història. Això funciona molt bé amb lectures en veu alta i qualsevol mena d'història que el vostre alumnat pugui llegir. Demaneu a un generador d'imatges amb IAG que creï il·lustracions que l'il·lustrador de la història no va fer, o en podeu inventar de noves si no hi havia cap il·lustrador.

2. Creeu un final alternatiu. Aquesta és una activitat divertida per fer després de l'anterior, i també pot comportar un gran gir per a la història. Què passaria si un personatge d'una història escollís un camí diferent? Què passaria si algú en la història fes alguna cosa completament diferent? Demaneu a un generador d'imatges amb IAG que creï una imatge del que podria ser per despertar la imaginació del vostre alumnat.

3. Creeu avatars per al vostre alumnat. Això podria ser una activitat divertida per conèixer millor als companys o per fomentar la cohesió del grup. El vostre alumnat podria crear avatars - imatges que els representen - amb generadors d'imatges amb IAG. Després poden explicar per què han fet que l'avatar tingui aquesta determinada aparença.

4. Assigneu una tasca d’expressió escrita a través d’una imatge. Creeu una imatge d'una persona, un lloc, un esdeveniment, etc. i deixeu que el vostre alumnat escrigui sobre aquesta.

5. Il·lustreu un problema d'història o de física. De vegades, els problemes de narrativa són difícils d'imaginar. Genereu una imatge amb IAG que mostri al vostre alumnat com podria ser aquest problema.

6. Creeu una il·lustració per a una estratègia mnemotècnica. Utilitzar una estratègia mnemotècnica, una dita divertida, un acrònim, etc. pot ajudar el vostre alumnat a recordar conceptes. Creeu una imatge que ajudi el vostre alumnat a recordar idees i sabers treballats a l’aula.

7. Creeu i afegiu imatges a les diapositives de presentació. Qui necessita fotos d'arxiu quan la IAG pot generar les vostres imatges? Si necessiteu imatges generals per il·lustrar o representar una idea concreta, utilitzeu un generador d'imatges amb IAG.

8. Integreu els interessos del vostre alumnat en els vostres materials. Al vostre alumnat potser els agrada molt un determinat tipus de menjar. O el Cacaolat. O un determinat YouTuber català, compte de TikTok o marca de roba. Genereu imatges amb IAG que incloguin aquestes idees.

9. Creeu una imatge per descriure. Això pot ser molt útil en llengües estrangeres o amb alumnat que està aprenent una nova llengua. Genereu imatges que el vostre alumnat pugui utilitzar per descriure gramàtica, vocabulari o nous conceptes de comunicació.

10. Creeu imatges de persones per afegir diàleg. Què es dirien els personatges històrics els uns als altres? Com seria un diàleg entre el vostre alumnat i un personatge d'una història? O amb algú d'un lloc o període de temps concret? Utilitzeu generadors d'imatges amb IA per crear imatges per a una mena de còmic. Afegiu aquestes imatges a Google Slides, PowerPoint, Canva... qualsevol eina amb la qual pugueu afegir bombolles de diàleg/pensament i text.

Com funcionen les IA visuals?

En el context de la intel·ligència artificial generativa, els models de llenguatge multimodal són models d'IA que poden entendre i generar informació a través de diferents tipus de dades o "modes". Aquests modes poden incloure text, imatges, àudio, i més.

Per posar-ho en un context educatiu, penseu en un model de llenguatge multimodal com un alumne que no només és bo en una matèria, sinó que és un tot terreny amb múltiples talents. Aquest alumne pot redactar un informe de laboratori (text), dibuixar una imatge (imatges), i fins i tot compondre una cançó (àudio). Poden entendre les connexions entre aquests diferents tipus de dades i utilitzar-les conjuntament. Per exemple, podrien escriure un informe sobre una imatge o dibuixar una imatge basada en una peça musical.

En el món de la IA, un model de llenguatge multimodal podria ser entrenat per entendre una descripció de text i generar una imatge corresponent, o viceversa. També podria ser utilitzat per generar una descripció de text d'un clip d'àudio, o qualsevol altra combinació de modes. Això fa que aquests models siguin molt potents i flexibles, ja que poden treballar amb una àmplia varietat de tasques i tipus de dades.

En aquesta secció, ens centrarem en un tipus d'IA generativa anomenada models de difusió, els quals s'utilitzen per a la generació d'imatges.

https://view.genially.com/64b96a86918964001a894526/interactive-content-m3-els-models-de-ia-visuals

Tipus de models generatius d’imatges

Així com tenim diferents mètodes d'ensenyament perquè l'alumnat aprèn de diferents maneres, hi ha diferents tipus de models generatius perquè diferents tipus de dades i problemes requereixen diferents enfocaments. Alguns models poden ser millors per gestionar certs tipus de dades o tasques, mentre que altres poden ser més adequats per a diferents aplicacions. Com tenim una varietat de models, podem triar el que millor s'ajusta a les nostres necessitats específiques.

Codificadors Automàtics Variacionals (CAV)

Els Codificadors Automàtics Variacionals (CAV) són un tipus de model generatiu que funciona una mica com un alumne prenent apunts en una conferència. L'alumne escolta la conferència (les dades d'entrada), condensa la informació en apunts (el procés de codificació), i després utilitza aquests apunts per estudiar i recrear la informació més tard (el procés de descodificació).

En el cas dels CAV, aquests prenen dades (com una imatge), la comprimeixen en una forma més senzilla, i després utilitzen aquesta forma comprimida per generar noves dades similars a l'original. Aquest procés permet als CAV aprendre l'estructura subjacent i la distribució de les dades, permetent-los així generar noves dades similars.

Xarxes Generatives Antagòniques (XGA)

Les Xarxes Generatives Antagòniques (XGA) funcionen una mica com un joc entre dos alumnes. Un alumne (el generador) intenta crear una obra d'art convincent, mentre que l'altre alumne (el discriminador) intenta determinar si l'obra d'art és una obra mestra autèntica o una falsificació.

El generador crea noves dades (com una imatge), i el discriminador les avalua en comparació amb les dades reals, intentant distingir la diferència. A mesura que el generador es torna millor creant falsificacions convincents, el discriminador es torna millor detectant-les. Aquest procés antagònic porta el generador a crear dades molt més realistes.

Models Autoregressius (AR)

Els Models Autoregressius tracten les dades com una seqüència, molt semblant a com un alumne podria aprendre a llegir un llibre d'esquerra a dreta, de dalt a baix. En el cas d'una imatge, això seria tractar la imatge com una seqüència de píxels.

Aquests models generen dades una peça a la vegada, amb cada nova peça depenent de les peces que es van generar abans. Això és similar a com un alumne pot escriure un informe, amb cada frase construïda a partir de les anteriors. Els Models Autoregressius estan majorment inspirats en com els models de llenguatge extens gestionen el text, tractant-lo com una seqüència de paraules o caràcters per ser generats d’un en un.

Els models de difusió

Els models de difusió són un tipus de model generatiu que ha guanyat popularitat en el camp de la generació d'imatges. Funcionen una mica com un alumne que aprèn a escriure un informe fent i corregint errors.

Imagineu un alumne que comença amb un informe ben escrit (la imatge original) i després hi afegeix errors (soroll). Això és el procés de difusió cap endavant. L'alumne després aprèn a corregir aquests errors, el qual és el procés de difusió inversa.

El procés que segueixen és el següent:

Procés de difusió cap endavant: comencen amb una imatge i afegeixen soroll iterativament. Després d'unes quantes iteracions, la imatge es converteix en soroll pur, amb tota l'estructura original desapareguda.

Procés de difusió inversa: entrenen un model d'aprenentatge automàtic per analitzar la imatge amb soroll i predir el soroll que s'hi ha afegit. Això és com l'alumne que aprèn a identificar i corregir els errors que ha comès en l’informe.

Els models de difusió han guanyat popularitat per diversos motius:

Qualitat de les imatges generades: els models de difusió poden generar imatges d'alta qualitat que sovint són més realistes que les generades per altres tipus de models. Això és com un alumne que ha dominat l'escriptura d'informes i ara pot escriure informes d'alta qualitat.

Flexibilitat: els models de difusió poden ser utilitzats tant per a la generació no condicionada (creant noves imatges des de zero) com per a la generació condicionada (modificant imatges existents basades en alguna entrada). Això és com un alumne que pot escriure un informe sobre qualsevol tema des de zero, o modificar un informe existent basat en comentaris.

Avenços recents: encara que els models de difusió van ser introduïts per primera vegada el 2015, han vist un augment massiu de popularitat en els últims anys a causa dels avenços en la recerca i la tecnologia. Això és similar a com certes metodologies d'ensenyament poden esdevenir més populars a mesura que la recerca mostra la seva eficàcia.

Integració amb altres models: els models de difusió es poden combinar amb altres tipus de models, com els models de llenguatge extens, per crear sistemes encara més potents. Això és com un alumne que pot combinar les seves habilitats en diferents matèries per crear un projecte multidisciplinari.

Com funcionen els models de difusió

Els models probabilístics de difusió de reducció de soroll segueixen el procés de difusió cap endavant i difusió inversa de manera iterativa, és a dir, es produeix en una sèrie de passos, per diversos motius:

Aprenentatge gradual: de la mateixa manera que un alumne no aprèn tot d'una vegada, el model també ha d'aprendre gradualment. En cada iteració, el model aprèn una mica més sobre l'estructura de les dades.

Gestió de la complexitat: el procés de generació d'una imatge a partir del soroll és complex. En dividir-lo en passos iteratius més petits, el model pot gestionar aquesta complexitat. És com un alumne resolent un problema complex de matemàtiques pas a pas.

Correcció d'errors: en cada iteració, el model fa una predicció sobre com hauria de ser la imatge el soroll reduït, i després corregeix la seva predicció en funció de la diferència entre el soroll previst i el real. Això és semblant a un alumne que endevina una resposta, comprova el seu treball i després corregeix la seva resposta si és necessari.

Millora de la qualitat: cada iteració millora la qualitat de la imatge generada. Partint del soroll pur, és possible que la imatge no se sembli molt a la del principi, però, amb cada iteració, esdevé més i més com una imatge real. Això és com un alumne que comença amb un esborrany d'un informe i el millora amb cada revisió.

El procés iteratiu en els models de difusió és crucial per gestionar la complexitat, permetre l'aprenentatge gradual, permetre la correcció d'errors i millorar la qualitat de les imatges generades.

Els models de difusió condicionats i els models de difusió no condicionats

Models de difusió condicionats

Els models de difusió condicionats són com l’alumnat que completa una tasca basada en instruccions o condicions específiques. Per exemple, un docent pot demanar a un alumne que escrigui un informe sobre un tema específic o que resolgui un problema de matemàtiques utilitzant un mètode particular. El treball de l'alumne està "condicionat" per aquestes instruccions.

En el context de la IA, els models de difusió condicionats generen dades basades en alguna entrada o condició addicional. Per exemple, un model de difusió condicionat podria generar una imatge basada en una descripció de text, o modificar una imatge existent basada en algunes instruccions. Això és com l'alumne que escriu un informe basat en una instrucció específica, o edita un informe basat en comentaris.

Models de difusió no condicionats

En canvi, els models de difusió no condicionats són com alumnat que completen una tasca sense cap instrucció específica. Per exemple, es podria demanar a un alumne que escrigués un article sobre qualsevol tema que li agradi, o que resolgui un problema de matemàtiques de qualsevol manera que triï. El treball de l'alumne no està "condicionat" per cap instrucció específica.

En el context de la IA, els models de difusió no condicionada generen dades sense cap entrada o condició addicional. Per exemple, un model de difusió no condicionat podria generar noves imatges des de zero, sense cap guia sobre com haurien de ser les imatges. Això és com l'alumne que escriu un article sobre qualsevol tema que triï.

La diferència entre els models de difusió condicionats i no condicionats és si tenen o no instruccions o condicions específiques per guiar el seu procés de generació de dades. Els models condicionats tenen instruccions específiques, mentre que els models no condicionats no en tenen.

Casos d’ús dels models condicionats i no condicionats

Models de difusió no condicionats

Els models de difusió no condicionats són com alumnat als quals se'ls dóna la llibertat de crear un projecte sense cap guia específica. Poden triar el seu tema, mitjà i enfocament. En el context de la IA, aquests models generen noves dades des de zero, sense cap guia específica.

Exemples:

Síntesi de rostres humans: és com un alumne al qual se li demana que dibuixi un rostre humà sense que se li doni una persona específica per dibuixar. L'alumne ha après com solen ser els rostres humans, on solen estar situats els ulls, el nas i la boca, quines formes i proporcions són comunes, i utilitza aquest coneixement per dibuixar un nou rostre. De manera similar, un model de difusió no condicionat entrenat amb imatges de rostres humans pot generar nous rostres que no corresponen a cap individu específic, però que tenen les característiques generals i l'estructura d'un rostre humà.

Super-resolució: és com un alumne al qual se li demana que millori un esbós de baixa qualitat. L’alumne utilitza els seus coneixements de línies, formes i ombrejat per omplir els detalls que falten i crear un dibuix d'alta qualitat. De manera similar, un model de difusió no condicionat pot utilitzar una imatge de baixa resolució i generar una versió d'alta resolució, omplint detalls que no estaven presents en l'original.

Models de difusió condicionats

Els models de difusió condicionats són com alumnat als quals se'ls dóna una tasca o instrucció específica per treballar. Han de crear alguna cosa que compleixi cert criteri o segueixi certes pautes.

Exemples:

Text-a-Imatge: és com un alumne al qual se li demana que dibuixi una imatge basada en una descripció. Per exemple, el docent podria dir: "Dibuixeu una casa amb un teulat vermell, una porta blava i dues finestres". L'alumne utilitza aquest text per guiar el seu dibuix. De manera similar, un model de difusió condicionat pot generar una imatge basada en una descripció de text, creant una imatge que coincideixi amb el text donat.

Emplenament d'imatges: és com un alumne al qual se li dóna una imatge amb una part que falta i se li demana que ompli la part que falta. L'alumne ha d'utilitzar les parts circumdants de la imatge per endevinar com podria ser la part que falta. De manera similar, un model de difusió condicionat pot utilitzar una imatge amb una part que falta i generar la part que falta basant-se en la resta de la imatge.

Imatge-a-imatge guiada per text: és com un alumne al qual se li dóna una imatge i se li demana que la modifiqui basant-se en algunes instruccions. Per exemple, el docent podria donar a l'alumne una imatge d'una escena diürna i dir: "Canvieu aquesta imatge perquè sembli de nit". Llavors l'alumne modifica la imatge basant-se en aquestes instruccions. De manera similar, un model de difusió condicionat pot utilitzar una imatge existent i un text i generar una nova imatge que sigui una versió modificada de la imatge original basada en el text.

Avenços recents en els models de difusió

Els models de difusió han experimentat avenços significatius en els últims anys, de la mateixa manera que els mètodes d'ensenyament evolucionen amb el temps amb la nova recerca i tecnologia. Aquests avenços han portat a millores en la qualitat de les imatges generades per aquests models, així com en la velocitat amb la qual poden generar imatges.

Generació més ràpida

Un dels principals avenços ha estat en la generació més ràpida. Inicialment, els models de difusió requerien moltes passes iteratives per generar una imatge, la qual cosa podia ser un procés que consumís molt temps. No obstant això, la recerca recent ha portat a mètodes que poden generar imatges molt més ràpidament. Això és com trobar un mètode d'ensenyament més eficient que permet a l'alumnat comprendre un concepte més ràpidament.

Models condicionats

Els models de difusió condicionats són com alumnat a qui se'ls dóna una indicació específica per treballar. Els avenços recents han millorat la capacitat d'aquests models per generar imatges basades en condicions o entrades específiques, com una descripció de text o una imatge existent per modificar.

Preentrenament Contrastiu de Llenguatge-Imatge

El Preentrenament Contrastiu de Llenguatge-Imatge és un mètode que entrena models per comprendre i generar informació a través de diferents tipus de dades, com text i imatges. Això és com un alumne que aprèn a connectar conceptes a través de diferents matèries, com utilitzar els seus coneixements d'història per entendre una novel·la a la classe de català. Aquests models s'entrenen en un gran nombre d'imatges i les seves descripcions, aprenent a associar les dades de text i imatge.

Combinació de models de difusió amb models de llenguatge extens

Un dels avenços més rellevants ha estat la combinació de models de difusió amb models de llenguatge extens. Això és com un alumne que combina les seves habilitats en diferents matèries per crear un projecte multidisciplinari.

Per exemple, un model de llenguatge extens podria ser utilitzat per generar una descripció de text, i després un model de difusió podria generar una imatge basada en aquesta descripció. Això permet la creació d'imatges fotorealistes, conscients del context, a partir d'una indicació, obrint un ampli ventall de possibles aplicacions.

El camp de la IA generativa, i en particular els models de difusió, està avançant ràpidament, amb millores en velocitat, qualitat i flexibilitat. Aquests avenços estan ampliant les possibles aplicacions d'aquests models i els estan convertint en eines més potents i eficients en el camp de la intel·ligència artificial.

Recursos amb IA àudio

En aquesta secció ens centrarem en eines d’IA focalitzades en la generació d’àudio. Aquestes es presenten en dues seccions: (1) eines que treballen amb veu i (2) eines que treballen amb música.

Eines que treballen amb veu

ElevenLabs: Aquest servei ofereix un generador de text a veu, imitant una veu humana natural amb entonació i accents realistes. Està dissenyat per poder treballar amb diversos idiomes i dialectes. És important destacar que el nivell gratuït d'ElevenLabs permet als usuaris generar fins a 10.000 caràcters al mes, la qual cosa es tradueix aproximadament en uns deu minuts d'àudio.

Otter.ai: Aquesta és una eina dissenyada per a la transcripció en temps real i la presa de notes durant reunions i converses. Transcriu eficientment l'àudio a text, generant documents detallats que es poden compartir i cercar. Aquesta eina s'integra amb diverses plataformes com Zoom, Google Meet i Microsoft Teams. La versió gratuïta d'Otter.ai ofereix als usuaris 300 minuts de transcripció mensuals, amb un límit de 30 minuts per conversa, a més de permetre la importació i transcripció de fins a tres arxius d'àudio o vídeo.

Microsoft Clipchamp: és un editor de vídeo que recentment ha ampliat les seves funcionalitats incorporant eines basades en intel·ligència artificial. Aquest programa pot instal·lar-se còmodament en els ordinadors Windows del PEDC, mitjançant el seu enllaç disponible al Microsoft App Store. Ofereix la possibilitat de transcriure àudio a text i posteriorment descarregar l'arxiu resultant com a document SRT editable. A més, inclou una funció per generar text a veu a través de la seva opció 'Enregistra i crea', limitant aquesta activitat a un màxim de 10 minuts per segment. Les veus que utilitza són les del paquet de lectura de Microsoft, les quals podeu trobar a diverses altres eines de text a veu com TTSFree.com.

Eines que treballen amb música

Stable Audio de Stability AI: Aquest servei ofereix la generació de pistes d'àudio de fins a tres minuts, amb un límit de vint pistes mensuals en el pla gratuït. Segons la companyia, el sistema ha estat entrenat de manera ètica, disposant d'un banc de música on els autors estaven degudament informats i tenien l'opció de retirar les seves obres en qualsevol moment. La qualitat de l'àudio és de 96 kbps.

Suno: Aquesta eina ha guanyat notable popularitat des que s'ha integrat com a complement en Microsoft Copilot. Permet la creació de pistes d'aproximadament un minut a través de Microsoft Copilot. No obstant això, el pla gratuït ofert per Suno.com presenta limitacions significatives. És important destacar que, sense un registre a Microsoft Copilot, l'opció de complements no estarà disponible.

Udio: És una de les eines de generació de música més populars a les xarxes socials. Permet inicialment crear cançons de 30 segons i descarregar-les en diversos formats com MP3 o WAV. També permet afegir la lletra manualment o crear-la amb IA. Aquesta és una de les eines que més ha cridat l'atenció per la sospita que el model s'ha entrenat amb música d'artistes sense el seu consentiment. Vegeu la demanda de Recording Industry Association of America® (RIAA) contra Udio i Suno, amb les proves que han recollit sobre replicacions de música amb drets d'autor amb aquests serveis.

MusicFX de Google: Actualment, aquest servei està disponible principalment als Estats Units i en poques altres ubicacions de manera oficial. Tot i això, sembla que hi ha certa flexibilitat en l'accés, ja que alguns usuaris han reportat poder accedir sense restriccions. Per exemple, un usuari amb un compte de Gmail estàndard pot accedir-hi, mentre que altres amb comptes específics, com XTEC, poden tenir experiències diferents. Us recomanem verificar si podeu accedir al servei, ja que inicialment pot semblar restringit, però posteriorment permet l'entrada.

Quina és l'edat mínima requerida per utilitzar cadascuna d'aquestes eines segons les seves condicions d'ús?

Altres recursos amb IA

A banda dels models generadors de text o imatge, existeixen múltiples plataformes de generació de contingut amb IA.

https://view.genially.com/64c63621ffd9850019e64113/presentation-m3-3-altres-recursos-amb-ia

En aquesta secció, adreçarem aquest panorama a través de la revisió de plataformes de curació d’aplicacions d'IA generativa. Més endavant, explorarem diversos recursos d'IA generativa enfocats a l’àmbit de l’educació.

Plataformes de curació de continguts d'IA generativa

Atès el continu sorgiment de recursos amb IAG, s’han creat plataformes que s’actualitzen periòdicament amb la inclusió de nous recursos. Aquestes inclouen descripcions dels recursos, classificacions i etiquetatge.

Algunes d’aquestes plataformes de curació de continguts són les següents:

Futurepedia (https://www.futurepedia.io/)

Futurepedia es descriu com el directori d'eines d'IA més gran, amb més de 3500 eines d'IA en més de 50 categories com ara generació de text, generació d'imatges i edició de vídeos. La plataforma permet als usuaris buscar i filtrar eines per categories, preus i característiques. També ofereix una llista de complements per a ChatGPT per als usuaris de pagament.

There’s an AI for that (https://theresanaiforthat.com/) 

There’s an AI for that es descriu com l'agregador més gran d’eines amb IA. Ofereix una àmplia varietat d’eines amb IA que es poden utilitzar per a diferents propòsits, com ara la creació de text, música, imatges, vídeos, etc. Es presenten organitzades per categories i cada eina té una descripció detallada, incloent-hi la seva funcionalitat, com utilitzar-la, i enllaços per a més informació. També ofereix una funció de cerca per ajudar els usuaris a trobar l’eina amb IA que necessiten.

AI Educator Tools (https://aieducator.tools/)

AI Educator Tools és un directori d'eines amb IA per a l'educació. Les eines han estat seleccionades per l'equip de AI Educator i la seva comunitat, a través de presentacions d'eines, amb l'assistència de Google Bard. Aquestes eines estan orientades a la seva implementació a l'aula, i inclouen una gran varietat de funcionalitats, com ara la creació de programacions, la generació d'art, la millora de les imatges, la creació de presentacions, etc. Cada eina té una descripció detallada i enllaços per a més informació.

Google Labs (https://labs.google/)

Google Labs és un repositori en el qual Google exhibeix nous projectes i experiments que encara no estan llestos per a ser publicats. Està concebut com una plataforma a través de la qual Google pot obtenir retroalimentació dels usuaris i provar noves idees i funcionalitats. Google Labs es va llançar originalment el 2002, però es va interrompre el 2011. Es va rellançar el 2020 amb un nou enfocament en experiments impulsats per IA.

Un passeig pel panorama de les aplicacions generatives

En aquesta secció, es descriuen diferents eines amb IA que tenen potencial educatiu. Ens trobem amb dos casos: plataformes noves que s’han creat específicament pel seu enfocament amb IA i plataformes que ja tenen una trajectòria a la comunitat educativa que han decidit incorporar la IA per a potenciar les seves funcionalitats. Aquesta llista no inclou eines com Canva (canva.com), per exemple, perquè ja s’ha cobert en altres seccions. Específicament, en aquest cas, a la secció d’eines de generació d’imatge, tot i que Canva també inclou eines de generació de text. El mateix cas és extensible per altres eines com Padlet (padlet.com) o Perplexity (perplexity.ai).

Els recursos s’han endreçat per ordre alfabètic. Notareu que són recursos molt variats i que apel·len a productes de diferents ordres. L’objectiu d’aquesta mostra és precisament mostrar la quantitat de branques en la qual es diversifiquen les eines amb IA que van sorgint.

Us recordem que l'àrea de Cultura Digital va elaborar una presentació amb criteris per a valorar recursos digitals que us pot ser útil quan exploreu nous recursos per a la seva aplicació a l’aula.

Adobe Podcast (https://podcast.adobe.com/)

Adobe Podcast compta amb dues eines gratuïtes. La primera és de millora de l’àudio. Això implica que permet pujar un àudio i, a través de la IA, aquesta eina pot treure el soroll de fons i millorar les freqüències de les veus. La segona és de comprovació de micro. Permet fer proves amb el micro i l’eina us indicarà si aspectes com els nivells de distància al micròfon o soroll de fons són òptims o no.

Animated Drawings (https://sketch.metademolab.com/)

Animated Drawings és una eina web de Meta AI Research que permet donar vida als dibuixos, animant als personatges perquè es moguin. El procés consisteix a pujar un dibuix d’un personatge en el qual els braços i les cames no es superposin al cos. Tot seguit, s’indiquen els punts de mobilitat del personatge i després aplica les instruccions a formats d’animació, creant vídeos en els quals el personatge es mou.

Character AI (https://beta.character.ai/)

Character AI és una aplicació web de xatbot amb un model de llenguatge neural que pot produir respostes de text que semblen de persones reals i participar en converses naturals. Permet Crear “personatges”, dissenyar les seves “personalitats”, establir paràmetres específics i publicar-los a la comunitat perquè altres puguin xatejar amb ells.

Curipod (https://curipod.com/ai)

Curipod és una aplicació d’intel·ligència artificial que ofereix la possibilitat de generar una lliçó interactiva en segons, optimitzant el procés de planificació de les lliçons. Aquesta permet generar programacions amb IA i incloure activitats com enquestes, núvols de paraules, dibuixos, preguntes i respostes i altres mitjans d’interacció digital amb l’alumnat.

D-ID (https://www.d-id.com/)

D-ID és una eina que permet crear i interactuar amb avatars parlants. Permet transformar fotos en presentadors de vídeo i produir vídeos impulsats per IA per a materials de formació, comunicacions, etc. També permet crear un avatar web que utilitzi animació facial segons el text juntament amb veu per crear una experiència de conversa immersiva. El límit gratuït de creació amb D-ID és de 3 minuts de vídeo al mes.

Genmo (https://www.genmo.ai/)

Genmo és una eina que permet crear animacions curtes d’imatges proveïdes per l’usuari o generades per la mateixa eina. També permet generar models 3D senzills, exportables en format .glb, a partir d'indicacions de text i imatges. És una eina configurada amb un sistema freemium, el pla gratuït del qual ofereix a l’usuari 200 crèdits al dia, i les tasques que se li demanen consumeixen aquests crèdits.

Microsoft Designer (https://designer.microsoft.com/)

Microsoft Designer és una eina que permet crear dissenys gràfics utilitzant IA. Està orientada a la creació de publicacions a xarxes socials, pòsters, etc. Compta amb múltiples plantilles personalitzables. El seu disseny, les seves possibilitats i la seva interfície el fa semblant a una alternativa de Canva dintre de l’ecosistema de Microsoft. S’espera la seva integració en el paquet Office 365, amb eines com PowerPoint o Word.

Al desembre 2023, aquesta eina s'ha ampliat significativament per incloure possibilitats com la generació d'imatges, el qual podeu trobar a la secció Recursos amb IA visuals. La secció de disseny gràfic amb IA s'ha anomenat Design Creator.

Semantris (https://experiments.withgoogle.com/semantris)

Joc en anglès de Google en el qual s’associen semànticament les paraules amb les cerques a Google. Es pot jugar a dos modes diferents: Arcade i Blocks. En el mode Arcade, heu d’escriure paraules relacionades amb les paraules que apareixen a la pantalla per fer-les desaparèixer abans que arribin al cim. En el mode Blocks, heu d’escriure paraules relacionades amb un bloc específic per fer-lo caure i eliminar-lo.

Slides AI (https://www.slidesai.io/)

Slides AI és una eina centrada a crear presentacions amb IA. Permet generar diapositives a partir de text. Compta amb varietat de plantilles per triar, incloses plantilles amb format de negocis, màrqueting i educatives. S’integra amb Diapositives de Google per editar i compartir les presentacions generades amb més facilitat. El límit gratuït de Slides AI és de 3 presentacions al mes.

TextFX (https://textfx.withgoogle.com/)

TextFX és un experiment de Google amb IA per crear 10 eines dirigides a “rapers, escriptors i mestres de les paraules”. Amb la col·laboració de l’artista de hip-hop multipremiat Lupe Fiasco, aquest recull inclou eines per generar figures retòriques clàssiques, com l’al·literació i la comparació, juntament amb altres eines dissenyades per Lupe Fiasco com “esclatar” (trobar paraules o sintagmes que sonin semblants a una paraula) o “desplegar” (inserir una paraula entre altres paraules o sintagmes). Aquest experiment només està disponible en llengua anglesa.

This person does not exist (https://this-person-does-not-exist.com/)

This person does not exist (Aquesta persona no existeix) és una eina que genera cares de persones que no existeixen en la vida real. Cada vegada que es refresca la pàgina, la IA crea una nova cara des de zero, basant-se en milions d’imatges de persones reals. Permet crear persones segons edat, gènere i ètnia. Es pot utilitzar a l’aula, per exemple, per crear personatges ficticis per a activitats d’escriptura creativa o de teatre.

Tome (https://tome.app/)

Tome és una eina centrada en la creació de presentacions a partir de text, utilitzant la tecnologia de ChatGPT i DALL-E. Inclou diverses opcions de generació de text, imatges i presentacions. Compta amb diverses opcions per modificar el to i l’extensió de les seves creacions. S’integra amb Diapositives de Google per editar i compartir les presentacions generades amb més facilitat. El límit gratuït de Tome és de 10 presentacions al mes.

Transcripció de SoftCatalà (https://www.softcatala.org/transcripcio/)

Transcripció d’àudio i vídeo a text de SoftCatalà és un servei web que et permet transcriure els fitxers en català d’àudio i vídeo a text, usant models de xarxes neuronals entrenades per a processar el llenguatge natural. Permet enviar un fitxer d’àudio o vídeo en algun dels formats admesos (MP3, MP4, etc) i rebre un correu electrònic amb l’enllaç a la transcripció. També permet baixar el text de la transcripció tant en format text com en SubRip (str), el qual és el format més popular de subtítols.

Viola the Bird (https://experiments.withgoogle.com/viola-the-bird)

Viola the Bird és una experiència musical interactiva impulsada per IA que permet ajudar a Viola, un ocell animat, a tocar el seu instrument inspirat en el violoncel. Podeu moure el vostre ratolí per controlar els moviments de l’arc de Viola i fer que soni el seu instrument. Podeu escollir entre diferents modes de joc: lliure, en el qual podeu improvisar i crear la vostra pròpia música, o guiat, en el qual podeu seguir les pistes de Viola i tocar peces clàssiques de compositors com Vivaldi o Ravel.