Imagineu que feu una activitat a l'aula en la qual demaneu al vostre alumnat que agafin un full i que dibuixin “una sabata”. Quan ensenyen les sabates que han dibuixat, observeu multitud de dibuixos de sabatilles esportives, botes i sandàlies, però molt poques, si n'hi ha cap, de sabates de taló alt. Us adoneu que les sabates de taló alt, sovint associades a dones o a la feminitat, estan poc representades entre les respostes del vostre alumnat.
Aquest exercici a l'aula ofereix una visió simplificada del món de l'aprenentatge automàtic i del concepte de biaix que hi pot sorgir. Igual que el vostre alumnat, si un ordinador està exposat principalment a sabatilles i botes mentre aprèn sobre "sabates", i poques vegades veu sabates de taló alt, pot desenvolupar un "biaix". A partir d’aquest punt, pot ser que tingui problemes per identificar correctament un taló alt com a sabata a causa d'aquesta baixa representació.
Revisem com el llenguatge a la programació ha anat evolucionant. Penseu en el context de diferents estratègies d'aprenentatge. La programació tradicional es pot comparar amb l'aprenentatge de memòria, on un ordinador, com un alumne, aprèn explícitament una seqüència de passos per resoldre un problema. En canvi, l'aprenentatge automàtic s'alinea més amb l'aprenentatge adaptatiu. Permet als ordinadors "aprendre" reconeixent patrons en un gran conjunt de dades, de manera similar a com un alumne capta els principis subjacents, els quals li permeten abordar múltiples qüestions relacionades entre elles, no només les que ha memoritzat.
En aquesta secció, investigarem com els biaixos, com la poca representació de les sabates de taló alt, poden colar-se en l'aprenentatge automàtic. També explorarem diferents tipus de biaixos i parlarem d'estratègies per lluitar per l'equitat en l'aprenentatge automàtic, reflectint l'empenta per l'equitat a les nostres aules.
Com a docents, volem oferir una educació imparcial al nostre alumnat, oferint una gran varietat d'exemples i perspectives. Tanmateix, de vegades sense adonar-nos-en, les nostres pròpies preferències o experiències personals poden influir en les nostres pràctiques. Per exemple, si sou docents de català als quals els agrada molt la literatura d’avantguardes, potser, sense voler, invertireu més sessions en aquella època i menys sessions en altres períodes o estils.
Aquest favoritisme no intencionat és un exemple de biaix humà. De la mateixa manera, aquest fenomen també es dóna en l'aprenentatge automàtic.
Quan s'entrena un model d'aprenentatge automàtic, el docent és la persona que proporciona les dades perquè el model aprengui. L'alumne és el model d'aprenentatge automàtic. Si el docent només proporciona exemples de sabatilles esportives i botes quan ensenya sobre sabates, i poques vegades inclou sabates de taló alt, sense voler estarà influenciant al model perquè reconegui només sabatilles o botes com a sabates. En aquest cas, el model pot tenir problemes per identificar les sabates de taló alt com a sabates a causa de la seva sotaexposició a aquesta categoria. Aquest és un exemple sobre com el biaix humà pot introduir-se en l'aprenentatge automàtic.
S’assumeix que, com que l'aprenentatge automàtic es basa en dades, hauria de ser neutral i sense biaixos, però aquesta és una assumpció incorrecta. Les dades utilitzades en l'aprenentatge automàtic sovint són recopilades, seleccionades i etiquetades pels humans, i aquest procés és susceptible als nostres propis biaixos. És semblant a la manera com els humans elaborem els materials didàctics i els llibres de text i, malgrat les nostres millors intencions, de vegades poden reflectir els nostres biaixos, de manera conscient o inconscient.
És crucial entendre que, fins i tot amb les millors intencions, separar-nos completament dels nostres propis prejudicis pot ser un repte. Igual que en l'ensenyament, el primer pas per abordar aquests biaixos en l'aprenentatge automàtic és la consciència. Reconèixer que els biaixos es poden produir i es produeixen ens permet buscar activament maneres de minimitzar el seu impacte, garantint un entrenament més just per als nostres models d'aprenentatge automàtic.
A les seccions següents, analitzarem els diferents tipus de biaixos que es poden produir en l'aprenentatge automàtic i parlarem de maneres d’adreçar-los com ho faríem a l'aula.
Els biaixos d'interacció són un tipus de biaix que es pot produir quan les interaccions o entrades utilitzades per entrenar un model d'aprenentatge automàtic no són representatives de totes les possibles entrades o interaccions.
Per exemple, suposem que esteu implementant l’activitat de classe en la qual cada alumne ha de dibuixar una sabata i mostrar-la. La majoria de l'alumnat dibuixa sabatilles esportives i només uns quants dibuixen sabates de taló alt. Si programéssiu junts un model el qual, només amb aquests dibuixos de sabates, hagués de reconèixer sabates, aquest molt possiblement tindria una comprensió esbiaixada, i tenim la possibilitat que ni tan sols reconegués les sabates de taló alt com a sabates. Això passa perquè les "entrades" (els dibuixos de les sabates) estaven esbiaixades, amb una sobrerepresentació de sabatilles esportives i una sotarepresentació de sabates de taló alt.
Apliquem-ho al món de l'aprenentatge automàtic. Google va desenvolupar un experiment anomenat "Quick, Draw!" (https://quickdraw.withgoogle.com/), en el qual es demana als usuaris que dibuixin objectes (incloses sabates) i, després, aquests dibuixos s’utilitzen per entrenar un model d'aprenentatge automàtic per reconèixer aquests objectes.
El conjunt de dades recopilat d'aquest experiment està disponible públicament a https://quickdraw.withgoogle.com/data.
Això significa que el model pot tenir dificultats per identificar les sabates de taló alt com a sabates, ja que s'ha entrenat principalment amb dibuixos de sabatilles esportives. Pot ser capaç de reconèixer les sabatilles esportives, però pot tenir dificultats per identificar les sabates de taló alt o altres tipus de sabates poc representades.
Per mitigar el biaix d'interacció, és important assegurar-se que les entrades utilitzades per entrenar el model d'aprenentatge automàtic són diverses i representatives de totes les categories possibles. En el cas de les sabates, això significaria incloure diversos tipus de calçat: sabates de taló alt, sabatilles esportives, botes, sandàlies i molt més. En fer-ho, assegurem un entrenament equilibrat per al nostre model d'aprenentatge automàtic, de la mateixa manera que pretenem una educació integral i completa per al nostre alumnat a l'aula.
Alguna vegada heu donat, per exemple, una classe d'història en la qual la majoria de les figures significatives destacades al llibre de text eren homes? Malgrat les nombroses contribucions que les dones han fet al llarg de la història, els llibres de text tradicionals sovint les representen poc. En conseqüència, l'alumnat podria assumir inconscientment que els homes han fet contribucions més significatives a la història. Aquest és un exemple de biaix latent en l'àmbit educatiu.
El biaix latent es refereix al tipus de biaix que sorgeix dels supòsits subjacents o ocults en les dades utilitzades per entrenar un model d'aprenentatge automàtic. Aquestes hipòtesis poden no ser immediatament evidents, però poden influir en els resultats que produeix el model.
Il·lustrem aquest concepte amb un escenari d'aprenentatge automàtic. Suposem que estem entrenant un model per reconèixer figures rellevants a la història de la física. Si utilitzem un conjunt de dades format principalment per imatges de físics històrics que són predominantment masculins, el model podria desenvolupar un biaix latent. Això és similar al nostre exemple del llibre de text d'història: el model pot "assumir" que els físics tenen més probabilitats de ser homes perquè això és predominantment en el que es veu. Si més tard es presenta una imatge d'una dona física, és possible que no la reconegui com a física a causa d'aquest biaix subjacent.
El biaix latent pot ser difícil d'identificar perquè sovint està relacionat amb biaixos històrics o socials que estan arrelats a les dades utilitzades per entrenar el model. Tot i això, de la mateixa manera que ens esforcem per utilitzar recursos diversos i inclusius a les nostres aules per oferir a l'alumnat una visió equilibrada de la història, és important en l'aprenentatge automàtic utilitzar dades diverses i equilibrades per entrenar models. Això pot contribuir a reduir el risc de biaix latent i així garantir que la tecnologia que desenvolupem pugui entendre i servir a tots usuaris.
Comprendre i abordar els biaixos latents és un altre pas important per aconseguir l'equitat en l'aprenentatge automàtic, de la mateixa manera que garantir una representació equilibrada i justa de les figures històriques a les nostres aules.
Penseu en una sessió en la qual vau organitzar un debat a classe sobre un tema concret. Vau dividir l'alumnat en dos grups, cada grup recolzant una part diferent de l'argument. Tot i això, si la majoria de l'alumnat d'un grup eren extravertits i amb gran confiança, mentre que l'altre grup estava format per alumnat més tímid i menys segurs, el debat podria no representar correctament ambdues parts de l'argument. Aquesta és una forma de biaix de selecció: la composició dels grups pot no representar correctament la diversitat del grup-classe.
El biaix de selecció en l'aprenentatge automàtic es produeix quan les dades que s'utilitzen per entrenar un model no representen amb precisió l'espai en el qual operarà el model. Essencialment, és quan el tipus d'entrenament no s’ajusta al món real.
Suposem que estem creant un model d'aprenentatge automàtic per reconèixer cares. Podríem decidir utilitzar fotos d'internet o de la nostra pròpia biblioteca de fotos com a dades d’entrenament. Tanmateix, si aquestes fotos no representen tota la diversitat de rostres humans: diferents grups ètnics, edats, gèneres, expressions facials, condicions d'il·luminació, etc., és possible que el nostre model no funcioni bé quan es presenten cares no ben representades a l'entrenament de dades.
Aquest és un biaix de selecció: les dades d'entrenament estan esbiaixades i, com a resultat, l'aprenentatge del model està esbiaixat. Per exemple, si el model està format principalment en imatges de joves, pot ser que tingui dificultats per reconèixer o classificar amb precisió les cares de la gent gran.
Superar el biaix de selecció implica ser conscient de la necessitat de diversitat i representació en les dades de formació. Igual que a la nostra aula, on ens asseguraríem que els equips de debat estiguin equilibrats pel que fa a les habilitats de l'alumnat, en l'aprenentatge automàtic hem de garantir que les nostres dades d’entrenament representin amb precisió la diversitat del problema que estem intentant resoldre. D'aquesta manera, podem ajudar a garantir l'equitat dels nostres models d'aprenentatge automàtic i produir tecnologia que sigui útil per a tothom.
De la mateixa manera que ens esforcem per oferir a tot l'alumnat de la nostra classe les mateixes oportunitats d'èxit, minimitzar el biaix en l'aprenentatge automàtic implica fer esforços conscients per oferir oportunitats d'aprenentatge equilibrades als nostres models.
A continuació s'explica com ho podem fer:
Penseu en aquesta com en un currículum completa. En un currículum ideal, involucrarem a l'alumnat en ventalla ampli de sabers de diferents disciplines, perspectives i cultures. De la mateixa manera, s’han de recopilar i utilitzar diversos conjunts de dades per entrenar els nostres models, els quals representin la totalitat d'escenaris que el model pot trobar al món real.
Per exemple, si estem entrenant un model per reconèixer sabates, hauríem d'assegurar-nos que el nostre conjunt de dades inclogui una varietat de tipus de sabates, com ara sabatilles esportives, sabates de taló alt, botes, sandàlies i molt més, de manera que pugui identificar amb precisió tota mena de sabates, no només les més comunes.
Com a docents, avaluem contínuament els nostres mètodes i materials d'ensenyament per detectar els possibles biaixos que puguin perjudicar injustament a algun alumnat. De la mateixa manera, hem d’analitzar els models d'aprenentatge automàtic i les dades amb les quals s'entrenen per detectar qualsevol biaix existent.
En el nostre exemple de reconeixement facial, això podria comportar avaluar el nostre conjunt de dades per veure si inclou suficient diversitat de cares, tenint en compte l'edat, la raça, el gènere i altres característiques. Si s'omple principalment de cares joves, hauríem d'afegir més imatges de cares de diferents grups d'edat per equilibrar-lo.
De la mateixa manera que avaluem contínuament el nostre alumnat per situar el seu nivell de comprensió i ajustem els nostres mètodes d'ensenyament-aprenentatge en conseqüència, s’ha d'avaluar contínuament el rendiment dels models d'aprenentatge automàtic.
Les avaluacions periòdiques poden ajudar a identificar qualsevol biaix que s'hagi infiltrat, de manera que es puguin ajustar les dades d'entrenament o ajustar el model per corregir-lo. Per exemple, si el nostre model que reconeix les sabates té problemes amb les sabates de taló alt, l'haurem de tornar a entrenar amb més exemples de sabates de taló alt.
Els comentaris de l'alumnat i de les famílies sovint ofereixen informacions valuoses, les quals ens ajuden a millorar els nostres mètodes d'ensenyament-aprenentatge. De la mateixa manera, els comentaris dels usuaris poden ajudar a identificar i corregir el biaix en els models d'aprenentatge automàtic.
Moltes empreses han implementat mecanismes de retroalimentació per als seus serveis basats en l'aprenentatge automàtic. Un exemple d’aquests mecanismes és el projecte “Respect” de Google (https://projectrespect.withgoogle.com/), el qual posa en relleu el biaix detectat sobre l’ús de terminologia del col·lectiu LGTBQIA+ de manera pejorativa.
Aquesta és una iniciativa que té com a objectiu fer que les converses en línia siguin més inclusives i respectuoses mitjançant la creació d'un conjunt de dades obertes de declaracions d'identitat positives de la comunitat LGTBQIA+. El projecte té com a objectiu millorar l'equitat i la precisió dels models d'aprenentatge automàtic que s'utilitzen per moderar les discussions en línia i fomentar un entorn més acollidor i respectuós per a tots els usuaris.
Els biaixos en l'aprenentatge automàtic, igual que els biaixos en l’àmbit de l'educació, són un problema complex que requereix esforços continus per abordar-lo. Amb una comprensió exhaustiva d'aquests biaixos i un enfocament compromès per minimitzar-los, es pot contribuir a l’objectiu de garantir que la nostra tecnologia funcioni de manera equitativa per a tots els usuaris, de la mateixa manera que lluitem per l'equitat a les nostres aules.
A l'aula, sabem que l'educació porta a l’èxit quan hi ha un esforç col·laboratiu. Impliquem a l’alumnat, les famílies, els companys docents i a tots els membres de la comunitat educativa per crear un entorn d'aprenentatge ric. Sabem reconèixer com diverses perspectives poden fomentar una comprensió més integral i una comunitat més inclusiva.
S'ha d'adoptar el mateix enfocament quan s'aborda el biaix en l'aprenentatge automàtic. A continuació s’analitzen diverses estratègies per abordar com es poden ampliar les converses per implicar a tots els usuaris en els models d’aprenentatge automàtic:
En primer lloc, de la mateixa manera que eduquem l'alumnat sobre diversos temes, és vital educar a tots els implicats en la tecnologia, des dels desenvolupadors fins als usuaris, sobre la presència i l'impacte dels biaixos en l'aprenentatge automàtic.
Podem pensar en això com una campanya de conscienciació pública, semblant a com les escoles podrien educar a famílies i alumnat sobre una nova iniciativa educativa. L'objectiu és garantir que tothom tingui la informació necessària per participar en la conversa.
En l'entorn escolar, la col·laboració interdisciplinària sovint dóna lloc a experiències d'aprenentatge més interessants i significatives. En el món de la tecnologia, la participació d'experts de diversos àmbits, com ara les ciències socials, l'ètica i el dret, pot proporcionar perspectives diverses i contribuir a un enfocament més equilibrat per a l'aprenentatge automàtic.
Imagineu un projecte d'escola en el qual l'alumnat de diferents grups-classe treballen col·laborativament, cadascun posant sobre la taula les seves habilitats úniques. El resultat és sovint més ric i creatiu. De la mateixa manera, la col·laboració interdisciplinària pot conduir a solucions més reflexives i integrals per a reduir els biaixos en l'aprenentatge automàtic.
Penseu en les reunions dels docents amb les famílies, en les quals les famílies proporcionen informació sobre els seus fills que potser els docents no coneixen. Aquest feedback pot ser fonamental per entendre les necessitats individuals de l'alumnat i ajustar les estratègies d'ensenyament-aprenentatge en conseqüència.
En la mateixa línia, els usuaris d’eines amb aprenentatge automàtic poden proporcionar comentaris valuosos sobre les seves experiències, destacant les àrees en les quals es poden produir biaixos. Les empreses sovint ofereixen eines perquè els usuaris marquin un comportament inadequat o esbiaixat als seus sistemes. Aquest bucle de comentaris és com quan mantenim contacte continu amb les famílies per tal d’ajudar el nostre alumnat a aprendre i créixer.
De la mateixa manera que volem que la diversitat del personal de la nostra escola representi la diversitat del nostre cos d'alumnat, la participació de desenvolupadors, científics de dades i altres parts interessades de diferents orígens pot conduir a un enfocament més complet de l'aprenentatge automàtic.
Aquest equip divers pel desenvolupament dels models d'aprenentatge automàtic ajuda a garantir que es considerin diverses perspectives, donant lloc a una tecnologia més robusta i inclusiva.
Abordar els biaixos en l'aprenentatge automàtic no és una tasca per a uns pocs seleccionats. És un esforç comunitari. En implicar tothom en les converses, es crea una responsabilitat compartida per garantir que la tecnologia sigui útil per a tots els usuaris de manera equitativa, de la mateixa manera que ens esforcem perquè l'educació sigui útil per a tot l'alumnat. Els paral·lelismes entre l'educació i l'aprenentatge automàtic ens recorden que al centre d'ambdues disciplines es troba un compromís amb l'equitat i la inclusió.
Al febrer 2024, Google va introduir la possibilitat de generar imatges amb Gemini als EUA. L'objectiu de l'eina és generar una àmplia gamma de persones en imatges, promovent la diversitat i la inclusivitat. No obstant això, la recent controvèrsia revela les complexitats involucrades en assolir aquest objectiu sense distorsionar els fets històrics.
Molts usuaris que podien provar l’eina no van tardar a detectar que a les seves indicacions se li afegia de manera automàtica la paraula “divers”. Això va portar múltiples usuaris a explotar aquesta feblesa per generar contingut que posés en relleu com forçar diversitat en les indicacions podria portar a resultats no adequats, caracteritzats per no tenir en compte sensibilitats culturals.
Respostes de l'eina d'IA a indicacions com "un soldat alemany de 1943" o "un senador dels EUA dels anys 1800" han estat destacades com a exemples on l'eina va fallar a representar acuradament els fets històrics, oferint en lloc d'això representacions anacròniques o culturalment inadequades.
Molts usuaris han remarcat que, tot i que promoure la diversitat és crucial, cal abordar-la amb matisos, especialment en contextos històrics on certes representacions poden no ser històricament precises. Les crítiques emfatitzen la importància que la IA reconegui i representi la diversitat del món modern sense esborrar o representar incorrectament les realitats històriques.
L'incident subratlla els desafiaments que enfronta la IA en equilibrar la representació de la diversitat amb la precisió històrica. Els generadors d'imatges amb IA, entrenats amb grans conjunts de dades, a vegades poden perpetuar o amplificar estereotips a causa dels biaixos en el material d'entrenament. Aquesta situació ha reactivat discussions sobre la responsabilitat de les empreses per assegurar que els seus models d'IA siguin tant inclusius com precisos.
En resposta a la reacció adversa, Google va posar en pausa el seu servei de creació d’imatges i es va comprometre a millorar els seus models d'IA per abordar aquestes inexactituds. L'empresa va reconeixer la necessitat d'un enfocament equilibrat que respecti el context històric alhora que abraci la diversitat de la població mundial que utilitza els seus serveis. A l'agost de 2024, el generador d'imatges es va reobrir (no està disponible oficialment a Europa).
Articles recomanats sobre els biaixos algorítmics a la IA generativa:
Nicoletti, L., i Bass, D. (2023). Humans are biased. Generative AI is even worse. Bloomberg.
https://www.bloomberg.com/graphics/2023-generative-ai-bias/
Tiku, N., Schaul, K. i Chen, S.Y. (2023). This is how AI image generators see the world. The Washington Post.
https://www.washingtonpost.com/technology/interactive/2023/ai-generated-images-bias-racism-sexism-stereotypes/
