Reseña: Coded Bias (documental de Shalini Kantayya)

Coded Bias es un documental que estrenó en Netflix en noviembre de 2020. Este es dirigido por la documentarista Shalini Kantayyaa e incluye la contribución de académicas sobre el tema del sesgo algorítmico.  El documental se enfoca en el trabajo de Joy Buolamwini, la fundadora del Algorithmic Justice League y científica del MIT Media Lab.  Además del trabajo de Buolamwini el documental reseña el trabajo de Safiya Noble (autora de Algorithms of Oppression), Meredith Broussard, Cathy O’Neil (autora de Weapons of Math Destruction) y Silkie Carlo del grupo británico Big Brother Watch, entre otras académicas y activistas.  Cada una de las académicas y activistas abogan por el control del sesgo algorítmico y el cese de las tecnologías de espionaje y reconocimiento facial contra comunidades marginadas y que han sido minorizadas en los EE. UU y Gran Bretaña.

El trabajo de Buolamwini, presentado en Coded Bias, se enfoca en lo que ella llama “Coded Gaze”, el sesgo que existe en la habilidad de la tecnología artificial en reconocer rostros o voces. Buolamwini expone que el sesgo algorítmico de muchas plataformas favorece hombres con pieles y rostros con rasgos caucásicos.  Igualmente, estas tecnologías favorecen las voces masculinas con acentos anglófonos (i.e., estadounidenses).  Esto se conoce como “Voicing Erasure”.  Se ha estudiado que el sesgo algorístmico en la inteligencia artificial no reconoce los rostros negros.  Esto ha sido comprobado por varios estudios, incluso en el uso de plataformas de video juegos (Gray, 2020). En ocasiones que sí son reconocidos, estos son utilizados para generalizar y ser incorporados en bases de datos poliácidas, así criminalizando las personas latinxs, negrxs, asiáticxs y de grupos no-blancos.

Como se menciona al inicio de este post, el documental cuenta con las contribuciones de O’Neil, Noble, Carlo, entre otrxs académicos y activistas.  La contribución de éstxs complementa las propuestas y trabajo de activismo de Buolamwini. Alguno de los elementos que se discuten son cómo el diseño de los algoritmos para varios productos discrimina contra personas marginadas por factores socioeconómicos, raza, etnia, zona de residencia, trasfondo familiar, o nacionalidad (O’Neil, 2016; Eubanks, 2018). A su vez, el diseño algorítmico impacta los resultados de búsqueda.  El trabajo de Noble (2018) es reseñado en el documental.  Noble elabora cómo Google presenta resultados que benefician o promueven ideas de la supremacía blanca.  Por su parte, Benjamin (2019) añade el uso de la tecnología y la inteligencia artificial para espiar y vigilar las comunidades negras o afroamericanas, latinxs, y islámicas en los EE. UU.

Uno de los trabajos reseñados en el documental es el activismo realizado por Silkie Carlo directora de Big Brother Watch en Inglaterra.  Desde el 2009 Carlo se ha dedicado a educar y abogar por los derechos civiles de las personas en Inglaterra contra las prácticas de carpeteo, vigilancia y espionaje.  El activismo de Carlo va de la mano con las propuestas e investigaciones de Buolamwini, Benjamin, O’Neil, Noble y Eubanks sobre el uso de las tecnologías de reconocimiento facial para la persecución de personas negras.  En muchas instancias, como se puede observar en el documental, la policía detiene a ciudadanos bajo la premisa de que su registro indica que ellos son sospechosos de algún crimen o acto terrorista.  En el caso observado en Coded Bias, la policía detiene un adolescente bajo la premisa que este cumple con la descripción de un terrorista que se encuentra en su base de datos.  Al indagar, el joven no es el sospecho quien buscan y lo dejan en libertad.  No obstante, el evento deja al joven traumado.  Este tipo de caso evidencia y ejemplifica que las tecnologías de vigilancia no distinguen entre personas negras y poseen algoritmos diseñados con premisas racistas.

AJL es un grupo que busca crear justicia y transformar la inteligencia artificial.  Su fin es crear tecnología justa y libre de racismo, sexismo, discrimen contra personas con impedimentos o cualquier forma que atente contra el bienestar de la sociedad.  Su impacto se extiende al sector de la salud y el jurídico.  El activismo de AJL se extiende a sus esfuerzos de prohibir el uso de tecnología de vigilancia en las ciudades con el fin de ponerle un fin al carpeteo digital y a la persecución de las comunidades históricamente oprimidas.  Dicho activismo, reseñado recurrentemente por la directora, Kantayyaa.

Los temas que abarca el documental incluyen el impacto de los algoritmos en las evaluaciones de los maestros.  Esta investigación es detallada en el trabajo de O’Neil (2016) en su texto Weapons of Math Destruction y es reseñado.  En el documental se expone el caso de maestros cuyas evaluaciones a lo largo de su carrea han sido sobresalientes.  No obstante, al implementar sistemas automáticos para sus evaluaciones en los distritos escolares, estos recibieron evaluaciones deficientes.  En muchas instancias, las evaluaciones deficientes resultaron en el desempleo de los maestros.  Las propuestas de las académicas y activistas hacen un llamado a no confiar ciegamente en la tecnología.  Pues, su diseño es creado por humanos; lo cual nos indica que no son infalibles.  Los errores y toma de decisiones basados en algoritmos son peligrosos y arriesgados.

El enfoque y reseña de trabajos de mujeres y mujeres negras en el documental es vital y necesario.  La experiencia, investigación y divulgación del conocimiento de cada una de las contribuidoras refleja sus experiencias con el uso de la tecnología y la inteligencia artificial.  A su vez, se aleja del privilegio de los diseños creados por programadores masculinos caucásicos, cis y hetero.  Es importante la inclusión de las experiencias de personas que han sido excluidas del proceso de diseño de algoritmos y de la tecnología que nos impacta diariamente.  Al traer las voces de mujeres y mujeres negras, al igual que la experiencia de personas asiáticas, como es el caso de China y el uso del crédito social.

Pertinencia para las bibliotecas y unidades de información

A lo largo del siglo XIX las bibliotecas han incorporado varias herramientas tecnológicas y de inteligencia artificial.  Dichas tecnologías son utilizadas con la idea de agilizar los procesos de búsqueda de información, promoción de servicios bibliotecarios o para educar la comunidad.  No obstante, algunas de las tecnologías que se utilizan en la biblioteca poseen elementos similares a los discutidos en Coded Bias.  Las herramientas de búsqueda de los catálogos, las bases de datos, entre otras herramientas de la web que utilizan las bibliotecas son productos suscritos.  En muchas instancias el personal bibliotecario desconoce cuánta información las compañías que suplen las subscripciones a servicios de búsqueda de información guardan.  Sí se conoce que muchas estudian el comportamiento de búsqueda de los usuarios.  Lo cual puede ser visto como una invasión a la privacidad.  Igualmente, algunos de los resultados que proveen las bases de datos reflejan valores que discriminan contra comunidades socialmente marginadas o impulsan la supremacía epistémica; el conocimiento valorado por la cultura occidental y eurocéntrica (Reidsma, 2019; Noble, 2018).

La clasificación de la información, los encabezados de materia y las tecnologías para rastrear el uso de las plataformas que los usuarios utilizan son algunas de las formas que impactan la seguridad y el bienestar de las comunidades.  Las bibliotecas y el personal bibliotecario no son ni deben ser visto como entes neutrales.  Morales y Williams (2021) retan esta noción y abogan por la creación de espacios que sirvan a las comunidades que han sido marginalizadas, en espacial las negras y latinxs en comunidades pobres (en el caso de EE. UU.).  La inclusión de espacios que sirvan las necesidades de las comunidades debe poseer políticas que promueven su seguridad y bienestar.  Esto incluye la implementación de tecnologías que no discriminen, espíen o vigilen al usuario con el fin de carpetearlo.  También se debe tomar en cuenta el uso de tecnología y espacios donde personas indocumentadas se sientan seguras.  Éste último punto es vital, ya que instancias, las tecnologías y la inteligencia artificial ha sido utilizada contra estas personas para llevarlas a campamentos de deportación bajo condiciones infrahumanas.  Las bibliotecas, al igual que el personal bibliotecario, deben estar al tanto como las tecnologías en sus respectivas unidades de información protegen o atentan contra sus usuarios.  Documentales como Coded Bias y el trabajo de Benjamin (2019), Eubanks (2018), Noble (2018), Reidsma (2019), O’Neil (2016), entre otros dan paso a evaluar críticamente y desde un marco de teoría racial crítica (en inglés “Critical Race Theory”) la información que consumimos y la tecnología que utilizamos.  Como bibliotecarios, esto incluye atreverse aplicar este lente a nuestro trabajo y unidades de información.

Referencias

Benjamin, R. (2019). Race After Technology: Abolitionist Tools for the New Jim Code. Polity.

Carlton, A. (2021, 24 de enero). Libraries and invasive technology. American Libraries. https://americanlibrariesmagazine.org/blogs/the-scoop/libraries-and-invasive-technology/

Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. Macmillan.

Gray, K.L. (2020). Intersectional Tech: Black Users in Digital Gamining. Louisiana State University Press.

Lee, J. (2021, 8 de febrero). When bias is coded into our technology. NPR. https://www.npr.org/sections/codeswitch/2020/02/08/770174171/when-bias-is-coded-into-our-technology

Morales, M.E., & Williams, S. (2021). Moving toward transformative librarianship: Naming and identifying epistemic supremacy. En S.Y. Leung, & J.R. López-McKnight (Eds.), Knowledge Justice: Disrupting Library and Information Studies through Critical Race Theory (pp. 73-93). MIT Press.

Noble, S.U. (2018). Algorithms of Oppression: How Search Engines Reinforce Racism. NYU Press.

O’Neill, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Penguin.

Reidsma, M. (2019). Marked by Trust: Bias in Library Discovery. Library Juice Press.

Shafeld, W., & Woerner, M. (2021). How Netfix’s ‘Coded Bias’ breaks down the frightening race and gender biased algorithms that run the world. Variety. https://variety.com/video/coded-bias-shalini-kantayya-documentary/#!

Thakur, T. (2021, 9 de abril). ‘Coded Bias’ paints a terrifying picture of facial recognition’s real impact on lives. The Wire. https://thewire.in/film/coded-bias-facial-recognition-ai-netflix-documentary-review

Trenholm, R. (2021, 31 de marzo). Coded Bias review: Eye-opening Netflix doc faces racist technology. CNet. https://www.cnet.com/news/coded-bias-review-eye-opening-netflix-documentary-faces-up-to-racist-tech/