Cada vez que navegamos por internet, contestamos un whatsapp o vemos el capítulo de nuestra serie favorita hay empresas que utilizan esta información para vendernos algo en el futuro. Es una realidad que damos por sentada, pensando que, al fin y al cabo, no es tan malo que nos ofrezcan anuncios personalizados.
El problema es que los modelos matemáticos que sirven para ofrecerte una habitación en la ciudad que planeas visitar, adaptada a tu condición socioeconómica, también pueden utilizarse para decidir si tus hijos podrán estudiar en la universidad o si es conveniente subir la prima de tu seguro. Y eso no nos hace tanta gracia.
Cathy O ´Neil (EEUU, 1972) es un cerebro privilegiado para las matemáticas y, como la mayoría de sus colegas, acabó trabajando en el mundo de las finanzas, en concreto, en un fondo de cobertura. Allí vio cómo los modelos matemáticos podían utilizarse de forma totalmente sesgada en beneficio de los sectores más privilegiados de la sociedad y es por ello que abandonó su trabajo y se involucró activamente en el movimiento Occupy Wall Street, participando en su Grupo de Banca Alternativa.
“La crisis financiera dejó bien claro que las matemáticas, que una vez habían sido mi refugio, no solo estaban profundamente involucradas en los problemas del mundo, sino que además agravaban muchos de ellos”, asegura O’Neil en su libro Armas de destrucción matemática, que acaba de editar en España Capitán Swing.
Con motivo del ensayo, que fue nominado para el National Book Award 2016, O’Neil responde a las preguntas de La Información.
Solemos pensar en las matemáticas como una ciencia prístina. Los datos no emiten juicios morales. Pero en su libro afirma que las matemáticas están profundamente involucradas en los problemas del mundo. ¿Por qué?
Bueno, seamos cuidadosos. Las matemáticas en sí no están tan involucradas, pero sí su nombre. La gente usa algoritmos de inteligencia artificial y big data como armas matemáticas porque sabe que las matemáticas inspiran confianza y miedo. Es una táctica que sirve para imponer silencio a las personas porque no son “expertos” en matemáticas y, por lo tanto, no pueden entender nada. Es una vergüenza.
Pero, para ser claros, los algoritmos del big data no son matemáticas. En el mejor de los casos son ciencia. Digo esto porque no prueban cosas, prueban hipótesis con datos y hacen predicciones imperfectas. Y si son ciencia, de nuevo en el mejor de los casos, deben someterse a todo tipo de pruebas científicas. Eso implica tener evidencias.
Ya que se utilizan cada vez más para cualquier decisión burocrática que podamos encontrar en nuestras vidas, como el límite de nuestra tarjeta de crédito, qué tipo de préstamos obtenemos para las hipotecas, qué clase de anuncios vemos o a qué tipo de información política estamos expuestos, debemos saber cómo funcionan y cómo no funcionan. Si discriminan a las mujeres, debemos saberlo a través de las pruebas. Si aumentan la desigualdad o amenazan la democracia, deberíamos saberlo también. Pero en la actualidad consideramos que son herramientas perfectas, objetivas y científicas. No es así como se hace la ciencia.
Las grandes empresas siempre dicen que una cosa u otra está controlada por un algoritmo. ¿En qué consisten estos realmente?
Son versiones automatizadas y simplificadas de cualquier proceso humano burocrático que hayan reemplazado. Los algoritmos están entrenados en los datos históricos que produjo ese proceso. Eso significa que si el proceso estaba sesgado sistemáticamente a favor de cierto grupo, el algoritmo resultante normalmente también lo estará.
¿Cuáles son las decisiones que toman los algoritmos que podemos no conocer?
No estoy seguro acerca de España, pero en los EEUU están en todas partes, y deciden desde qué estudiantes de secundaria tendrán éxito en la universidad –y podrán pagar la matricula en su totalidad, en lugar de ser tentados a inscribirse con una beca parcial–, hasta cuánto tiempo esperamos cuando llamamos al servicio de atención al cliente o los años que alguien permanece en prisión. Algunas de las formas en que se usan los algoritmos son importantes, algunas no tan importantes. Me gusta enfocarme en las decisiones verdaderamente importantes. Es en estos casos cuando los fallos del algoritmo deben ser expuestos. Y para ser claros, a veces es peor que un simple error, porque se les hace tanto caso que los malos algoritmos tienden a empeorar las cosas o incluso desencadenan ciclos de retroalimentación destructivos en toda la sociedad.
En el libro señala que algunos modelos matemáticos se convierten en armas de destrucción matemática. ¿En qué consisten exactamente?
[Son armas de destrucción matemática] cuando son importantes, generalizados, secretos, inexplicables e injustos. Eso significa que tienen un impacto negativo, o incluso destructivo, en las vidas de las personas debido a algún sistema secreto de puntuación que no entienden y al que no pueden apelar.
¿Cree que a medida que avanza nuestro conocimiento de la inteligencia artificial, las armas de destrucción matemática serán cada vez más peligrosas?
Solo si continuamos usándola sin probar que no comete errores. Definitivamente, tenemos el poder en nuestras manos, solo debemos preguntarnos si lo usaremos o no. No quiero simplificarlo, pero es un problema político, no matemático. Si mañana todas las personas que están haciendo toneladas de dinero con algoritmos decidieran preocuparse por sus errores no habría ningún problema. El problema es que mientras se salgan con la suya, mientras confiemos ciegamente en los algoritmos, ganarán tanto dinero que no van a querer cambiar nada. Es una cuestión política, no matemática ni científica.
Como sabe, muchas de las políticas públicas actuales se basan principalmente en informes estadísticos de organizaciones como la OCDE o la Fundación Bill y Melinda Gates. Damos por hecho que analizar los problemas basándose en los datos que tenemos es la mejor forma de solucionarlos. ¿Nos equivocamos?
Podemos confiar en la ciencia. Y cuando las estadísticas son de fiar y nos cuentan toda la historia debemos creer en ellas. Pero la mayoría de las armas de destrucción matemática que menciono tienen datos incompletos o sesgados, que reflejan prejuicios o prácticas injustas bien consolidadas, y se están usando estos datos para propagar errores del pasado más que para corregirlos.
En otras palabras, debemos entender cuando es necesario intervenir. Si construimos un algoritmo que se basa en las muertes pasadas por malaria, algunas personas lo usarían como una herramienta para incrementar las ganancias, por ejemplo, evitando educar a ciertas poblaciones porque de todos modos se predice que morirán de malaria. Si consideramos las muertes por malaria como una oportunidad para salvar vidas a través de la distribución de mosquiteros, entonces estamos haciendo algo bueno con los mismos datos e incluso con el mismo algoritmo.
¿En qué medida los gobiernos o empresas justifican con datos sesgados decisiones que incluso están tomadas de ante mano para reducir así las críticas?
No voy a arriesgarme a inventar nada, pero diría que la mayor parte del tiempo. Aun así, esa no es una razón para dejar de usar estadísticas, sino para asegurarnos de que las estadísticas que utilizamos estén lo más investigadas posible.
Desde hace un tiempo, las personas están preocupadas por la constante violación de su privacidad, pero las empresas insisten una y otra vez en que sus datos están seguros. ¿Hasta qué punto es esto cierto?
No lo es en ningún modo. Por ejemplo, tenemos una ley de privacidad de datos médicos en EEUU que protege nuestros datos médicos oficiales, pero las nuevas técnicas de big data a menudo pueden omitir dichos datos específicos y generar una puntuación de nuestro estado de salud sin violar las leyes. Las empresas pretenden ganar dinero con esto, por lo que, por supuesto, nos dicen que no nos preocupemos.
Por mi parte, creo que las leyes deberían concentrarse en cómo se usan los datos en nuestra contra.
Las compañías de telecomunicaciones pueden conocer el comportamiento exacto de cualquiera de sus clientes: sus mensajes, sus conversaciones, lo que ven en la televisión, lo que compran… Dicen que estos los datos solo se usan de forma anónima, pero ¿es cierto?
Para ser honesta, ya no estoy segura de qué significa anónimo. SI saben lo suficiente de nuestro comportamiento para adaptar los anuncios a cada persona diría que no es anónimo.
Como cuenta en el libro, ha dejado varios trabajos porque sentía que lo que hacía no era moralmente correcto. ¿Cree que los matemáticos que trabajan en el análisis de datos son conscientes de que su trabajo puede dañar a la gente?
Definitivamente están comenzando a ser conscientes. Pero eso no es suficiente, ya que las corporaciones son las que tienen el poder real.
¿Cómo podemos asegurarnos de que las matemáticas se usen para el bien común?
Necesitamos que la ciencia de los datos sea verdaderamente científica y comenzar a pedir pruebas de que las cosas funcionan, son jutas y no producen ciclos de retroalimentación negativa a largo plazo que perjudiquen a la sociedad.
Fuente: https://www.lainformacion.com/management/big-data-matematicas-errores-algoritmo-cathy-oneil/6343044
Como toda tecnología, la forma cómo se desarrolla y se utiliza la IA responde a intereses concretos en determinados sistemas sociales: o sea, es un asunto fundamentalmente político. Actualmente, su impulso y las inversiones para ello vienen principalmente de grandes empresas transnacionales, sobre todo estadounidenses, pero ahora también chinas y, en menor medida, de algunos otros países.
reside en los mismos datos y los modelos “predictivos” que se construyen con ellos, modelos que analizan el pasado para predecir el futuro. “Tales datos y modelos reflejan simplemente la realidad objetiva del alto grado de desigualdad que existe en una sociedad, y lo replican en sus predicciones del futuro”. El peligro, entonces, es que aun cuando la raza, la casta o el credo no estén registrados explícitamente en los datos, existe una cantidad de otros datos (nivel económico, lugar de residencia, empleos anteriores) que actúan como sustituto de estas ‘variables’. Por lo tanto –dice– es indispensable crear regulaciones y entidades de control que normen el uso de la IA.
Más allá de que los usuarios y todos los contenidos e interacciones que depositamos en la red somos lo que le da mayor valor a ésta, no debemos olvidar que Internet surgió como una iniciativa ciudadana que fue desarrollada de manera descentralizada y desde abajo por una multiplicidad de actores. De este proceso surgen, además, una serie de movimientos que abogan por una democratización del conocimiento y la tecnología, como los movimientos de software libre y conocimiento abierto, que juegan un rol esencial en el desarrollo de la red y las tecnologías digitales. Las grandes corporaciones digitales se consolidan en poco más de la última década (Facebook aparece en 2004 y Youtube en 2005), capitalizando sobre todo el acumulado que la red y sus usuarios ya habíamos alcanzado.
Users Today : 138
Total Users : 35419942
Views Today : 183
Total views : 3354393