Algunos problemas sobre la regulación a sistemas expertos: una reseña a Urueña, R. (2019) “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘big data’?”. Latin American Law Review (2, 99-124).

Por: Daniel Caycedo Velosa
Mi mamá es ingeniera de sistemas, y se dedica a trabajar como directora de proyectos tecnológicos estatales. En esta labor tiene contacto permanente con abogados, con los cuales tiene relaciones bastante problemáticas. A partir de sus relatos diarios me he percatado de que una de las principales causales de desentendimiento son las palabras: en una sala de juntas con solo ingenieros, un abogado no tiene medios lingüísticos que le permitan comprender las realidades complejas que allí se tratan. Todos los seres humanos requerimos de palabras para relacionarnos con nuestro entorno: ellas funcionan como guías institucionalizadas de conducta y de pensamiento (Geertz, 2003, p. 191). Pero esto es especialmente cierto en los abogados, por una razón: nosotros requerimos de esas abstracciones de fenómenos específicos, que llamamos conceptos jurídicos, para poder regular. Es en este aspecto que René Urueña, en el artículo aquí reseñado, hace una contribución importante para la discusión jurídica sobre la regulación de sistemas expertos, llamados comúnmente de inteligencia artificial o, como en este caso, ‘big data’. En él se presenta una explicación sencilla de la manera en la que funcionan estas tecnologías, y proporciona cuatro conceptos a partir de los cuales podemos entender de manera crítica las problemáticas que ellas presentan para la protección de los derechos humanos. En el presente texto me limitaré, por cuestiones de espacio, a tratar uno de ellos.
El texto inicia con de un padre que llega a Walmart en Estados Unidos pidiendo hablar con el gerente porque a su hija le llegaba constantemente publicidad de productos para mujeres embarazadas. A su parecer, esta empresa estaba incitando a su hija a embarazarse. La realidad es que ella ya estaba embarazada, y el algoritmo que distribuye la publicidad de Walmart se enteró primero que su familia. Hay dos aspectos que hacen que esto solo sea posible con los sistemas expertos del siglo XXI. Por un lado, ello requiere del ‘big data’: bases de información capaces de recoger de manera eficaz, certera y en tiempo real las interacciones y preferencias de los usuarios de internet y redes de compras. Por el otro, tenemos algoritmos que toman como base esta información de manera inmediata para producir perfiles que reflejan los hábitos o gustos de individuos específicos, y no de grupos poblacionales – como sucedía en la segunda mitad del siglo XX. El asunto es que hoy en día no se utilizan meramente para distribuir publicidad: ellos definen si una persona puede o no recibir un crédito bancario, o a cuánto se le sentencia en un proceso penal en razón a su posibilidad de reincidencia en EE. UU.
El problema de los sistemas expertos yace en la manera en la que toman decisiones. Básicamente, lo que hacen es tomar una serie de criterios relevantes que bien pueden ser diseñados por el programador o por el mismo sistema a partir de la búsqueda de patrones dentro de una base de datos especifica. Así, el sistema siempre va a reflejar criterios de relevancia humana, que aprende de lo que resulta relevante para nosotros o de la relevancia que organiza las prácticas humanas que observa el sistema. Esto es peligroso porque implica que el sistema es capaz de adoptar criterios discriminatorios de relevancia: en una sociedad racista, el sistema va a generar criterios que – como sucedió con COMPAS – tienden a mostrar más posibilidad de reincidencia si los individuos son afroamericanos. El algoritmo abstrae esas prácticas discriminatorias para tomarlas como criterios de decisión, con lo que puede terminar perpetuando desigualdades cuando el sistema distribuye bienes y servicios esenciales. De igual forma, legitima los criterios discriminatorios: al ser un sistema cerrado y complejo, se limita la capacidad de cuestionar y entender las razones detrás de la toma de decisiones.
Ante esto se hace necesario regular la responsabilidad de los sistemas. No obstante, en la actualidad las regulaciones existentes sobre el tema toman una forma que Urueña advierte como peligrosa. Sabemos que las regulaciones comerciales supranacionales en la actualidad se dan a partir de una serie de transacciones contractuales estandarizadas, que terminan creando un sistema jurídico aparte de los estatales que regula el comercio transnacional: esta es la llamada ‘nueva lex mercatoria’. Hoy en día las regulaciones respecto a la responsabilidad derivada de los algoritmos se dan, no solo por regulaciones auto compuestas por las grandes empresas que los diseñan, sino que principalmente por limitaciones internas al propio algoritmo, las cuales constituyen una verdadera lex algorítmica. Esta forma es peligrosa en tanto tiende a satisfacer los intereses propios de quienes la crean. Por ello, dice Urueña, el uso de estos sistemas debe estar sometido a un marco de normas de derecho público, las cuales – según él citando a Waldron – son adoptadas públicamente, en nombre del público, y que por ello las personas del común pueden apropiarse de ellas.
Mi crítica está enfocada en la posibilidad de que el derecho público pueda competir con la lex algorítmica como medio de regulación a los sistemas expertos. El asunto no es si debemos crear regulaciones de derecho público, es si podemos hacerlo de tal manera que sean efectivas. Hay una explicación para el nacimiento de la lex mercatoria, que Urueña parece olvidar. El derecho tiende a avanzar de manera mucho más lenta que la tecnología, precisamente por los rituales de creación de normas que sostienen la percepción de que las normas de derecho público son para el público y pueden ser apropiadas por él. Si bien es importante que exista una discusión en la cual creamos términos que nos permitan comprender estos fenómenos, debemos ser conscientes de que va a haber un desfase entre esa discusión y los criterios utilizados por los jueces y legisladores alrededor del globo. Así, probablemente para el momento en que las regulaciones sean creadas el fenómeno ya habrá cambiado, y constantemente se quede afuera algo más. Todo esto suponiendo que las mayorías legislativas y judiciales faciliten la creación de regulaciones, sin presentar mayores conflictos de intereses. En todo caso, lo más posible es que las regulaciones estatales sean poco adecuadas y muchas veces contradictorias – como sucedió con el mercado de fusiones y adquisiciones en Europa (Prot & de Rosen, 1990). De esto último surge que las compañías con operaciones transnacionales opten por otras maneras de crear el derecho. En realidad, el problema aquí no es si regular o no un tema: de la internacionalización de ciertos fenómenos mercantiles se deriva una pugna entre maneras de producir el derecho y de producir abogados (Dezalay, 1995). Lo que debemos pensar es si en esta pugna, en la cual cada manera de producir el derecho se ve respaldada por el poder de quien la sostiene, puede ganar el derecho público.

Referencias

Geertz, C. (2003) Ensayos sobre la interpretación de las culturas. Barcelona: Gedisa.
Dezalay, Y. (1995) “Professional competition and the social construction of transnational markets”. En: Y. Dezalay & D. Sugarman, Professional Competition and Professional Power: Lawyers, Accountants and the Social Construction of Markets. New York: Routledge.
Prot, B. & de Rosen, M. (1990) Le Retour du capital, les fusions-acquisitions en France et dans le monde. Paris: Éditions Odile Jacob.

Universidad de los Andes | Vigilada Mineducación
Reconocimiento como Universidad: Decreto 1297 del 30 de mayo de 1964.
Reconocimiento personería jurídica: Resolución 28 del 23 de febrero de 1949 Minjusticia.