LA INTELIGENCIA ARTIFICIAL AMENAZA LA DEMOCRACIA?

Facebook
Twitter
Reddit
LinkedIn
Telegram
WhatsApp

LA INTELIGENCIA ARTIFICIAL AMENAZA LA DEMOCRACIA?

 

 

RESUMEN EJECUTIVO

En una democracia, los seres humanos toman decisiones con el objetivo de servir a la voluntad del pueblo y promover el bienestar colectivo de la sociedad. Si bien las máquinas pueden aprender de los datos y generar posibles soluciones democráticas, no logran comprender las complejidades de la realidad subjetiva de la política democrática. Confiar la toma de decisiones a los sistemas de Inteligencia Artificial (Al) conlleva el riesgo de seguir soluciones óptimas moldeadas por realidades objetivas falsificadas que los algoritmos de Al pretenden optimizar. Incluso si los datos fueran completos y suficientes, los enfoques de modelización luchan por resumir completamente las complejidades de las realidades subjetivas dentro de las democracias y sociedades globales. En esencia, dejar que la política democrática sea gobernada por clasificadores de Al aparentemente lógicos es una apuesta importante. En el segundo diálogo político de alto nivel que tuvo lugar los días 22 y 23 de mayo de 2023 en Florencia bajo los auspicios de la Cátedra STG en Inteligencia Artificial y Democracia, académicos y responsables políticos discutieron y compartieron sus ideas para mapear múltiples soluciones disponibles sobre cómo la democracia la política puede vivir en un mundo impulsado por Al y, más que eso, cómo Al puede convertirse en una herramienta beneficiosa para la democracia. La mayoría de los participantes coinciden en que Al puede formarse y transformarse en una herramienta útil para las democracias. En este informe de políticas, resumimos las ideas clave que surgieron de las discusiones en este diálogo de políticas de alto nivel.

Galariotis, Ioannis Cátedra de Inteligencia Artificial y Democracia, Escuela de Gobernanza Transnacional de Florencia, EUI

1. VIVIENDO EN EL ÁREA DE LOS ALGORITMOS

En la última década, la Inteligencia Artificial (IA) se ha convertido en un tema frecuente en periódicos, artículos de investigación, blogs en línea, artículos de opinión, noticias de televisión, debates políticos, departamentos académicos y varias otras fuentes. Al se menciona en casi todo lo que leemos, estudiamos, miramos o escuchamos, ya que ha encontrado numerosas aplicaciones en nuestra vida diaria. Esta discusión generalizada sobre el Al se debe principalmente a importantes avances en la tecnología y los sistemas de Al durante los últimos diez años. Pocos otros campos se han expandido tan rápidamente como Al en la historia de la humanidad. Al se erige como la fuerza dominante, mientras que la humanidad y las sociedades principalmente observan sin la capacidad de seguir el ritmo o competir. En palabras de Pedro Domingos, “vivimos en la era de los algoritmos” (Domingos, 2015). Todos los sistemas han florecido recientemente gracias a los avances en informática y la disponibilidad de datos. Esto ha permitido la integración generalizada de los algoritmos Al en nuestras rutinas diarias. Desde el momento en que nos levantamos hasta que nos acostamos, los algoritmos Al nos ayudan a gestionar nuestras diversas tareas diarias. Por ejemplo, los algoritmos Al verifican nuestros pagos con tarjeta de crédito o débito cuando compramos en el supermercado y ayudan a filtrar los correos electrónicos no deseados. Al conducir, las tecnologías Al nos ayudan a llegar con precisión a nuestro destino, evitando maniobras riesgosas en la carretera y avisando cuando se acercan otros vehículos.

Una pregunta importante que surge es si el desarrollo de Al tiene límites o continuará expandiéndose indefinidamente. ¿Existe un punto final claro o seguirán surgiendo nuevos avances en el campo de la IA? Es innegable que Al ha generado numerosos efectos positivos, como señaló Russell en 2019. Una ventaja significativa es la automatización, que simplifica las tareas cotidianas con solo presionar un botón. Las máquinas están aquí para realizar actividades que consumen mucho tiempo en diversas industrias. Por ejemplo, en las fábricas de automóviles, máquinas automatizadas y robots producen vehículos nuevos. En el sector sanitario, los médicos utilizan Al para recopilar datos de los pacientes para obtener mejores diagnósticos y decisiones de tratamiento más eficientes. Muchas tareas administrativas en las oficinas se han reducido significativamente gracias a los sistemas Al. Además de automatizar tareas repetitivas, Al desempeña un papel vital en la reducción de errores humanos. Las máquinas son más rápidas y precisas que los humanos. La multitarea se ha convertido en una realidad gracias a la eficiencia que Al aporta al lugar de trabajo. Además, Al opera las 24 horas del día, los 7 días de la semana, sin necesidad de descansar ni experimentar fatiga. Las capacidades predictivas son otra característica clave. A pesar de fallas ocasionales, los algoritmos de Al generan predicciones confiables, desde pronósticos meteorológicos hasta pronósticos de guerras civiles e incluso preferencias de los clientes. En el caso de las preferencias de los clientes, algunos analistas han comenzado a discutir el concepto de «ansiedad algorítmica», donde las recomendaciones generadas por máquinas pueden imitar fielmente nuestras preferencias con el objetivo de animarnos a comprar artículos que de otro modo no compraríamos (Chayka, 2022).

Recientemente se lanzó ChatGPT con capacidades impresionantes. Ahora se pueden realizar tareas sencillas rápidamente con el algoritmo Al generativo avanzado de OpenAI. Parece que, en un futuro próximo, los robots podrán empezar a hacerse cargo de las tareas cotidianas, lo que podría convertirse en una realidad. Es incierto si este cambio tendrá impactos negativos en nuestra sociedad y en nuestras interacciones. Lo que sí sabemos es que la tecnología Al avanza rápida y consistentemente.

2. ¿ESTA AI AMENZANDO LA DEMOCRACIA?

En esta era de rápido progreso tecnológico, las siguientes preguntas merecen más atención: ¿El crecimiento y la integración de los sistemas de IA en nuestras sociedades representan una amenaza para el funcionamiento de nuestros sistemas políticos democráticos (Bosoer et al., 2022)? ¿Las máquinas de Al eventualmente reemplazarán a los humanos en la toma de decisiones democráticas, o existen limitaciones en lo que los sistemas de Al pueden hacer y pensar? Los defensores de la tecnología y la IA a menudo argumentan que un mayor acceso a la información y al aprendizaje automático puede ayudar a abordar muchos de los problemas de la sociedad, incluidas las complejidades de la política y su eficiencia. La idea central es que los algoritmos de aprendizaje automático pueden tomar mejores decisiones políticas que los humanos, y esta creencia se extiende a la noción de que, en la era actual de abundantes datos e innovación tecnológica, estas decisiones impulsadas por la inteligencia artificial no sólo son más óptimas sino también más rápidas. más racional para el bien de la sociedad y menos sesgado. Como resultado, las deficiencias de la política tradicional para resolver diversos problemas políticos pueden ser reemplazadas por enfoques basados en datos que sean más eficientes y efectivos. Sin embargo, persisten las preguntas: ¿hasta qué punto estas nuevas soluciones basadas en datos de IA son capaces de reemplazar los enfoques políticos tradicionales y en qué áreas de la política? ¿Debería la política democrática, tal como la hemos conocido durante décadas, dar paso por completo a doctrinas políticas impulsadas por Al, o debería haber una colaboración parcial entre ambos?

Dos grandes amenazas a la democracia

a) Adopción de una realidad política objetiva

La transición de la realidad subjetiva a la objetiva implica desarrollar sistemas de IA utilizando datos diarios vastos y diversos, incluidos textos, números, videos e imágenes de las redes sociales y otras fuentes. Todos los sistemas aprenden de estas entradas para generar respuestas inteligentes. La pregunta crucial es: ¿quién determina si los datos reflejan con precisión nuestra realidad diaria? Nadie puede ofrecer una seguridad absoluta debido a la abundancia e ilimitación de los datos. Incluso si pudiéramos verificar y probar los datos utilizados por los sistemas Al, no podemos inspeccionar ni reproducir completamente el código subyacente de estos sistemas. Un pequeño error humano en el código podría comprometer la inteligencia de la máquina o, peor aún, crear una realidad basada en un código defectuoso (Gawdat, 2021). Además, si bien se puede diseñar cuidadosamente una cierta cantidad de código, no es el único código para crear la realidad; Los códigos de todos los sistemas pueden generar potencialmente numerosas realidades diferentes. Esto plantea la pregunta apremiante de quién controla estas realidades y cuál se alinea más estrechamente con la realidad experimentada por los humanos. Estas preguntas carecen de respuestas claras porque las realidades que experimentamos son, fundamentalmente, construcciones sociales. A la luz de estos desafíos, sigue sin estar claro cómo los sistemas de IA pueden abordar estas realidades construidas y potencialmente reemplazar a los humanos en diversos aspectos del proceso democrático de toma de decisiones.

Las sociedades modernas enfrentan una demanda significativa de movilización de conocimientos, herramientas analíticas más precisas e infraestructura administrativa más eficiente. Sin embargo, la capacidad de los sistemas «inteligentes» de Al para gestionar eficazmente los procesos democráticos de toma de decisiones y su diversidad es un tema de debate. Todos los algoritmos de aprendizaje automático funcionan principalmente como modelos de optimización, que a veces pueden pasar por alto los principios fundamentales del pluralismo democrático y la amplia gama de perspectivas subjetivas. Si consideramos el espacio democrático como una realidad objetiva uniforme para todos los individuos, corremos el riesgo de descuidar la riqueza y complejidad de la vida social y los procesos democráticos. En un mundo desprovisto de subjetividad, las realidades objetivas de Al pueden ofrecer soluciones óptimas a problemas bien definidos. Sin embargo, la toma de decisiones democrática no consiste únicamente en maximizar o minimizar aspectos particulares. Es razonable reconocer que, en ciertos casos, las pruebas y los sistemas de inteligencia artificial pueden proporcionar soluciones viables a diversas disputas políticas. Por lo tanto, cuando surge la complejidad política dentro del espacio democrático, los procesos democráticos de toma de decisiones deben estar abiertos a incorporar técnicas de optimización de Al. Sin embargo, la mayoría de las veces, incluso los planes y soluciones basados en pruebas científicas sofisticadas y enfoques de modelización pueden no alinearse con las diversas interpretaciones de las realidades democráticas pluralistas y sus complejidades. Las máquinas nunca podrán reemplazar completamente a los seres humanos porque carecen de emociones, de capacidad de pensamiento crítico y operan dentro de una realidad objetiva, en contraste con la realidad subjetiva inherente de los humanos. Las máquinas están limitadas por los datos que recopilan y son incapaces de pensar más allá de los límites de sus parámetros programados. Si bien se les pueden proporcionar construcciones y realidades alternativas, su enfoque se basa principalmente en una optimización restringida, lo que limita su capacidad para tomar decisiones en contextos más amplios (Innerarity, 2023). Por el contrario, la toma de decisiones humana está influenciada por las construcciones sociales de las realidades únicas que imaginan y crean. Esta construcción social varía significativamente de un individuo a otro, mientras que las máquinas tienden a abordar los problemas de una manera más uniforme.

El verdadero peligro para la democracia reside en la idea errónea de que la intrincada naturaleza del pluralismo político democrático puede simplificarse en un pequeño conjunto de procesos que un sistema de IA puede optimizar. Los algoritmos de Al están diseñados fundamentalmente para agrupar y minimizar escalas, con el objetivo de agrupar evidencia similar de modo que un optimizador o clasificador de Al pueda proporcionar soluciones basadas en menos grupos (esencialmente, los mismos grupos de datos) que los sistemas complejos con múltiples valores atípicos sociales. Muchos modelos de clasificación de Al crean grupos binarios, como 0 y 1, porque los datos binarios son más adaptables y más fáciles de modelar. Sin embargo, ¿puede verdaderamente reducirse la complejidad de la realidad política a una mera categorización binaria de 0 o 1? La inclinación hacia la minimización de escala plantea una amenaza significativa a la diversidad del mundo democrático. Esto se debe a que obliga a los individuos a pensar, interactuar y adoptar una realidad objetiva dictada por la lógica Al, en lugar de permitirles la libertad de elegir entre el amplio espectro de opciones que ofrece el espacio democrático. Cuando los humanos exploramos constantemente soluciones en el ámbito de la ambigüedad política, es porque tomamos en cuenta el contexto y la construcción social de nuestro mundo subjetivo. Estos son aspectos que un algoritmo o análisis de datos pueden tener dificultades para capturar. Si bien la idea de eliminar la incertidumbre y la complejidad en el mundo político a través de sistemas de IA es atractiva y prometedora en términos de eficiencia y velocidad, también tiene sus desventajas. Una parte importante de las decisiones políticas alternativas podrían quedar excluidas del panorama político que un modelo de aprendizaje automático puede comprender y abordar.

b) Disminución de la participación ciudadana en la política

La noción de reemplazar la política con algoritmos Al, basados en la realidad supuestamente objetiva que generan, se basa en una falacia. El principal argumento a favor de este reemplazo es que los sistemas de Al, independientemente de su tipo o lógica, se consideran herramientas más avanzadas, inteligentes y eficientes para abordar las complejidades de la vida diaria. Los algoritmos pueden realizar miles de millones de cálculos en un segundo, mientras que el cerebro humano sólo puede gestionar un número limitado de pensamientos y cálculos lógicos. Por lo tanto, una cuestión justa a considerar sería: ¿por qué no reemplazar la participación humana en la política con un clasificador de Al óptimo que pueda realizar las mismas tareas (e incluso más) de manera más rápida y efectiva?

A medida que los sistemas de IA se vuelven más eficientes y sofisticados, ha aumentado el atractivo de confiar en ellos para tareas como responder correos electrónicos, redactar informes y diseñar planes de negocios. De hecho, los sistemas Al como ChatGPT tienen el potencial de ayudar con tales tareas y mejorar la eficiencia y, quizás, la productividad. En política, si bien la eficiencia y la velocidad son importantes, existe la preocupación de que Al domine la toma de decisiones. Depender demasiado de Al para tareas rutinarias puede disminuir el pensamiento crítico humano y las habilidades de resolución de problemas. Es crucial encontrar un equilibrio para garantizar que las personas sigan utilizando sus capacidades cognitivas. Si los individuos se desconectan de los procesos democráticos cotidianos y dejan que los algoritmos de IA tomen decisiones, existe el riesgo de ser gobernados por enfoques automatizados. Esto podría reducir la participación activa en la política, socavando potencialmente los principios democráticos. La democracia prospera gracias al compromiso ciudadano, y depender únicamente de Al podría debilitar esta base, lo que llevaría a una posible desdemocratización con consecuencias significativas para las sociedades democráticas.

3. RECOMENDACIONES DE POLÍTICA: ¿CÓMO PUEDE SOBREVIVIR LA DEMOCRACIA EN UN MUNDO DOMINADO?

Los participantes en el diálogo político de alto nivel celebrado en Florencia describieron tres condiciones clave para transformar con éxito la IA en una herramienta para la democracia:

1. Al participativo: Los sistemas de Al deben complementar y mejorar los procesos democráticos en lugar de reemplazarlos. Su papel debería ser apoyar e informar a los tomadores de decisiones, capacitándolos para tomar decisiones más informadas manteniendo al mismo tiempo la participación activa de los ciudadanos.

2. Distribución del poder: Las sociedades, los gobiernos y los marcos legales deberían trabajar para evitar la concentración del poder en manos de unos pocos actores dominantes. Garantizar una distribución justa y equilibrada del poder entre los diversos actores sociales ayuda a prevenir la formación de estructuras monopolísticas que pueden socavar los principios democráticos.

3. Complejidad y Subjetividad: El diseño de los sistemas de IA debe reconocer la complejidad del mundo social y las realidades subjetivas de los seres humanos. Hacer hincapié por sí solo en la eficiencia puede simplificar demasiado la intrincada dinámica de la sociedad y la diversidad de las perspectivas humanas. Al debe desarrollarse apreciando la riqueza y complejidad de las experiencias humanas.

Al adherirse a estas condiciones, la Al puede desempeñar un papel constructivo en el fortalecimiento de la democracia, el fomento de la transparencia, la toma de decisiones informadas y la participación pública, al tiempo que protege contra los posibles obstáculos asociados con la influencia desenfrenada de la tecnología de la Al en los procesos democráticos.

Durante el diálogo político de alto nivel en Florencia, los participantes sugirieron formas específicas en las que Al podría apoyar la democracia:

• Desarrollo de un marco legal sólido:

Crear un sistema legal sólido es esencial para garantizar que la Al beneficie la gobernanza democrática respetando al mismo tiempo la ética, los derechos humanos y los valores sociales. Este sistema establece las reglas para utilizar Al de manera responsable y ética. Iniciativas como las Directrices Universales para Al, presentadas por The Public Voice en 2018, desempeñan un papel crucial en la formación de un acuerdo mundial sobre la ética y las reglas de Al. Además de las leyes locales, es igualmente importante contar con colaboración internacional y modelos para regulaciones de Al que vayan más allá de las fronteras. Dado que las tecnologías Al afectan a todo el mundo, los países deben trabajar juntos para manejar su impacto de manera efectiva. Estos modelos internacionales/transnacionales pueden garantizar estándares éticos consistentes, privacidad de datos y responsabilidad a nivel mundial. Al establecer marcos legales integrales tanto a nivel nacional como internacional, las sociedades pueden disfrutar de las ventajas de la IA y al mismo tiempo proteger los valores democráticos, los derechos humanos y los principios éticos.

• Promoción y mantenimiento de una gobernanza «ágil»

Para garantizar una gobernanza eficaz en el ámbito en rápida evolución de la IA y las tecnologías emergentes, los gobiernos deberían adoptar mecanismos de gobernanza «ágiles». Estos mecanismos implican una rápida adaptación a los cambios tecnológicos y sus impactos sociales.

Estos son los componentes clave de la gobernanza ágil:

– Monitoreo continuo: Los gobiernos deben establecer sistemas para monitorear continuamente los desarrollos de Al y sus impactos sociales. Esto incluye mantenerse actualizado sobre avances, riesgos potenciales y consideraciones éticas. Evaluaciones periódicas son esenciales para abordar rápidamente los problemas emergentes.

– Evaluaciones de riesgos y ética: realizar evaluaciones de los riesgos y la ética de las aplicaciones de Al es crucial. Estas evaluaciones ayudan a identificar posibles daños y dilemas éticos, orientando el desarrollo de regulaciones y directrices para mitigar los riesgos y garantizar el uso responsable del Al.

– Sandboxing: Al implementar el sandboxing, la experimentación controlada con tecnologías Al puede tener lugar en un entorno seguro. Este enfoque proactivo permite a los formuladores de políticas comprender el impacto de la tecnología en el mundo real, facilitando la toma de decisiones informadas basadas en la experiencia práctica.

– Programas generales de alfabetización: Promover programas de alfabetización sobre Al y tecnologías emergentes es crucial. Educar al público y a los tomadores de decisiones sobre las capacidades y limitaciones de Al, sus implicaciones sociales y consideraciones éticas garantiza una toma de decisiones informada y un uso responsable.

Al incorporar estos mecanismos ágiles de gobernanza, los gobiernos pueden navegar eficazmente en el panorama dinámico de la IA, fomentando la innovación y salvaguardando al mismo tiempo los intereses sociales y los principios éticos. Este enfoque permite respuestas rápidas a los desafíos y oportunidades emergentes en el ecosistema de Al.

• Formulación de deliberaciones apoyadas en Al

Utilizar deliberaciones apoyadas en Al es un avance significativo para aprovechar Al para mejorar los procesos democráticos. Así es como Al puede mejorar la deliberación democrática:

– Agregación de puntos de vista: Todos los sistemas reúnen de manera eficiente una amplia gama de puntos de vista y opiniones de diversos participantes, lo que garantiza una representación más completa de la población. «

– Análisis de sentimiento: Al realiza análisis de sentimientos a gran escala, ofreciendo información sobre el sentimiento y las opiniones del público sobre diversos temas. Esto ayuda a los tomadores de decisiones a comprender las percepciones públicas.

– Incorporación de puntos de vista atípicos: Al identifica e incluye puntos de vista atípicos, asegurando que se consideren diversas perspectivas en el proceso de deliberación.

– Agrupación y resumen de argumentos: Al agrupa y resume los argumentos presentados durante las deliberaciones, lo que facilita la participantes y tomadores de decisiones para captar puntos y matices clave.

– Medición de fortaleza: Todos los sistemas evalúan la fuerza y validez de los argumentos y opiniones, proporcionando una base más informada para la deliberación.

– Coordinación de consenso: Al ayuda a coordinar y facilitar la creación de consenso entre diferentes grupos y partes interesadas, facilitando la búsqueda de puntos en común y la toma de decisiones colectivas.

El uso de plataformas en línea para deliberaciones apoyadas por Al ha ganado popularidad en los partidos políticos, grupos de la sociedad civil y movimientos sociales. Estas plataformas involucran a los ciudadanos en la política democrática, ofreciendo una forma más inclusiva y eficiente de deliberar sobre temas importantes y tomar decisiones informadas. En este contexto, Al facilita un diálogo democrático más rico, más diverso y más productivo.

• Llevar la nodalidad al centro del proceso democrático

El concepto de nodalidad, tal como lo describieron Hood y Margetts en 2007, subraya la importancia de redes de información sólidas en las democracias modernas. Al aprovechar la nodalidad, los gobiernos y los ciudadanos pueden mejorar su colaboración, mejorar la calidad de la gobernanza y fortalecer las bases de un sistema democrático transparente y responsable. Al priorizar la nodalidad, se pueden obtener varias ventajas:

– Gobernanza eficiente: la nodalidad permite a los gobiernos operar de manera eficiente y tomar decisiones informadas. Permite la recepción oportuna de información, permitiendo a los gobiernos responder más eficazmente a las necesidades y preocupaciones de los ciudadanos.

– Transparencia y Responsabilidad: La nodalidad mejora la transparencia sobre como los ciudadanos pueden acceder a información sobre las acciones y políticas gubernamentales. Esta mayor transparencia, a su vez, fomenta la rendición de cuentas, ya que los ciudadanos pueden responsabilizar a sus gobiernos por sus acciones.

– Participación directa: La nodalidad promueve la participación ciudadana directa en la gobernanza democrática. Permite a los ciudadanos participar activamente en el proceso de toma de decisiones, ofrecer sus ideas y contribuir a dar forma a las políticas que les afectan.

– Evaluación retrospectiva: la nodalidad permite a los ciudadanos revisar acciones y decisiones gubernamentales pasadas en retrospectiva. Esta evaluación retrospectiva es crucial para responsabilizar a los gobiernos por sus acciones pasadas y mejorar la gobernanza futura.

BIBLIOGRAFÍA

Bosoer, L, Cantero Gamito, M., Galariotis, I., & Innerarity, D. (2022) «Neither fish nor fowl : the challenges of a democratic Al», STG Policy Briefs, 2022/30.

Chayka, K. (2022) «The Age of Algorithmic Anxiety», The New Yorker, July 25, 2022. Available at: https://www.newyorker.com/culture/infinite-scroll/the-age-of-algorithmic-anxiety.

Domingos, P. (2015) The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World, Penguin Books.

Gawdat, M. (2021) Scary Smart: The Future of Artificial Intelligence and How You Can Save Our World, London: Bluebird.

Hood, C. and Margetts, H. (2007) The Tools of Government in the Digital Age, London: Palgrave Macrmillan.

Innerarity, D. (2023) «The epistemic impossibility of an artificial intelligence take-over of democracy», Al & Society, https://doi.org/10.1007/s00146-023-01632-1.

Russell, S. (2019) Human Incompatible: Artificial Intelligence and the Problem of Control, Penguin Books.

The Public Voice (2018) Universal Guidelines for Artificial Intelligence, available at: https://thepublicvoice.org/ai-universal-guidelines/.

Webb, A. (2019) The Big Nine: How the Tech Titans & Their Thinking Machines Could Warp Humanity, New York: Public Affairs.

El Estudio Jurídico FERREYROS&FERREYROS es una firma especializada en aspectos legales y regulatorios relacionados con las Nanotecnologías, materia transversal, relacionada con la integración y convergencia de tecnologías (Nanotecnologías, Biotecnologías, Tecnologías de la Información y ciencias Cognitivas) (NBIC).

El Estudio realiza asesorías, consultorías, auditorías, formaciones, investigaciones y defensas en favor de agentes públicos y empresas privadas en Contenidos y Servicios vinculados con las NBIC, en todas las fases y etapas del negocio jurídico.

Desde la concepción, elaboración de proyectos, estudio de impacto, gestión, declaraciones y obtención de las autorizaciones y licencias, incluyendo negociación y ejecución de contratos y resolución de conflictos

Facebook
Twitter
Reddit
LinkedIn
Telegram
WhatsApp

Carlos Ferreyros

Doctor en Derecho. Magister en Informática Jurídica y Derecho Informático

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Te puede interesar