El rápido avance de las tecnologías emergentes transforma la relación entre los ciudadanos, las empresas y el Estado. Estas herramientas tienen el potencial de mejorar la eficiencia del Estado, optimizar servicios y automatizar la toma de decisiones. Sin embargo, cuando no son reguladas ni diseñadas con criterios equitativos, pueden vulnerar derechos fundamentales. Un ejemplo de esto son los peligros relacionados a la recopilación masiva de datos personales, de un ataque a la privacidad y la protección de datos sensibles. En este contexto, es importante visibilizar cómo estos algoritmos pueden producir sesgos existentes y vulnerar derechos.

Aunque la tecnología trajo innumerables beneficios, recién ahora se hacen evidentes las serias amenazas que representan para la protección de derechos fundamentales. El uso de machine learning y de la IA afectaría el derecho a un juicio justo, la privacidad, la libertad de expresión, la prohibición de la discriminacion, entre otros. Este tipo de vulneración de derechos puede acontecer de forma directa o indirecta mediante el uso de algoritmos.

Se podría considerar una afectación directa cuando está motivada por prejuicios o intolerancias que se hacen explícitas en la toma de decisiones. Sin embargo, también existen formas de afectación indirectas, menos visibles pero igual de preocupantes. En el ámbito tecnológico, se suele pensar que la tecnología y el acceso a la misma, es neutral. No obstante, se está evidenciando que por ejemplo, el origen etnico determina no solo el acceso sino que también aumenta las probabilidades de ser discriminado mediante decisiones automatizadas que reproducen desigualdades existentes.

Un caso ilustrativo es el uso de bots en entrevistas laborales, como menciona Eric Sadin. Estas herramientas pueden evaluar a los candidatos mediante análisis automatizados del lenguaje corporal o el tono de voz sin considerar el contexto humano, reproduciendo una vez más prejuicios y limitando el acceso a oportunidades.

Es un gran motivo de preocupación actual que los sistemas de algoritmos de aprendizaje reproduzcan los sesgos que están incorporados en los humanos. Esto es así dado que los conjuntos de datos son creados por los agentes y pueden estar sesgados. Por otro lado, también incluyen datos que fueron manipulados o distorsionados por sesgos que pueden aumentar las probabilidades de discriminación.

En este sentido, el diseño de las tecnologías emergentes requiere que los desarrolladores tomen decisiones las cuales siempre tienen consecuencias distributivas variables. Aunque consideramos a la tecnología como una herramienta neutral, en realidad refleja los valores e intereses de quienes la diseñan. Por eso tiende a reproducir las mismas desigualdades existentes en la sociedad.

El uso de datos para predecir comportamientos es uno de los avances más importantes del machine learning. Sin embargo, estos beneficios son aceptables en la medida en que los sesgos presentes en dichas decisiones sean transparentes y de público conocimiento. De lo contrario, cuando los algoritmos operan con sesgos ocultos o no controlados, existe un riesgo de que se vulneren derechos. En ese sentido es importante identificar y entrenar a los algoritmos con “training data” que sea precisa y prediga el resultado de forma certera.

Con todo esto en mente las posibles soluciones podrían ser transparentar la formación de algoritmos y generar herramientas que detecten y rectifiquen errores o posibles sesgos en la información. Otra posible solución es hacer un chequeo de la calidad de la información y cómo fue recolectada y utilizada en la formación de los algoritmos de modelos predictivos.

La tecnología tiene poder. Pero si elegimos bien, puede ser el poder que transforme. Podemos construir sistemas justos, inclusivos y transparentes que amplíen derechos. Podemos programar un futuro que tenga a la equidad y la inclusión como bases fundamentales.

The rapid advance of emerging technologies transforms the relationship between citizens, companies, and the State. These tools have the potential to improve State efficiency, optimize services, and automate decision-making. However, when they are not regulated or designed with equitable criteria, they can violate fundamental rights. An example of this is the dangers related to the massive collection of personal data, an attack on privacy, and the protection of sensitive data. In this context, it is important to make visible how these algorithms can produce existing biases and violate rights.

Although technology has brought countless benefits, only now are the serious threats they represent for the protection of fundamental rights becoming evident. The use of machine learning and AI could affect the right to a fair trial, privacy, freedom of expression, the prohibition of discrimination, among others. This type of rights violation can happen directly or indirectly through the use of algorithms.

One could consider a direct effect when it is motivated by prejudices or intolerances that are made explicit in decision-making. However, there are also indirect forms of effect, less visible but equally worrying. In the technological field, it is often thought that technology and access to it are neutral. However, it is becoming evident that, for example, ethnic origin determines not only access but also increases the probabilities of being discriminated against through automated decisions that reproduce existing inequalities.

An illustrative case is the use of bots in job interviews, as mentioned by Eric Sadin. These tools can evaluate candidates through automated analysis of body language or tone of voice without considering the human context, reproducing once again prejudices and limiting access to opportunities.

It is a great motive for current concern that learning algorithm systems reproduce the biases that are incorporated into humans. This is so because the data sets are created by agents and can be biased. On the other hand, they also include data that were manipulated or distorted by biases that can increase the probabilities of discrimination.

In this sense, the design of emerging technologies requires developers to make decisions which always have variable distributive consequences. Although we consider technology as a neutral tool, in reality, it reflects the values and interests of those who design it. That is why it tends to reproduce the same inequalities existing in society.

The use of data to predict behaviors is one of the most important advances of machine learning. However, these benefits are acceptable to the extent that the biases present in such decisions are transparent and of public knowledge. Otherwise, when algorithms operate with hidden or uncontrolled biases, there is a risk that rights will be violated. In that sense, it is important to identify and train algorithms with "training data" that is precise and predicts the result accurately.

With all this in mind, the possible solutions could be to make the formation of algorithms transparent and generate tools that detect and rectify errors or possible biases in the information. Another possible solution is to check the quality of the information and how it was collected and used in the formation of the algorithms of predictive models.

Technology has power. But if we choose well, it can be the power that transforms. We can build fair, inclusive, and transparent systems that expand rights. We can program a future that has equity and inclusion as fundamental bases.