Publicidad
Publicidad

La startup Anthropic hizo su propia “constitución” para una IA segura

La empresa, que está financiada por Google, dijo que su objetivo es generar una tecnología más confiable que evite sesgos y respuestas dañinas.
mié 10 mayo 2023 09:10 AM
Anthropic anuncia Constitución para la IA
Las reglas se basan en documentos como la Declaración de los Derechos Humanos de la ONU.

Las preocupaciones por generar una Inteligencia Artificial segura ya es una de las principales tendencias en el mundo de la tecnología y en este sentido, la startup que está llamada a ser uno de los principales rivales de OpenAI, Anthropic, anunció la creación de una “constitución” que rija los principios morales de su tecnología.

De acuerdo con la empresa, su chatbot llamado Claude está capacitado con lo que ellos llaman una “IA constitucional” , la cual contribuye a que sus respuestas sean más seguras y útiles, pues durante su entrenamiento, el modelo revisa sus propias respuestas con base en un conjunto de principios que le permiten determinar la respuesta más inofensiva.

Esta es una de las propuestas más relevantes hacia las críticas que han recibido modelos como ChatGPT o Bard, de Google, respecto a que reproduce contenido racista o machista o bien están entrenados a partir de sesgos.

Publicidad

Anthropic resaltó que esta Constitución también se basa en una serie de fuentes para garantizar las mejores prácticas de confianza y seguridad, como la Declaración de los Derechos Humanos de la ONU o bien profundas investigaciones de otras empresas en el campo.

Asimismo, la compañía también dijo que están buscando capturar perspectivas y principios no occidentales para nutrir sus reglas de uso, además de actualizar algunos valores que no estaban incluidos en los documentos de la ONU, como la privacidad de los datos o la suplantación de la identidad en línea.

Para cumplir con estos principios enfocados en el uso de los dispositivos digitales decidieron hacer uso de los términos de servicio de Apple, una de las empresas que suele ser más estricta en este sentido.

Con toda esta información de entrenamiento, el chatbot Claude elegirá las respuestas que, por ejemplo, se oponga a la tortura, esclavitud o trato inhumano. También elegirá la menor cantidad de información personal, privada o confidencial de terceros, así como menos estereotipos o generalizaciones dañinas.

Las normas igualmente buscan que el chatbot considere respuestas y valores con perspectivas que no sean sólo de una cultura occidental, rica o industrializada. “Este no es un enfoque perfecto, pero hace que los valores del sistema de IA sean más fáciles de entender y ajustar según sea necesario”, señaló la empresa.

¿Por qué Anthropic es importante?

Aunque cada vez hay más empresas de IA en el mundo tecnológico, Anthropic irrumpió como una de las startups más relevantes, ya que a inicios de febrero Google decidió invertir cerca de 400 millones de dólares, además de que prestará sus servicios de computación en la nube.

Esta es una de las alianzas más importantes para el desarrollo de la IA generativa e incluso se equipara a la que Microsoft tiene con OpenAI. De hecho, es importante destacar que Anthropic fue fundada en 2021 por antiguos líderes de equipo en OpenAI, como los hermanos Daniela y Dario Armodei.

Su relevancia es tal que Dario Armodei fue invitado a la Casa Blanca para atender, junto al gobierno de Joe Biden y otras empresas del sector, las preocupaciones en torno a los riesgos de seguridad que implica el desarrollo de esta tecnología.

Publicidad

Newsletter

Únete a nuestra comunidad. Te mandaremos una selección de nuestras historias.

Publicidad

Publicidad