Anthropic implanta nuevas salvaguardias para la IA ante el aumento de los riesgos

Anthropic ha actualizado la política de uso de su chatbot de inteligencia artificial Claude para responder a las crecientes preocupaciones en materia de seguridad. Además de unas normas de ciberseguridad más estrictas, la empresa describe ahora explícitamente las categorías de armas peligrosas que no deben desarrollarse con Claude.
Aunque el anuncio oficial no destaca explícitamente los cambios en su política de armas, una comparación entre las antiguas y las nuevas directrices de uso revela una actualización significativa. Anteriormente, Anthropic prohibía en términos generales el uso de Claude para "producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daños o la pérdida de vidas humanas". La política revisada amplía esta prohibición al prohibir específicamente el desarrollo de explosivos de alto rendimiento, así como de armas biológicas, nucleares, químicas y radiológicas (QBRN).
En mayo, Anthropic introdujo las protecciones del "Nivel de seguridad 3 de AI", coincidiendo con el lanzamiento de su nuevo modelo Claude Opus 4. El objetivo de estas protecciones es hacer que el modelo sea más resistente al jailbreak y evitar que contribuya a la creación de armas QBRN.
En su anuncio, Anthropic también reconoce los riesgos asociados a herramientas de IA agéntica como Computer Use -que permite a Claude controlar el ordenador de un usuario- y Claude Code, que integra Claude directamente en el terminal de un desarrollador. "Estas potentes capacidades introducen nuevos riesgos, incluido el potencial de abuso a escala, la creación de malware y los ciberataques", afirma la empresa.
Relacionado
- Anthropic lanza un nuevo servicio Claude para uso militar y de inteligencia
- Google retira su promesa de no desarrollar armas de IA
La startup de IA está abordando estas amenazas potenciales mediante la adición de una nueva sección titulada "No comprometer los sistemas informáticos o de red" a su política de uso. Esta sección incluye normas contra el uso de Claude para descubrir o explotar vulnerabilidades, crear o distribuir malware, desarrollar herramientas para ataques de denegación de servicio y actividades similares.
Además, Anthropic suaviza su política de contenidos políticos. En lugar de prohibir toda creación de contenidos relacionados con campañas políticas y grupos de presión, la empresa ahora sólo prohibirá el uso de Claude para "casos de uso que sean engañosos o perturben los procesos democráticos, o impliquen la captación de votantes y campañas". Anthropic también aclaró que sus requisitos para todos los casos de uso de "alto riesgo" -que se aplican cuando Claude se utiliza para hacer recomendaciones a particulares o clientes- sólo son pertinentes para los escenarios de cara al consumidor, no para uso interno de la empresa.
Artículo relacionado
Ollie apuesta por la privacidad para ganar la carrera de los asistentes de IA
Para resultar realmente útil, un asistente de IA debe comprender a fondo a su usuario. Ollie, un asistente personal diseñado para la vida cotidiana, parte de la premisa de que esto no implica ceder tu
Cómo AI LIVE: Londres explorará la inteligencia artificial y la automatización industrial
La cumbre reunirá a altos directivos de todo el mundo para abordar los retos más acuciantes de los sectores industriales a nivel global, que van desde la disrupción impulsada por la inteligencia artif
Anthropic entra en el mercado de tecnología legal de IA mientras se intensifica la competencia
Anthropic presentó el martes un conjunto de nuevas capacidades de chatbot, destinadas a brindar soporte automatizado a despachos de abogados. Estas mejoras amplían Claude for Legal, la plataforma específica para firmas introducida a principios de est
Recomendaciones de temas especiales relacionados
comentario (1)
0/500
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic ha actualizado la política de uso de su chatbot de inteligencia artificial Claude para responder a las crecientes preocupaciones en materia de seguridad. Además de unas normas de ciberseguridad más estrictas, la empresa describe ahora explícitamente las categorías de armas peligrosas que no deben desarrollarse con Claude.
Aunque el anuncio oficial no destaca explícitamente los cambios en su política de armas, una comparación entre las antiguas y las nuevas directrices de uso revela una actualización significativa. Anteriormente, Anthropic prohibía en términos generales el uso de Claude para "producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daños o la pérdida de vidas humanas". La política revisada amplía esta prohibición al prohibir específicamente el desarrollo de explosivos de alto rendimiento, así como de armas biológicas, nucleares, químicas y radiológicas (QBRN).
En mayo, Anthropic introdujo las protecciones del "Nivel de seguridad 3 de AI", coincidiendo con el lanzamiento de su nuevo modelo Claude Opus 4. El objetivo de estas protecciones es hacer que el modelo sea más resistente al jailbreak y evitar que contribuya a la creación de armas QBRN.
En su anuncio, Anthropic también reconoce los riesgos asociados a herramientas de IA agéntica como Computer Use -que permite a Claude controlar el ordenador de un usuario- y Claude Code, que integra Claude directamente en el terminal de un desarrollador. "Estas potentes capacidades introducen nuevos riesgos, incluido el potencial de abuso a escala, la creación de malware y los ciberataques", afirma la empresa.
Relacionado
- Anthropic lanza un nuevo servicio Claude para uso militar y de inteligencia
- Google retira su promesa de no desarrollar armas de IA
La startup de IA está abordando estas amenazas potenciales mediante la adición de una nueva sección titulada "No comprometer los sistemas informáticos o de red" a su política de uso. Esta sección incluye normas contra el uso de Claude para descubrir o explotar vulnerabilidades, crear o distribuir malware, desarrollar herramientas para ataques de denegación de servicio y actividades similares.
Además, Anthropic suaviza su política de contenidos políticos. En lugar de prohibir toda creación de contenidos relacionados con campañas políticas y grupos de presión, la empresa ahora sólo prohibirá el uso de Claude para "casos de uso que sean engañosos o perturben los procesos democráticos, o impliquen la captación de votantes y campañas". Anthropic también aclaró que sus requisitos para todos los casos de uso de "alto riesgo" -que se aplican cuando Claude se utiliza para hacer recomendaciones a particulares o clientes- sólo son pertinentes para los escenarios de cara al consumidor, no para uso interno de la empresa.
Ollie apuesta por la privacidad para ganar la carrera de los asistentes de IA
Para resultar realmente útil, un asistente de IA debe comprender a fondo a su usuario. Ollie, un asistente personal diseñado para la vida cotidiana, parte de la premisa de que esto no implica ceder tu
Cómo AI LIVE: Londres explorará la inteligencia artificial y la automatización industrial
La cumbre reunirá a altos directivos de todo el mundo para abordar los retos más acuciantes de los sectores industriales a nivel global, que van desde la disrupción impulsada por la inteligencia artif
Anthropic entra en el mercado de tecnología legal de IA mientras se intensifica la competencia
Anthropic presentó el martes un conjunto de nuevas capacidades de chatbot, destinadas a brindar soporte automatizado a despachos de abogados. Estas mejoras amplían Claude for Legal, la plataforma específica para firmas introducida a principios de est
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Hogar






