Anthropic вводит новые меры защиты искусственного интеллекта на фоне растущих рисков

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Связанная статья
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Олли делает ставку на приватность, чтобы выиграть гонку за лидерство в сфере ИИ-помощников
Чтобы быть по-настоящему полезным, ИИ-помощник должен глубоко понимать своего пользователя. Ollie — личный помощник, разработанный для повседневной жизни, — работает по принципу, согласно которому для
Как на мероприятии AI LIVE: London будут рассматриваться темы искусственного интеллекта и промышленной автоматизации
На саммите соберутся руководители высшего звена со всего мира, чтобы обсудить актуальные проблемы мировых отраслей — от радикальных изменений, вызванных искусственным интеллектом, до экономической нес
Рекомендации по связанным специальным темам
Комментарии (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Олли делает ставку на приватность, чтобы выиграть гонку за лидерство в сфере ИИ-помощников
Чтобы быть по-настоящему полезным, ИИ-помощник должен глубоко понимать своего пользователя. Ollie — личный помощник, разработанный для повседневной жизни, — работает по принципу, согласно которому для
Как на мероприятии AI LIVE: London будут рассматриваться темы искусственного интеллекта и промышленной автоматизации
На саммите соберутся руководители высшего звена со всего мира, чтобы обсудить актуальные проблемы мировых отраслей — от радикальных изменений, вызванных искусственным интеллектом, до экономической нес
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Дом






