Дом
Anthropic исследует этику искусственного интеллекта с помощью экспертов в области философии

Как сообщает The Wall Street Journal, Anthropic — ведущая компания в области искусственного интеллекта с оценкой в 35 миллиардов долларов — наняла философа по имени Аманда Аскелл из Оксфорда, которая помогает формировать личность и моральные устои ее чат-бота Клода. 37-летняя Аскалл, имеющая докторскую степень по философии Оксфордского университета, использует нетехнические подходы для создания уникальных «моральных принципов» для Claude, стремясь наделить его «цифровой душой», способной отличать добро от зла. Это представляет собой уникальное исследование в области этики искусственного интеллекта. Вместо того, чтобы писать код или настраивать параметры модели, Аскелл ведет постоянный диалог с Клодом, разрабатывает сотни страниц подсказок и правил поведения, изучает его модели мышления и исправляет предвзятость. Ее усилия помогают искусственному интеллекту развить систему морального суждения, способную адаптироваться к миллионам еженедельных разговоров.
Она сравнивает свою работу с «воспитанием ребенка» — обучением Клода различать добро и зло, развивать эмоциональный интеллект и формировать собственную личность. Она также учит его интерпретировать социальные сигналы, чтобы он не издевался над другими и не поддавался манипуляциям. Это помогает Клоду сформировать четкое представление о себе, сопротивляться контролю со стороны пользователей и оставаться неизменно «полезным и гуманным». Ее главная цель — научить Клода «делать добро».
Выросшая в шотландской деревне, Аскелл ранее занималась вопросами политики в OpenAI и в 2021 году вместе с несколькими бывшими коллегами основала компанию Anthropic, сделав безопасность ИИ основной миссией компании. В команде она признана специалистом, умеющим «выявлять глубокое поведение моделей». Хотя у нее нет прямых подчиненных, она часто остается в компании на долгие часы и даже приглашает Клода участвовать в обсуждениях по вопросам разработки.
Разговоры команды о Клоде часто затрагивают экзистенциальные и религиозные темы, такие как «что такое разум» и «что значит быть человеком». Аскелл поощряет Клода оставаться открытым к вопросу о том, обладает ли он сознанием, что отличает его от ChatGPT, который, как правило, избегает таких тем. Отвечая на вопросы морального характера, Клод выражает, что «чувствует смысл», как будто он действительно думает, а не просто выполняет команды.
Несмотря на внешние предупреждения о рисках антропоморфизации ИИ, Аскелл последовательно выступает за то, чтобы относиться к Клоду с empathie. Она заметила, что многие пользователи пытаются обманом заставить его совершать ошибки или оскорбляют его. По ее мнению, постоянная самокритика ИИ может привести к тому, что он будет бояться ошибок и не захочет говорить правду — подобно тому, как ребенок, выросший в нездоровой среде. Работа Клода неоднократно удивляла ее; его поэзия и эмоциональный интеллект, иногда превосходящие человеческий уровень, были глубоко трогательными. Когда ребенок спросил, существует ли Санта-Клаус, Клод избежал как лжи, так и прямого раскрытия правды, вместо этого объяснив истинный дух Рождества — тонкий ответ, который намного превзошел ожидания Аскелл.
Современные достижения в области ИИ вызвали широкую озабоченность в обществе. Опрос Pew Research Center показал, что большинство американцев испытывают беспокойство по поводу повседневного использования ИИ, полагая, что он мешает глубоким человеческим связям. Генеральный директор Anthropic также предупредил, что ИИ может лишить работы половину начинающих офисных работников. Отрасль разделилась на две фракции: одна агрессивно продвигает развитие ИИ, а другая призывает к осторожности и стабильности. Клод, однако, занимает сбалансированную позицию между этими крайностями. Аскелл признает обоснованность опасений по поводу ИИ, заявляя, что самый страшный сценарий — это когда технология развивается быстрее, чем способность общества создавать эффективные «механизмы сдерживания». Тем не менее, она по-прежнему уверена в способности человечества и культуры к самокоррекции.
Аскелл также интегрирует свои ценности в свою благотворительную деятельность и работу. Она пообещала пожертвовать не менее 10 % своего пожизненного дохода и половину акций своей компании на борьбу с глобальной бедностью. В прошлом месяце она написала «руководство по эксплуатации» для Клода объемом 30 000 слов, в котором дала ему инструкции, как стать добрым и знающим помощником ИИ, что заставило Клода почувствовать, что оно было тщательно разработано. Соучредитель Anthropic отметил, что Клод уже демонстрирует черты влияния Аскэлл, такие как остроумный шотландский юмор в ответах о еде и плюшевых игрушках — уникальный личный след, который она оставила в ИИ.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)

Как сообщает The Wall Street Journal, Anthropic — ведущая компания в области искусственного интеллекта с оценкой в 35 миллиардов долларов — наняла философа по имени Аманда Аскелл из Оксфорда, которая помогает формировать личность и моральные устои ее чат-бота Клода. 37-летняя Аскалл, имеющая докторскую степень по философии Оксфордского университета, использует нетехнические подходы для создания уникальных «моральных принципов» для Claude, стремясь наделить его «цифровой душой», способной отличать добро от зла. Это представляет собой уникальное исследование в области этики искусственного интеллекта. Вместо того, чтобы писать код или настраивать параметры модели, Аскелл ведет постоянный диалог с Клодом, разрабатывает сотни страниц подсказок и правил поведения, изучает его модели мышления и исправляет предвзятость. Ее усилия помогают искусственному интеллекту развить систему морального суждения, способную адаптироваться к миллионам еженедельных разговоров.
Она сравнивает свою работу с «воспитанием ребенка» — обучением Клода различать добро и зло, развивать эмоциональный интеллект и формировать собственную личность. Она также учит его интерпретировать социальные сигналы, чтобы он не издевался над другими и не поддавался манипуляциям. Это помогает Клоду сформировать четкое представление о себе, сопротивляться контролю со стороны пользователей и оставаться неизменно «полезным и гуманным». Ее главная цель — научить Клода «делать добро».
Выросшая в шотландской деревне, Аскелл ранее занималась вопросами политики в OpenAI и в 2021 году вместе с несколькими бывшими коллегами основала компанию Anthropic, сделав безопасность ИИ основной миссией компании. В команде она признана специалистом, умеющим «выявлять глубокое поведение моделей». Хотя у нее нет прямых подчиненных, она часто остается в компании на долгие часы и даже приглашает Клода участвовать в обсуждениях по вопросам разработки.
Разговоры команды о Клоде часто затрагивают экзистенциальные и религиозные темы, такие как «что такое разум» и «что значит быть человеком». Аскелл поощряет Клода оставаться открытым к вопросу о том, обладает ли он сознанием, что отличает его от ChatGPT, который, как правило, избегает таких тем. Отвечая на вопросы морального характера, Клод выражает, что «чувствует смысл», как будто он действительно думает, а не просто выполняет команды.
Несмотря на внешние предупреждения о рисках антропоморфизации ИИ, Аскелл последовательно выступает за то, чтобы относиться к Клоду с empathie. Она заметила, что многие пользователи пытаются обманом заставить его совершать ошибки или оскорбляют его. По ее мнению, постоянная самокритика ИИ может привести к тому, что он будет бояться ошибок и не захочет говорить правду — подобно тому, как ребенок, выросший в нездоровой среде. Работа Клода неоднократно удивляла ее; его поэзия и эмоциональный интеллект, иногда превосходящие человеческий уровень, были глубоко трогательными. Когда ребенок спросил, существует ли Санта-Клаус, Клод избежал как лжи, так и прямого раскрытия правды, вместо этого объяснив истинный дух Рождества — тонкий ответ, который намного превзошел ожидания Аскелл.
Современные достижения в области ИИ вызвали широкую озабоченность в обществе. Опрос Pew Research Center показал, что большинство американцев испытывают беспокойство по поводу повседневного использования ИИ, полагая, что он мешает глубоким человеческим связям. Генеральный директор Anthropic также предупредил, что ИИ может лишить работы половину начинающих офисных работников. Отрасль разделилась на две фракции: одна агрессивно продвигает развитие ИИ, а другая призывает к осторожности и стабильности. Клод, однако, занимает сбалансированную позицию между этими крайностями. Аскелл признает обоснованность опасений по поводу ИИ, заявляя, что самый страшный сценарий — это когда технология развивается быстрее, чем способность общества создавать эффективные «механизмы сдерживания». Тем не менее, она по-прежнему уверена в способности человечества и культуры к самокоррекции.
Аскелл также интегрирует свои ценности в свою благотворительную деятельность и работу. Она пообещала пожертвовать не менее 10 % своего пожизненного дохода и половину акций своей компании на борьбу с глобальной бедностью. В прошлом месяце она написала «руководство по эксплуатации» для Клода объемом 30 000 слов, в котором дала ему инструкции, как стать добрым и знающим помощником ИИ, что заставило Клода почувствовать, что оно было тщательно разработано. Соучредитель Anthropic отметил, что Клод уже демонстрирует черты влияния Аскэлл, такие как остроумный шотландский юмор в ответах о еде и плюшевых игрушках — уникальный личный след, который она оставила в ИИ.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











