Google AI помогает в декодировании связи с дельфином с Dolphingemma

На протяжении десятилетий ученых завораживали щелчки, свисты и импульсные звуки дельфинов, и они пытались разгадать код их сложной коммуникации. Представьте, если бы мы могли не только подслушивать эти морские разговоры, но и настолько хорошо расшифровать их шаблоны, чтобы создавать собственные ответы, подобные дельфиньим. Эта мечта становится ближе к реальности, и в Национальный день дельфинов Google, в партнерстве с исследователями из Технологического института Джорджии и полевыми работами проекта Wild Dolphin Project (WDP), с радостью делится захватывающими новостями о DolphinGemma. Эта новаторская модель ИИ обучена понимать нюансы вокализаций дельфинов и даже генерировать новые звуковые последовательности, расширяя границы ИИ и наш потенциал для связи с обитателями океана.

Десятилетия исследований общества дельфинов

Понимание любой биологической системы — задача не из легких; она требует глубокого погружения в их мир. Здесь на помощь приходит WDP. С 1985 года они проводят самый продолжительный подводный исследовательский проект по изучению дельфинов, сосредоточив внимание на сообществе диких атлантических пятнистых дельфинов (Stenella frontalis) на Багамах, изучая их на протяжении поколений. Их подход «В их мире, на их условиях» означает, что они собирают огромное количество данных, не нарушая жизнь дельфинов. Это включает десятилетия подводных видео- и аудиозаписей, тщательно связанных с индивидуальными идентификаторами дельфинов, их жизненными историями и поведением. Это словно подробный дневник жизни дельфинов.

Стая атлантических пятнистых дельфинов, Stenella frontalis

Основное внимание WDP уделяет наблюдению и анализу естественной коммуникации и социальных взаимодействий дельфинов. Работая под водой, исследователи могут напрямую связывать звуки с конкретными поведенческими проявлениями, чего невозможно достичь при наблюдении с поверхности. Они годами соотносили различные типы звуков с поведенческими контекстами. Например:

• Индивидуальные свисты, которые действуют как уникальные имена, помогают матерям и детенышам воссоединяться.
• Импульсные «вспышки» часто сопровождают споры между дельфинами.
• Щелкающие «жужжания» обычно слышны во время ухаживаний или при преследовании акул.

Знание индивидуальных дельфинов, участвующих в коммуникации, является ключом к точной интерпретации. Конечная цель этого долгосрочного наблюдения — расшифровать структуру и потенциальные значения в этих естественных звуковых последовательностях, ища шаблоны и правила, которые могут указывать на форму языка. Этот глубокий анализ естественной коммуникации лежит в основе исследований WDP и предоставляет важный контекст для анализа с помощью ИИ.

Слева: Мать-пятнистый дельфин наблюдает за своим детенышем во время кормежки. Она использует свой уникальный свист, чтобы позвать его обратно, когда он закончит. Справа: Спектрограмма, показывающая свист.

Представляем DolphinGemma

Анализ естественной, сложной коммуникации дельфинов — непростая задача, и обширная, маркированная база данных WDP предоставляет уникальную возможность для инноваций в области ИИ. Знакомьтесь с DolphinGemma, созданной Google, которая использует специализированные аудиотехнологии. Токенизатор SoundStream эффективно захватывает звуки дельфинов, которые затем обрабатываются моделью, разработанной для сложных последовательностей. Эта модель с параметрами около 400 миллионов идеально подходит для работы на смартфонах Pixel, используемых WDP в полевых условиях.

Слева: Свисты и импульсные звуки, сгенерированные на ранних стадиях тестирования DolphinGemma.

DolphinGemma черпает вдохновение из Gemma, набора легковесных, передовых открытых моделей Google, которые используют те же исследования и технологии, что и модели Gemini. Обученная на акустической базе данных WDP по диким атлантическим пятнистым дельфинам, DolphinGemma работает как модель «аудио на входе, аудио на выходе». Она обрабатывает последовательности естественных звуков дельфинов, чтобы выявить шаблоны, структуру и, в конечном итоге, предсказать вероятные следующие звуки в последовательности, подобно тому, как модели человеческого языка предсказывают следующее слово.

В этом сезоне WDP внедряет DolphinGemma в полевые исследования, и немедленные преимущества уже на горизонте. Определяя повторяющиеся звуковые шаблоны, кластеры и надежные последовательности, модель может помочь исследователям раскрыть скрытые структуры и потенциальные значения в естественной коммуникации дельфинов — работа, которая ранее требовала огромных человеческих усилий. В перспективе эти шаблоны, в сочетании с синтетическими звуками, созданными исследователями для представления объектов, которые нравятся дельфинам, могут проложить путь к общему словарю и интерактивной коммуникации.

Использование смартфонов Pixel для прослушивания и анализа звуков дельфинов

Помимо анализа естественной коммуникации, WDP также исследует другой путь: потенциальное двустороннее взаимодействие с использованием технологий в океане. Это привело к разработке системы CHAT (Cetacean Hearing Augmentation Telemetry) в сотрудничестве с Технологическим институтом Джорджии. CHAT — это подводный компьютер, предназначенный не для расшифровки сложного естественного языка дельфинов, а для создания более простого, общего словаря.

Идея заключается в том, чтобы связать новые, синтетические свисты (сгенерированные CHAT, отличные от естественных звуков дельфинов) с конкретными объектами, которые интересны дельфинам, такими как саргассум, морская трава или шарфы, используемые исследователями. Демонстрируя систему друг другу, исследователи надеются, что любопытные дельфины научатся имитировать эти свисты, чтобы запросить эти предметы. По мере роста понимания естественных звуков дельфинов их также можно включить в систему.

Для обеспечения двустороннего взаимодействия система CHAT должна:

1. Точно слышать имитацию среди океанского шума.
2. Определять, какой свист был имитирован, в реальном времени.
3. Сообщать исследователю (через наушники с костной проводимостью, работающие под водой), какой объект «запросил» дельфин.
4. Позволять исследователю быстро реагировать, предлагая правильный объект, укрепляя связь.

Google Pixel 6 ранее обеспечивал высокоточный анализ звуков дельфинов в реальном времени. Следующее поколение, ориентированное на Google Pixel 9 (исследования запланированы на лето 2025 года), будет развивать это, интегрируя функции громкоговорителя/микрофона и используя передовые вычислительные возможности телефона для одновременной работы моделей глубокого обучения и алгоритмов соответствия шаблонов.

Слева: Доктор Дениз Херзинг в «Chat Senior, 2012», Справа: аспирант Технологического института Джорджии Чарльз Рэми в «Chat Junior, 2025»

Использование смартфонов Pixel значительно снижает потребность в специализированном оборудовании, повышает удобство обслуживания системы, снижает энергопотребление и уменьшает стоимость и размер устройства — ключевые преимущества для полевых исследований в открытом океане. Тем временем предсказательные способности DolphinGemma могут помочь CHAT предугадывать и идентифицировать потенциальные имитации на более ранних стадиях вокальной последовательности, ускоряя реакции исследователей на дельфинов и делая взаимодействия более плавными и укрепляющими.

Google Pixel 9 внутри новейшего оборудования системы CHAT.

Обмен DolphinGemma с исследовательским сообществом

Понимая важность сотрудничества в научных открытиях, мы планируем представить DolphinGemma как открытую модель этим летом. Хотя она形式的 она обучена на звуках атлантических пятнистых дельфинов, мы считаем, что она может быть полезна для исследователей, изучающих другие виды китообразных, такие как афалины или дельфины-спиннеры. Для вокализаций других видов может потребоваться некоторая настройка, но открытая модель позволяет проводить такие адаптации.

Предоставляя такие инструменты, как DolphinGemma, мы стремимся обеспечить исследователей по всему миру средствами для анализа их собственных акустических данных, ускорения поиска шаблонов и совместного улучшения нашего понимания этих разумных морских млекопитающих.

Путь к пониманию коммуникации дельфинов долог и извилист, но совместные усилия преданных полевых исследований WDP, инженерного мастерства Технологического института Джорджии и технологической мощи Google открывают захватывающие новые возможности. Мы больше не просто слушаем; мы начинаем понимать шаблоны в звуках, создавая основу для будущего, где разрыв между коммуникацией человека и дельфина может немного сократиться.

Вы можете глубже погрузиться в проект Wild Dolphin Project на их сайте.