Google AI aide à décoder la communication des dauphins avec Dolphingemma

Depuis des décennies, les scientifiques sont fascinés par les clics, sifflements et impulsions soudaines des dauphins, essayant de percer le code de leur communication complexe. Imaginez si nous pouvions non seulement écouter ces conversations marines, mais aussi déchiffrer leurs schémas suffisamment bien pour élaborer nos propres réponses semblables à celles des dauphins. Ce rêve se rapproche de la réalité, et à l'occasion de la Journée nationale des dauphins, Google, en partenariat avec des chercheurs de Georgia Tech et le travail de terrain du Wild Dolphin Project (WDP), est ravi de partager des mises à jour passionnantes sur DolphinGemma. Ce modèle d'IA révolutionnaire est entraîné pour saisir les nuances des vocalisations des dauphins et même générer de nouvelles séquences sonores, repoussant les limites de l'IA et notre potentiel pour établir un lien avec les habitants de l'océan.

Des décennies de recherche sur la société des dauphins

Comprendre une espèce n'est pas une promenade de santé ; cela nécessite une plongée profonde dans leur univers. C'est là qu'intervient le WDP. Depuis 1985, ils mènent le plus long projet de recherche sous-marine sur les dauphins, se concentrant sur une communauté de dauphins tachetés de l'Atlantique (Stenella frontalis) aux Bahamas, les étudiant à travers plusieurs générations. Leur approche « Dans leur monde, selon leurs termes » signifie qu'ils collectent une mine de données sans perturber les dauphins. Cela inclut des décennies de vidéos et d'audios sous-marins, tous soigneusement liés aux identités individuelles des dauphins, à leurs histoires de vie et à leurs comportements. C'est comme tenir un journal détaillé de la vie des dauphins.

Un groupe de dauphins tachetés de l'Atlantique, Stenella frontalis

L'objectif principal du WDP est d'observer et d'analyser les communications et interactions sociales naturelles des dauphins. En travaillant sous l'eau, les chercheurs peuvent directement relier les sons à des comportements spécifiques d'une manière que les observations en surface ne permettent pas. Ils ont passé des années à corréler différents types de sons avec des contextes comportementaux. Par exemple :

• Les sifflements caractéristiques, qui agissent comme des noms uniques, aident les mères et les petits à se retrouver.
• Les « couinements » d'impulsions soudaines accompagnent souvent les disputes entre dauphins.
• Les « bourdonnements » de clics sont couramment entendus pendant la cour ou lors de la chasse aux requins.

Connaître les dauphins individuels impliqués est essentiel pour une interprétation précise. L'objectif ultime de cette observation à long terme est de décoder la structure et les significations potentielles au sein de ces séquences sonores naturelles, en recherchant des schémas et des règles qui pourraient suggérer une forme de langage. Cette analyse riche de la communication naturelle est la colonne vertébrale de la recherche du WDP et fournit un contexte crucial pour l'analyse par IA.

Gauche : Une mère dauphin tacheté observe son petit pendant qu'il se nourrit. Elle utilisera son sifflement caractéristique unique pour le rappeler lorsqu'il aura fini. Droite : Un spectrogramme montrant le sifflement.

Présentation de DolphinGemma

Analyser la communication naturelle et complexe des dauphins n'est pas une mince affaire, et l'ensemble de données étiquetées et extensif du WDP offre une opportunité en or pour l'innovation en IA. Voici DolphinGemma, une création de Google qui exploite des technologies audio spécifiques. Le tokenizer SoundStream capture efficacement les sons des dauphins, qui sont ensuite traités par un modèle conçu pour des séquences complexes. Ce modèle d'environ 400 millions de paramètres est juste de la bonne taille pour fonctionner sur les téléphones Pixel utilisés par le WDP sur le terrain.

Gauche : Sifflements et impulsions soudaines générés lors des premiers tests de DolphinGemma.

DolphinGemma s'inspire de Gemma, la suite de modèles ouverts légers et de pointe de Google, qui partagent la même recherche et technologie que les modèles Gemini. Entraîné sur la base de données acoustique du WDP des dauphins tachetés de l'Atlantique sauvages, DolphinGemma fonctionne comme un modèle audio-entrée, audio-sortie. Il traite les séquences de sons naturels des dauphins pour repérer les schémas, la structure, et finalement prédire les sons probables suivants dans une séquence, de manière similaire à la façon dont les modèles de langage humain prédisent le mot suivant.

Cette saison, le WDP déploie DolphinGemma sur le terrain, avec des avantages immédiats à l'horizon. En repérant les schémas sonores récurrents, les clusters et les séquences fiables, le modèle peut aider les chercheurs à découvrir des structures cachées et des significations potentielles au sein de la communication naturelle des dauphins — un travail qui demandait auparavant un effort humain considérable. À terme, ces schémas, combinés à des sons synthétiques créés par les chercheurs pour représenter des objets appréciés par les dauphins, pourraient ouvrir la voie à un vocabulaire partagé et une communication interactive.

Utilisation des téléphones Pixel pour écouter et analyser les sons des dauphins

Parallèlement à l'analyse de la communication naturelle, le WDP explore également une autre voie : une interaction bidirectionnelle potentielle à l'aide de la technologie dans l'océan. Cela a conduit au développement du système CHAT (Cetacean Hearing Augmentation Telemetry), en collaboration avec l'Institut de Technologie de Géorgie. CHAT est un ordinateur sous-marin conçu non pas pour décoder le langage naturel complexe des dauphins, mais pour établir un vocabulaire partagé plus simple.

L'idée est de lier des sifflements synthétiques nouveaux (générés par CHAT, distincts des sons naturels des dauphins) à des objets spécifiques qui intéressent les dauphins, comme le sargassum, l'herbe marine ou les foulards utilisés par les chercheurs. En démontrant le système les uns aux autres, les chercheurs espèrent que les dauphins curieux apprendront à imiter ces sifflements pour demander ces objets. À mesure que la compréhension des sons naturels des dauphins augmente, ceux-ci peuvent également être intégrés dans le système.

Pour permettre une interaction bidirectionnelle, le système CHAT doit :

1. Entendre l'imitation avec précision au milieu du bruit océanique.
2. Identifier quel sifflement a été imité en temps réel.
3. Informer le chercheur (via des écouteurs à conduction osseuse qui fonctionnent sous l'eau) quel objet le dauphin a « demandé ».
4. Permettre au chercheur de répondre rapidement en offrant l'objet correct, renforçant ainsi la connexion.

Un Google Pixel 6 gérait auparavant l'analyse haute fidélité des sons des dauphins en temps réel. La prochaine génération, axée sur un Google Pixel 9 (recherche prévue pour l'été 2025), s'appuiera sur cela en intégrant des fonctions de haut-parleur/microphone et en utilisant le traitement avancé du téléphone pour exécuter simultanément des modèles d'apprentissage profond et des algorithmes de correspondance de modèles.

Gauche : Dr. Denise Herzing portant « Chat Senior, 2012 », Droite : Charles Ramey, doctorant à Georgia Tech, portant « Chat Junior, 2025 »

L'utilisation de smartphones Pixel réduit considérablement le besoin de matériel personnalisé, améliore la maintenabilité du système, réduit la consommation d'énergie et diminue le coût et la taille de l'appareil — des avantages clés pour la recherche sur le terrain en haute mer. Pendant ce temps, les capacités prédictives de DolphinGemma peuvent aider CHAT à anticiper et identifier les imitations potentielles plus tôt dans la séquence de vocalisation, accélérant les réponses des chercheurs aux dauphins et rendant les interactions plus fluides et plus renforçantes.

Un Google Pixel 9 à l'intérieur du dernier matériel du système CHAT.

Partage de DolphinGemma avec la communauté scientifique

Conscient de l'importance de la collaboration dans la découverte scientifique, nous sommes prêts à partager DolphinGemma comme un modèle ouvert cet été. Bien qu'entraîné sur les sons des dauphins tachetés de l'Atlantique, nous pensons qu'il pourrait être utile pour les chercheurs étudiant d'autres espèces de cétacés, comme les grands dauphins ou les dauphins à long bec. Un certain réglage fin pourrait être nécessaire pour les vocalisations de différentes espèces, mais le modèle ouvert permet ce type d'adaptation.

En mettant des outils comme DolphinGemma à disposition, nous visons à équiper les chercheurs du monde entier avec les moyens d'analyser leurs propres ensembles de données acoustiques, d'accélérer la recherche de schémas et d'améliorer collectivement notre compréhension de ces mammifères marins intelligents.

Le voyage vers la compréhension de la communication des dauphins est long et sinueux, mais les efforts combinés de la recherche de terrain dédiée du WDP, de la prouesse technique de Georgia Tech et de la puissance technologique de Google ouvrent de nouvelles possibilités excitantes. Nous ne faisons plus qu'écouter ; nous commençons à comprendre les schémas au sein des sons, préparant le terrain pour un avenir où l'écart entre la communication humaine et celle des dauphins pourrait se réduire un peu plus.

Vous pouvez en apprendre davantage sur le Wild Dolphin Project sur leur site web.