Агенты искусственного интеллекта могут общаться, но лишь немногие из них заслуживают доверия

Потребность в агентах искусственного интеллекта в здравоохранении как никогда актуальна. Во всем секторе перегруженные команды сталкиваются с непомерным объемом трудоемких задач, которые задерживают обслуживание пациентов. Клиницисты напряжены до предела, колл-центры плательщиков переполнены запросами, а пациенты вынуждены ждать ответов на срочные вопросы.

Агенты искусственного интеллекта предлагают решение проблемы, устраняя критические пробелы, расширяя охват и доступность клинического и административного персонала и снижая уровень усталости как медицинских работников, так и пациентов. Но чтобы реализовать этот потенциал, мы должны сначала заложить прочный фундамент доверия к агентам ИИ. Доверие не может быть создано только за счет дружелюбного тона или разговорного обаяния. Оно является результатом целенаправленного проектирования.

Несмотря на растущий интерес к ИИ-агентам и заголовки, обещающие мощь агентного ИИ, многие руководители здравоохранения, отвечающие за благополучие пациентов и общества, по-прежнему с осторожностью относятся к его повсеместному внедрению. Стартапы продвигают возможности, которые варьируются от автоматизации простых задач, таких как запись на прием к врачу, до общения с пациентами и клинической поддержки. Однако лишь немногие из них доказали, что такое взаимодействие действительно безопасно.

Более того, многие так и не смогут этого сделать.

Любой может создать голосового агента, используя большую языковую модель (LLM), придать ему сопереживающий тон и написать сценарий разговора, который будет выглядеть убедительно. Подобные платформы существуют в каждой отрасли, каждая из которых продвигает своих уникальных агентов. Но хотя эти агенты могут выглядеть и звучать по-разному, их поведение поразительно схоже - они способны вызывать галлюцинации, не могут проверить существенные факты и не имеют механизмов, обеспечивающих подотчетность.

Такой подход, который зачастую представляет собой не более чем тонкий слой вокруг фундаментальной модели LLM, может быть адекватным в розничной торговле или гостиничном бизнесе, но в здравоохранении он обречен на провал. Основополагающие модели мощны, но по своей сути они являются универсальными; они не обучались клиническим рекомендациям, политике плательщиков или нормативным требованиям. Даже самые внятные агенты, построенные на этих основах, могут уклоняться в спекулятивные ответы, задавать вопросы, на которые не должны отвечать, придумывать ответы или пропускать сигналы о необходимости привлечения человека-оператора.

Последствия этого ощутимы - пациенты могут запутаться, лечение может быть нарушено, а за этим часто следуют дорогостоящие ручные исправления. Это не проблема машинного интеллекта. Это проблема отсутствия инфраструктуры.

Чтобы безопасно, надежно и эффективно работать в сфере здравоохранения, агенты ИИ не могут быть просто автоматическими голосами на вызовах. Они должны поддерживаться системами, разработанными для контроля, понимания контекста и подотчетности. Основываясь на моем опыте создания таких систем, вот что из этого следует.

Контроль реакции делает галлюцинации практически невозможными

ИИ-агенты в здравоохранении должны не просто генерировать правдоподобные ответы. Они должны давать точные ответы каждый раз. Для этого требуется жестко контролируемое "пространство действий" - система, обеспечивающая естественный диалог и гарантирующая, что все ответы будут соответствовать заранее утвержденной логике.

Благодаря встроенным параметрам контроля ответов агенты могут опираться только на авторизованные протоколы, предопределенные процедуры и нормативные стандарты. Творческие способности модели направлены на управление взаимодействием, а не на придумывание фактов. Именно так медицинские организации могут устранить риск галлюцинаций - не с помощью ограниченных пилотных проектов или фокус-групп, а путем устранения риска с помощью фундаментального проектирования.

Специализированные графы знаний обеспечивают доверительное взаимодействие

Каждый разговор в сфере здравоохранения глубоко индивидуален. Возьмем двух людей с диабетом 2-го типа, живущих в одном районе и имеющих схожие факторы риска. Их право на получение определенного лекарства может отличаться на основании истории болезни, протоколов лечения, страховых планов и правил формуляра.

Агентам ИИ не только нужен доступ к такому уровню контекста, они должны уметь использовать его для рассуждений в режиме реального времени. Специализированный граф знаний обеспечивает именно это. Он организует информацию из множества надежных источников в структурированный формат, позволяя агентам проверять вводимые данные и предлагать точные, персонализированные ответы. Без этого слоя агенты могут казаться осведомленными, но они просто выполняют жесткие рабочие процессы и делают обоснованные предположения.

Системы комплексной проверки систематически оценивают точность

Даже когда пациент завершает разговор удовлетворенным, задача агента ИИ еще не закончена. Медицинским работникам необходимо подтверждение того, что агент предоставил правильную информацию, понял суть разговора и правильно задокументировал взаимодействие. Именно здесь важную роль играют автоматизированные системы постобработки.

Надежная система проверки должна анализировать каждый разговор с тщательностью человека, имеющего неограниченное время. Она должна проверять точность ответов, обеспечивать правильный сбор данных и определять необходимость последующих действий. Если обнаружена проблема, агент должен переключиться на человека. Если все совпадает, задачу можно закрывать с полной уверенностью.

Помимо этих трех столпов доверия, каждая инфраструктура агентского ИИ должна включать в себя надежную систему безопасности и соответствия нормативным требованиям, которая защищает данные пациентов и обеспечивает соответствие нормативным требованиям. Это означает соблюдение таких стандартов, как SOC 2 и HIPAA, а также встроенные процессы проверки на предвзятость, редактирования защищенной медицинской информации и хранения данных.

Эти меры безопасности - не просто галочки. Они составляют основу надежной системы, способной управлять каждым взаимодействием в соответствии со стандартами, которых ожидают пациенты и поставщики услуг.

Здравоохранению не нужно больше шумихи об ИИ. Ему нужна надежная инфраструктура ИИ. Для агентного ИИ доверие не просто зарабатывается - оно создается с нуля.