Обрушение линии электропередачи выявило проблему в центре обработки данных ИИ. Вот как её устранить.

На этой неделе в окрестностях Вашингтона, округ Колумбия, произошел сбой в линии электропередачи. В обычных условиях восстановление работы энергосистемы заняло бы считанные секунды, но на этот раз на это ушло более десяти минут, поскольку почти одновременно отключилась нагрузка от центров обработки данных общей мощностью более трёх гигаватт.

Согласно данным Ting Labs — стартапа, управляющего сетью датчиков Интернета вещей (IoT) через бытовые электрические розетки, — инцидент вызвал скачки напряжения по всей сети PJM от Северной Вирджинии до Чикаго.

Хотя это событие не привело к отключению электроэнергии, оно вызвало мерцание света по всему региону. Оно подчеркнуло растущее влияние, которое центры обработки данных могут оказывать на энергосистему — тенденцию, которая, по прогнозам экспертов, станет все более распространенной.

Северная Вирджиния, входящая в зону обслуживания PJM, является местом с самой высокой в мире концентрацией центров обработки данных.

«Это как канарейка в угольной шахте», — сказал Рикардо де Азеведо, технический директор ON.Energy, в интервью TechCrunch. Он добавил, что подобные события, связанные с большими нагрузками, такими как центры обработки данных, «происходят всё чаще и чаще».

Этот инцидент напоминает случай, произошедший два года назад в той же энергосистеме PJM, и может предвещать более масштабные сбои, если центры обработки данных не будут спроектированы так, чтобы более плавно справляться с нарушениями в электроснабжении. PJM Interconnection, крупнейший оператор энергосистемы в США, управляет сетями от Нью-Джерси до Иллинойса и обслуживает 67 миллионов потребителей.

Согласно данным PJM, когда произошел сбой на линии электропередачи, центры обработки данных перешли на резервное питание, в результате чего в течение 30 секунд исчезла нагрузка объемом примерно 3,1 гигаватта. Сначала казалось, что сеть восстановилась, но вскоре после этого отключились дополнительные нагрузки. На пике в сети PJM наблюдался избыток мощности в 3,49 гигаватта. На стабилизацию ситуации ушло ещё 11 минут. Агентство Reuters сообщило, что отключенные центры обработки данных на тот момент обеспечивали около 3 % от общего спроса в сети PJM.

Несколько процентов могут показаться незначительными, но электросеть требует практически идеального баланса между спросом и предложением. Дисбаланс приводит к провалам или скачкам напряжения. Хотя сеть и подключенные к ней устройства способны выдерживать незначительные колебания, более значительные колебания запускают защитные механизмы в сети или на отдельных объектах, что приводит к отключениям.

Когда центры обработки данных в Северной Вирджинии обнаружили колебания напряжения, вызванные неисправностью линии электропередачи, они перешли на резервное питание, сняв свою нагрузку с сети. По мере того как все больше центров обработки данных поступали аналогичным образом, совокупное снижение нагрузки превратило небольшое падение предложения в более значительное падение спроса, что вызвало всплеск предложения и мерцание света.

Большинство центров обработки данных принимают решения за доли секунды, и те, которые отключились на этой неделе, не стали исключением. По словам Али Зайна Банатвала, старшего специалиста по рыночным моделям в организации Independent Electricity System Operator, когда произошло падение напряжения, все они приняли решение об отключении с разницей в считанные секунды.

«Нам нужно найти способ, чтобы эти нагрузки, расположенные близко друг к другу, отключались или подключались последовательно», — сказал он. Более упорядоченный подход позволил бы операторам энергосистемы заранее разработать более надежные процедуры.

В качестве альтернативы центры обработки данных можно было бы проектировать таким образом, чтобы они могли компенсировать сбои, а не отключаться. Один из стартапов, ON.Energy, разрабатывает продукт, который поможет центрам обработки данных и энергосистеме пережить такие события, как произошедшее на этой неделе.

Компания создала систему бесперебойного питания для всего комплекса центра обработки данных, охватывающую серверы, чиллеры и другое оборудование. По сути, она помещает центр обработки данных за банком аккумуляторов, подключенным к современному оборудованию преобразования энергии. Электросеть воспринимает только одну единую, стабильную и «послушную» нагрузку, что позволяет избежать пиков и провалов, вызванных отдельными компонентами. Система ON.Energy позволяет центрам обработки данных регулировать вычислительную нагрузку — в том числе при обучении ИИ — в большую или меньшую сторону, не создавая помех для электросети.

Что ещё важнее, она позволяет центрам обработки данных компенсировать колебания напряжения в электросети. Вместо отключения система ON.Energy может использовать избыточную энергию для зарядки аккумуляторов, а при падении напряжения — питать серверы. Она также способна в течение миллисекунд адаптироваться к изменениям в электросети, предотвращая провалы или скачки напряжения, которые стали причиной проблемы, возникшей на этой неделе у PJM.

Де Азеведо сообщил, что в настоящее время ON.Energy устанавливает свои системы общей мощностью 3 гигаватта на территории четырех комплексов центров обработки данных.

Операторы энергосистем также обратили внимание на эту проблему.

Например, де Азеведо отметил, что ERCOT будет требовать от крупных потребителей, таких как центры обработки данных, «пережидать» перебои в подаче электроэнергии.

Время на исходе. Массовое отключение на этой неделе было в два раза масштабнее аналогичного события 2024 года, когда одновременно отключились 60 центров обработки данных, что привело к удалению 1,5 гигаватта из энергосистемы. По данным Synapse Energy Economics, тогда на долю центров обработки данных приходилось около 6 % нагрузки PJM. Ожидается, что к 2040 году эта доля достигнет 24 %. Если проблема не будет решена в ближайшее время, ситуация может значительно ухудшиться.