Сетевой коммутатор и кабели в ИИ дата-центре нового поколения

Смерть TCP в эпоху ИИ: что не так с дата-центрами нового поколения

TL;DR: • Использовать классический tcp в эпоху ии — значит сознательно обрекать дорогостоящие кластеры из тысяч GPU на постоянные простои и сжигание энергии в холостую. • Каждые несколько лет в индустрии раздаются голоса о том, что стек протоколов TCP/IP морально устарел.

Архитектура современных дата-центров трещит по швам. Использовать классический tcp в эпоху ии — значит сознательно обрекать дорогостоящие кластеры из тысяч GPU на постоянные простои и сжигание энергии в холостую.

Каждые несколько лет в индустрии раздаются голоса о том, что стек протоколов TCP/IP морально устарел. Однако до сих пор все эти разговоры заканчивались одинаково: TCP продолжал крутить колеса глобальной сети, а альтернативы оставались в узких нишевых сегментах.

Но в 2026 году ситуация изменилась фундаментально. Бум генеративного искусственного интеллекта, терабайтные веса больших языковых моделей (LLM) и распределенные вычисления столкнулись с непреодолимым барьером. Профессор Стэнфордского университета буквально «бьет в барабан», призывая сетевую индустрию полностью отказаться от TCP внутри дата-центров, обслуживающих ИИ. По его мнению, сохранение старого протокола — это сознательное торможение технологического прогресса.

Почему классический TCP стал «бутылочным горлышком» для нейросетей, какую альтернативу предлагают ученые и почему ведущие сетевые архитекторы мира разделились на два непримиримых лагеря — разбираемся в этом детальном разборе для Webindex.

1. Наследие 1970-х: почему TCP идеален для веба, но вреден для ИИ

Протокол TCP (Transmission Control Protocol) создавался в эпоху, когда компьютеры были размером с комнату, а каналы связи — ненадежными, медленными и подверженными постоянным потерям пакетов. Главная гениальность TCP заключалась в гарантии доставки: если пакет потерялся, протокол затормозит передачу, запросит его заново, дождется и соберет данные в правильном порядке.

Для классического интернета (отправка email, загрузка веб-страниц, стриминг видео) это идеальная модель. Если при просмотре сериала у вас на долю секунды упадет скорость связи, TCP мягко скорректирует окно передачи, и вы даже ничего не заметите.

Но архитектура распределенного обучения ИИ работает принципиально иначе:

  • Массивный параллелизм (All-Reduce): Обучение современной LLM — это не передача файла от сервера А к серверу Б. Это тысячи GPU (например, кластеры на чипах NVIDIA Blackwell), которые одновременно обсчитывают миллиарды параметров. Архитектура вычислений устроена так, что все процессоры должны синхронизировать свои веса на каждом шаге обучения (операция All-Reduce).
  • Эффект «слабого звена»: Если 999 графических процессоров завершили свою работу за 1 миллисекунду, а один-единственный застрял из-за сетевой задержки (jitter) или потери пакета TCP, весь кластер из тысяч GPU простаивает, ожидая этот узел. Миллиардная инфраструктура в этот момент буквально сжигает электричество вхолостую.

2. Анатомия кризиса: три главные проблемы TCP в ИИ-кластерах

Стенфордские исследователи выделяют три фундаментальные проблемы, которые делают TCP непригодным для современных AI-data-центров:

А. Избыточная нагрузка на CPU (Host Overhead)

TCP — это «тяжелый» протокол, который обрабатывается ядром операционной системы на центральном процессоре (CPU). При скоростях современных дата-центров (400 Гбит/с и 800 Гбит/с на один порт) центральный процессор тратит почти 100% своей мощности исключительно на то, чтобы перемалывать сетевой стек TCP: разбирать заголовки пакетов, управлять очередями и копировать данные из буфера сетевой карты в память приложения. На полезные вычисления у CPU просто не остается ресурсов.

Б. Проблема Incast (Сетевой затор)

Когда сотни серверов одновременно отправляют ответы одному управляющему узлу (что постоянно происходит при агрегации градиентов ИИ), буферы сетевых коммутаторов мгновенно переполняются. В TCP это приводит к потере пакетов. Как только пакет теряется, включается механизм TCP Retransmit Тайм-аут. Для ИИ-вычислений задержка в несколько миллисекунд, пока TCP переотправляет пакет — это вечность.

В. Механизмы контроля перегрузок (Congestion Control)

Алгоритмы TCP (такие как BBR или Cubic) создавались для глобальных сетей (WAN). Они намеренно снижают скорость передачи в два раза при малейшем намеке на затор в сети, а затем медленно и аккуратно «щупают» канал, пытаясь поднять ее обратно. Внутри дата-центра, где длина кабеля между стойками составляет несколько метров, а задержки должны быть субмикросекундными, такое «осторожное» поведение TCP парализует пропускную способность.

3. Что предлагают взамен? Эра RDMA и новые кастомные протоколы

Стэнфордский профессор и сторонники радикальных реформ предлагают не просто пропатчить TCP, а «вырезать его хирургическим путем» из инфраструктуры ИИ. Основной вектор развития — переход на технологии, работающие в обход операционной системы и процессора.

Рост популярности RoCE (RDMA over Converged Ethernet)

Вместо TCP индустрия всё чаще смотрит на RDMA (Remote Direct Memory Access). Эта технология позволяет одной видеокарте или серверу писать данные напрямую в память другого сервера, вообще не привлекая к этому процессу CPU и ядро ОС.

На текущий момент есть две реализации:

  1. InfiniBand: Родной для NVIDIA сетевой стандарт. Он невероятно быстрый, работает без потерь (lossless), но стоит космических денег и требует полной замены сетевого оборудования (коммутаторов, кабелей).
  2. RoCE v2: Попытка запустить RDMA поверх обычного, дешевого Ethernet. Именно здесь сейчас разворачивается главная технологическая битва.

Стэнфордский манифест: Протоколы на базе аппаратного расписания

Новый протокол, за который ратуют ученые из Стэнфорда, идет еще дальше. Вместо того чтобы полагаться на реактивный контроль перегрузок (когда мы снижаем скорость после того, как сеть забилась), новый стандарт предлагает аппаратное планирование пакетов (Scheduled Fabric).

Коммутаторы дата-центра сами жестко распределяют временные слоты для каждого сервера: кто, в какую микросекунду и какой объем данных имеет право передать. Сеть становится полностью предсказуемой, детерминированной и работает с абсолютно нулевой потерей пакетов на скоростях 1.6 Тбит/с и выше.

4. Скепсис сетевых архитекторов: почему не все готовы «хоронить» TCP

Несмотря на красивую теорию, лагерь практиков и традиционных сетевых инженеров встретил стэнфордский барабанный бой со скепсисом. Их аргументы прагматичны:

  • Проблема масштабирования и vendor-lock: InfiniBand и кастомные Scheduled-протоколы намертво привязывают дата-центр к конкретному поставщику чипов (в основном к NVIDIA). Если индустрия откажется от открытого Ethernet/TCP стека, это убьет конкуренцию.
  • Ethernet умеет эволюционировать: Консорциум Ultra Ethernet Consortium (UEC), куда входят такие гиганты, как AMD, Google, Meta, Microsoft и Cisco, прямо сейчас разрабатывает новый транспортный протокол на замену TCP, но в рамках экосистемы Ethernet. Они планируют взять лучшее от RDMA, убрать недостатки TCP, но сохранить обратную совместимость с существующей сетевой инфраструктурой стоимостью в сотни миллиардов долларов.
  • Сложность отладки: TCP изучен вдоль и поперек. Инженеры знают, как его мониторить, как находить баги и как защищать. Новые протоколы без контроля состояния (stateless) или с жестким аппаратным расписанием превращают отладку упавшего кластера ИИ в кошмар для DevOps-команды.

Выводы для будущего веб-разработки

Мы стоим на пороге великого раскола инфраструктуры. Интернет окончательно разделится на две независимые технологические ветки:

  1. Внешний интернет (Front-End Network): Здесь TCP/IP и HTTP/3 останутся королями еще на десятилетия. Для доставки контента конечным пользователям их надежность и гибкость незаменимы.
  2. Внутренний ИИ-интернет (Back-End AI Fabric): Внутри кластеров обучения и инференса LLM классический TCP мертв. Будущее за RoCE v2, спецификациями Ultra Ethernet Consortium и кастомными кремниевыми протоколами со сквозным планированием трафика.

Для разработчиков ИИ-сервисов и RAG-систем это означает одно: архитектура кода должна учитывать, что физическое расположение моделей и скорость межсерверного соединения становятся главным фактором оптимизации производительности.

Почему классический TCP перестал устраивать разработчиков ИИ?

TCP создавался для ненадежных сетей и гарантирует доставку пакетов путем их переотправки при потере. В ИИ-кластерах, где тысячи GPU работают синхронно, задержка даже одного пакета на одном сервере полностью останавливает вычисления на всем кластере.

Что такое проблема «Incast» в ИИ-сетях?

Это ситуация, когда сотни серверов одновременно отправляют данные (например, градиенты нейросети) на один управляющий узел. Буферы коммутаторов мгновенно переполняются, TCP начинает терять пакеты и резко снижает скорость передачи, парализуя сеть.

Как протокол TCP нагружает центральный процессор (CPU)?

TCP обрабатывается на уровне ядра операционной системы. При скоростях 400–800 Гбит/с процессор тратит до 100% своей мощности только на разбор сетевых заголовков и копирование данных, не оставляя ресурсов на другие задачи.

Какая альтернатива TCP существует прямо сейчас?

Главная альтернатива — технология RDMA (Remote Direct Memory Access), реализованная в стандартах InfiniBand и RoCE v2. Она позволяет серверам обмениваться данными напрямую через память, минуя CPU и операционную систему.

Что предлагает консорциум Ultra Ethernet (UEC)?

UEC (куда входят AMD, Google, Meta, Microsoft) разрабатывает новый открытый транспортный протокол, который заменит TCP внутри дата-центров, но сохранит совместимость с физической инфраструктурой Ethernet, чтобы избежать монополии NVIDIA.

Значит ли это, что TCP полностью исчезнет из интернета?

Нет. Внешний интернет (клиент-серверное взаимодействие, загрузка сайтов, стриминг) продолжит работать на TCP/IP и HTTP/3. Замена TCP происходит исключительно внутри бэкенд-инфраструктуры и дата-центров для обучения LLM.

Как эта технологическая революция повлияет на обычных веб-разработчиков?

Разработчикам ИИ-сервисов и RAG-систем придется проектировать архитектуру приложений с учетом физического расположения моделей и оптимизировать код под микросекундные задержки сетевой инфраструктуры нового поколения

Прокрутить вверх