Релиз NestJS 12.5.0: жесткие лимиты на микросервисные транспорты, стриминг NDJSON и защита от зависших соединенийСтатья · дайджест за 13 ноября
Изометрическая визуализация микросервисной шины NestJS с буферными шлюзами и защитой от переполнения сокетов.
Статья4 раздела≈ 7 мин

Релиз NestJS 12.5.0: жесткие лимиты на микросервисные транспорты, стриминг NDJSON и защита от зависших соединений

Очередное минорное обновление NestJS 12.5.0, которое Камиль Мысливец и контрибьюторы выпустили вместе с бэкпортом NestJS 11.2.10, на беглый взгляд легко принять за рядовой выпуск с текущими исправлениями. В заголовке нет перестроений модулей или новых декораторов, поэтому рука сама тянется поднять версию в package.json. Но когда я открыл список правок сетевых адаптеров, меня зацепила деталь, мимо которой опасно проходить в продакшене: фреймворк радикально пересмотрел политику доверия к трафику во всех встроенных транспортах.

До этого момента шлюзы и микросервисы по умолчанию полагались на добросовестность клиентов и соседних узлов: считалось, что они присылают пакеты разумного объема и вовремя вычитывают ответы из потоков. Почему такая щедрость оставляла бэкенды беззащитными перед падением по нехватке памяти и как новые правила закрывают эти уязвимости из коробки?

Защита WebSockets и multipart от переполнения памяти: почему 100 МБ по умолчанию были ловушкой

Посмотрим на одну настройку в адаптере вебсокетов WsAdapter из @nestjs/platform-ws. Раньше параметр maxPayload, отвечающий за максимальный размер входящего сообщения, по умолчанию составлял 100 МБ. На этапе разработки это казалось удобным: можно передавать по сокету и короткие реплики чата, и тяжелые файлы без лишней конфигурации.

Но в эксплуатации за этой цифрой скрывалась ловушка. Каждое принятое сообщение целиком размещается в оперативной памяти до того, как попадет в твой пайп валидации. Возьмем наш сквозной сценарий — публичный шлюз с сотнями открытых сессий. Если злоумышленник или зациклившийся скрипт откроет полтора десятка соединений и синхронно отправит в каждое фрейм на 100 МБ, процесс попытается выделить полтора гигабайта памяти, сборщик мусора не успеет расчистить кучу, и сервер упадет с ошибкой Out of Memory.

В версии 12.5.0 этот частный пример вырос в общее правило: любой сетевой вход обязан иметь защитный клапан по умолчанию. Дефолтный порог maxPayload в WsAdapter снижен в сто раз — со 100 МБ до 1 МБ (1 048 576 байт). При попытке передать фрейм крупнее мегабайта адаптер сразу закрывает сокет с кодом 1009 (приоритет остается за шлюзом @WebSocketGateway, а 0 отключает лимит).

По принципу обратного давления (backpressure) обновился и IoAdapter из @nestjs/platform-socket.io: параметр maxWaitingMessages ограничивает очередь 10 000 сообщений одного события на клиента (Infinity снимает порог), а ссылка на последнее обработанное сообщение очищается сразу после завершения пайпов и фильтров. В HTTP-адаптерах @nestjs/platform-express и @nestjs/platform-node составные multipart-запросы ограничены 1000 частями (limits.parts), а в @nestjs/platform-fastify опция limits.jsonFieldsSize урезает JSON-поля формы до 1 МиБ. Похожий механизм защиты рантайма мы разбирали в статье про синхронный патч безопасности Node.js и удержание памяти в потоках HTTP/2.

Контроль очередей и буферов в RPC: лимиты TCP, Redis, RabbitMQ и защита сокетов в gRPC

Внутри кластера неконтролируемые очереди между сервисами способны положить систему ничуть не хуже внешней атаки. В документации микросервисов NestJS транспортный слой выступает прозрачной прослойкой, и в 12.5.0 каждый внутренний протокол получил свои предохранители.

В TCP-транспорте добавлен параметр maxConcurrentMessages — не более 1000 параллельных сообщений на соединение (0 снимает порог). Буфер maxBufferSize снижен со 128 Mi до 16 Mi символов в обе стороны, причем изменилась логика его расчета. Раньше проверялся размер всего куска данных, вычитанного из сокета за один вызов чтения, из-за чего пачка мелких пакетов склеивалась в буфере и рвала соединение (баг #18502). Теперь лимит 16 Mi применяется строго к каждому отдельному пакету.

В gRPC решена проблема зависших стримов: если клиент перестал вычитывать поток ответов, параметр maxPendingResponses (по умолчанию 1000) обрывает стрим со статусом RESOURCE_EXHAUSTED, спасая сокеты от утечки. В Redis параметр maxWildcardChannelLength (1024 символа) отсекает длинные имена каналов в wildcard-подписках, а в RabbitMQ опция maxMessageSize (16 МиБ) ограничивает размер декодируемых JSON-пакетов.

Соберем эти настройки в main.ts для нашего шлюза: разрешим пакеты до 5 МБ по WebSocket, откроем внутренний TCP-сервер с квотой в 500 запросов и защитим gRPC-стримы:

import { NestFactory } from '@nestjs/core';
import { Transport, MicroserviceOptions } from '@nestjs/microservices';
import { WsAdapter } from '@nestjs/platform-ws';
import { AppModule } from './app.module';

async function bootstrap() {
  const app = await NestFactory.create(AppModule);
  app.useWebSocketAdapter(new WsAdapter(app, { maxPayload: 5 * 1024 * 1024 }));

  app.connectMicroservice<MicroserviceOptions>({
    transport: Transport.TCP,
    options: {
      host: '0.0.0.0',
      port: 3001,
      maxConcurrentMessages: 500,
      maxBufferSize: 16 * 1024 * 1024,
    },
  });

  app.connectMicroservice<MicroserviceOptions>({
    transport: Transport.GRPC,
    options: {
      package: 'events',
      protoPath: 'events/events.proto',
      url: '0.0.0.0:50051',
      maxPendingResponses: 1000,
    },
  });

  await app.startAllMicroservices();
  await app.listen(3000);
}
bootstrap();

Посмотри, как эта конфигурация работает в рантайме. Передача maxPayload: 5 * 1024 * 1024 в WsAdapter поднимает лимит до 5 МБ для клиентских файлов, но отсекает стомегабайтные блобы кодом 1009. В блоке Transport.TCP мы задаем maxConcurrentMessages: 500 и явно прописываем host: '0.0.0.0', чтобы сервер принимал трафик от соседних контейнеров, а не только с локальной петли. В секции Transport.GRPC лимит maxPendingResponses: 1000 сбрасывает зависших потребителей ошибкой RESOURCE_EXHAUSTED, сохраняя предсказуемый расход памяти.

Построчный стриминг NDJSON и хартбиты в SSE: сериализация на лету и очистка зависших соединений

Следующая задача — безопасно отдать клиенту длинный поток данных по HTTP. Раньше при возврате Observable из контроллера интерцепторы ClassSerializerInterceptor и StandardSchemaSerializerInterceptor не обрабатывали элементы потока по одному, поэтому декораторы вроде @Exclude() не применялись к строкам NDJSON (Newline Delimited JSON). В 12.5.0 оба интерцептора построчно сериализуют каждый объект потока за линейное время, скрывая приватные поля на лету без накопления ответа в памяти.

Для потоков Server-Sent Events (@Sse()) решена проблема клиентов, которые молча отвалились в оффлайне, пока их сокет стоял на паузе. Теперь NestJS каждые 5 секунд пишет в приостановленный сокет комментарий из двоеточия (:). Для протокола SSE это невидимый пинг, зато система при записи в мертвый сокет сразу фиксирует обрыв и останавливает генератор событий. О схожих улучшениях брокеров мы рассказывали в обзоре релиза NestJS 12.4.0 с исправлениями циклов MQTT и валидации. Приложение также падает на старте при некорректном маршруте в forRoutes() или exclude() и при нерабочем гварде, пайпе или интерцепторе, а SyntaxError и URIError внутри app.use() в @nestjs/platform-express и @nestjs/platform-node возвращают статус 500 вместо 400.

Цена строгих дефолтов и аудит перед обновлением: где новые лимиты потребуют ручной настройки

Синхронное обновление @nestjs/core, @nestjs/common, @nestjs/microservices и платформенных пакетов дает защиту из коробки, но за строгие дефолты приходится платить обратной совместимостью:

ТранспортПараметрДефолт 12.5.0БылоПоследствие
WsAdaptermaxPayload1 МБ100 МБЗакрытие сокета с кодом 1009
IoAdaptermaxWaitingMessages10 000Без лимитаОтбрасывание новых событий сверх очереди
TCP-серверhost / maxBufferSizelocalhost / 16 MiВсе / 128 MiНедоступность извне без 0.0.0.0 / лимит пакета
TCP / gRPCmaxConcurrentMessages / maxPendingResponses1000Без лимитаЛимит очереди / сброс RESOURCE_EXHAUSTED
Redis / RMQmaxWildcardChannelLength / maxMessageSize1024 / 16 МиББез лимитаИгнор длинных каналов / отказ декодирования

Еще одна деталь кроется в чтении переменных окружения: вызовы Number(process.env.TCP_LIMIT) при пустой переменной возвращают NaN. Раньше NaN отключал проверку, а теперь в TCP, Transport.KAFKA, WsAdapter, IoAdapter, пайпах и @Sse() любое значение NaN заменяется безопасным дефолтом (чтобы снять лимит загрузки, нужно явно передать Infinity).

Задай себе короткий контрольный вопрос перед слиянием пулл-реквеста с обновлением до NestJS 12.5.0: прописан ли у тебя явный host: '0.0.0.0' во внутренних TCP-сервисах и знаешь ли ты точный верхний предел размера сообщения для каждого открытого порта, или кластер работал лишь потому, что фреймворк молча разрешал тратить всю память? Проверь эти пороги в конфигах заранее — и переход на новую версию сделает бэкенд устойчивым к любым сетевым штормам.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2