Kumo: легковесный локальный эмулятор сервисов AWS на Go для быстрых тестов

Разработка микросервисов, завязанных на облачную инфраструктуру Amazon Web Services, неизбежно упирается в проблему локального тестирования. Подключаться к реальному облаку в процессе отладки дорого и медленно: каждый тестовый прогон рискует оставить за собой платные ресурсы, а задержки сети растягивают выполнение тестов. Долгие годы стандартом де-факто оставался LocalStack, однако его тяжеловесность известна каждому DevOps-инженеру: контейнер на Python требует гигабайты оперативной памяти и тратит до сорока секунд только на холодный старт. Открытый проект Kumo предлагает изящную альтернативу — компактный эмулятор AWS, написанный на Go и скомпилированный в один статический бинарник.

Инструмент создавался с прицелом на максимальную скорость и минимальное потребление ресурсов как на ноутбуке разработчика, так и в эфемерных контейнерах CI/CD.

Миллисекунды вместо минут: архитектура Kumo

В отличие от решений на базе виртуализации, Kumo не требует установки Python, сторонних демонов или предварительного скачивания многогигабайтных образов Docker (хотя официальный легковесный контейнер при необходимости также доступен).

Эмулятор стартует за десятки миллисекунд и потребляет менее 30 мегабайт оперативной памяти. Под капотом реализована поддержка 82 ключевых сервисов экосистемы AWS, среди которых:

• Хранилище объектов Amazon S3 (создание бакетов, загрузка и скачивание файлов, presigned-ссылки).
• База данных NoSQL DynamoDB (создание таблиц, операции CRUD, потоки Streams).
• Очереди сообщений SQS и брокер событий SNS.
• Системы безопасности KMS и Secrets Manager.
• Шина событий EventBridge и запуск бессерверных функций Lambda.

Запуск эмулятора предельно прост: достаточно запустить бинарник в терминале или на шаге тестового конвейера:

# Запуск Kumo на стандартном порту 4566 с опциональной директорией для сохранения состояния
export KUMO_DATA_DIR="./.kumo-data"
kumo --port 4566 &

# Проверка доступности локального эмулятора
curl -I http://localhost:4566/_kumo/health

Эмулятор поддерживает концепцию нулевой аутентификации: он принимает любые фиктивные ключи доступа (например, test/test), что избавляет от необходимости генерировать и пробрасывать секреты в тестовых сценариях.

Интеграция со стандартным AWS SDK v2 на Go

Главное преимущество Kumo — стопроцентная совместимость с официальными клиентскими библиотеками AWS. Разработчику не нужно переписывать бизнес-логику или использовать специфические моки: достаточно переопределить базовый адрес эндпоинта на локальный адрес эмулятора.

В официальном SDK aws-sdk-go-v2 это делается указанием параметра BaseEndpoint при конфигурировании клиента:

// s3_test.go: интеграционный тест с локальным эмулятором Kumo
package main

import (
    "context"
    "strings"
    "testing"

    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/config"
    "github.com/aws/aws-sdk-go-v2/credentials"
    "github.com/aws/aws-sdk-go-v2/service/s3"
)

func TestS3UploadWithKumo(t *testing.T) {
    ctx := context.Background()

    // Настройка подключения к Kumo с фиктивными учетными данными
    cfg, err := config.LoadDefaultConfig(ctx,
        config.WithRegion("us-east-1"),
        config.WithCredentialsProvider(credentials.NewStaticCredentialsProvider("test", "test", "")),
    )
    if err != nil {
        t.Fatalf("не удалось инициализировать конфиг AWS: %v", err)
    }

    // Перенаправление клиента S3 на локальный порт Kumo
    client := s3.NewFromConfig(cfg, func(o *s3.Options) {
        o.BaseEndpoint = aws.String("http://localhost:4566")
        o.UsePathStyle = true
    })

    bucket := "test-reports"
    _, err = client.CreateBucket(ctx, &s3.CreateBucketInput{Bucket: aws.String(bucket)})
    if err != nil {
        t.Fatalf("ошибка создания бакета: %v", err)
    }

    // Загрузка тестового объекта
    _, err = client.PutObject(ctx, &s3.PutObjectInput{
        Bucket: aws.String(bucket),
        Key:    aws.String("report.txt"),
        Body:   strings.NewReader("данные сформированы успешно"),
    })
    if err != nil {
        t.Fatalf("ошибка сохранения объекта: %v", err)
    }
}

Границы применения и продакшен-зрелость

Kumo идеально закрывает 95% повседневных сценариев модульного и интеграционного тестирования: базовые операции с очередями, чтение секретов конфигурации, сохранение файлов и быстрые запросы к NoSQL-таблицам.

При этом инженерам стоит учитывать специфику эмуляции: сложные корпоративные механизмы вроде глобальных распределенных таблиц DynamoDB Global Tables или специфических изоляций транзакций TransactWriteItems могут вести себя упрощенно по сравнению с боевым облаком AWS. Тем не менее, для ускорения локальной разработки и срезания минут ожидания в CI-пайплайнах Kumo становится одним из самых привлекательных инструментов в экосистеме Go.