Не верь расширению: как научить приложение определять 200 форматов файлов по сигнатурамСтатья · дайджест за 10 ноября
Увеличительное стекло исследователя над шестнадцатеричным дампом первых байтов бинарного файла
Статья4 раздела≈ 8 мин

Не верь расширению: как научить приложение определять 200 форматов файлов по сигнатурам

Во многих сервисах проверка загружаемого файла сводится к взгляду на последние буквы его имени. Кажется очевидным: если документ называется report.pdf, перед нами PDF, а если avatar.png — безобидная картинка. На деле у каждого файла два имени. Первое стоит после точки, и это просто текстовая бирка, которую мог приклеить пользователь, почтовый шлюз или атакующий. Второе имя записано в первых байтах самого файла — и оно почти никогда не обманывает.

Разработчик Sentaik столкнулся с этим, создавая мобильный просмотрщик XanderFiles под Android. Приложению предстояло открывать более 200 форматов — от таблиц до почтовых пакетов winmail.dat, билетов из кошелька, сырых фото RAW и томограмм. Пользователи загружали переименованные архивы, скриншоты без расширений и документы с битыми ярлыками. Как построить быстрый конвейер валидации, который распознаёт подлинный тип файла и отсекает подделки на лету, не вычитывая тяжёлые файлы в память целиком?

Иллюзия расширений: почему проверка имени файла не имеет ничего общего с безопасностью

Когда мобильный клиент отправляет файлы на сервер или в рендерер, самый частый соблазн — вызвать path.extname(filename) или довериться заголовку Content-Type от браузера. Зачем лезть внутрь потока, если клиент уже подписал посылку как image/png?

Беда в том, что браузер формирует Content-Type по метке после точки. Достаточно переименовать скрипт shell.php в invoice.pdf, и клиент отрапортует, что загружает документ. Если бэкенд верит этикетке на слово и кладёт файл в публичную папку или отдаёт парсеру, сервис открывает ворота для удалённого выполнения кода — Remote Code Execution (RCE) — и межсайтового скриптинга (XSS).

В быту вера расширениям вредит не меньше. Человек скачивает из почты договор, который шлюз упаковал в архив, оставив на конце .pdf. Программа пытается разобрать ZIP как страницу PDF и выдаёт ошибку «Файл повреждён», хотя с данными всё в порядке — просто на банке с огурцами написали «Варенье».

Анатомия «магических чисел»: как устроены байтовые сигнатуры популярных форматов

Чтобы программа чтения с порога понимала структуру данных, создатели спецификаций резервируют в начале файла фиксированную последовательность байтов — «магические числа» (magic bytes):

ФорматСигнатура (Hex)Особенности заголовка
PNG89 50 4E 47 0D 0A 1A 0A8 байт (\x89PNG\r\n\x1a\n) с проверкой переносов строк
JPEGFF D8 FF3 стартовых байта маркера начала изображения
GIF47 49 46 384 байта строки GIF8 (GIF87a или GIF89a)
ZIP50 4B 03 044 байта PK\x03\x04 (инициалы Фила Каца)
OLE2D0 CF 11 E0 A1 B1 1A E18 байт контейнера старых файлов Word, Excel и .msg
PDF25 50 44 46 2D5 байт %PDF- (в любом месте первых 1024 байт по ISO 32000)

Казалось бы, собери таблицу из двух сотен масок, прогони цикл — и готово. Я тоже думал, что задача решается справочником. Но автор XanderFiles, написавший 22 тысячи строк JavaScript для 26 просмотрщиков, выяснил: главная ловушка кроется не в самих байтах, а в очереди их проверки.

Маркер %PDF- по стандарту может стоять где угодно в первых 1024 байтах. Если пользователь загружает несжатый архив ZIP, пакет winmail.dat (78 9F 3E 22) или подписанный .pdf.p7m (CMS/PKCS#7) с документом внутри, строка %PDF- вложения окажется прямо в первом килобайте файла. Проверишь PDF раньше контейнеров — сканер примет весь архив с подписью за обычный PDF и молча потеряет остальные вложения.

То же самое с томограммами DICOM: их метка DICM стоит на смещении 128 байт, а в первые 128 байт преамбулы томографы часто кладут заголовок картинки TIFF (II*\x00). Проверишь TIFF раньше смещения 128 — покажешь превьюшку вместо среза КТ. А в фотоисходниках RAW (CR2, NEF, ARW) сами форматы построены на базе TIFF, поэтому их маркеры проверяются строго до общего правила TIFF.

Коварные контейнеры: распознавание вложенных типов в ZIP, RIFF и MP4 без распаковки

Половина привычных форматов — это контейнеры-матрёшки. Заголовок RIFF (52 49 46 46 в байтах 0–3) говорит лишь о том, что перед нами коробка: чтобы отличить картинку WebP от видео AVI, нужно проверить байты 8–11 на строку WEBP (57 45 42 50). А видео MP4, фото HEIC и исходники Canon CR3 живут в контейнере ISO-BMFF с маркером ftyp со смещения 4.

Но главный мастер маскировки — ZIP (50 4B 03 04). Документы .docx, таблицы .xlsx, презентации .pptx, книги .epub, файлы Apple Pages, макеты CorelDRAW (с версии X4) и посадочные талоны Apple Wallet (.pkpass) — это обычные ZIP-архивы. Чтобы отличить посадочный талон, переименованный мессенджером в .zip, распаковывать архив не нужно — достаточно проверить список его записей:

export function detectZipSubtype(entries: string[]): string {
  if (entries.includes('word/document.xml')) return 'application/vnd.openxmlformats-officedocument.wordprocessingml.document';
  if (entries.includes('xl/workbook.xml')) return 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet';
  if (entries.includes('pass.json')) return 'application/vnd.apple.pkpass';
  if (entries.includes('META-INF/container.xml')) return 'application/epub+zip';
  return 'application/zip';
}

Функция detectZipSubtype анализирует массив имён entries из оглавления архива (Central Directory) без чтения гигабайтов данных. Встретив pass.json, валидатор возвращает application/vnd.apple.pkpass, и приложение рисует посадочный талон со штрихкодом. Аналогично определяются файлы Apple iWork по Index/*.iwa и макеты CorelDRAW по content/riffData.cdr.

Архитектура валидатора: буферизация первых 64 байт, дерево условий и защита от полиглотов

Чтобы проверка работала за микросекунды на файле любого размера, валидатор читает из потока только стартовый срез: первых 64 байт хватает для базовых сигнатур и контейнеров, а буфер в 64–1024 байта закрывает форматы со смещением по принципам WHATWG MIME Sniffing Standard. Вот ядро такого сканера в Node.js:

import fs from 'node:fs';

export async function sniffFileHeader(filePath: string): Promise<string> {
  const stream = fs.createReadStream(filePath, { start: 0, end: 1023 });
  const chunks: Buffer[] = [];
  for await (const chunk of stream) chunks.push(Buffer.from(chunk));
  const buf = Buffer.concat(chunks);

  if (buf.length >= 132 && buf.subarray(128, 132).toString('ascii') === 'DICM') return 'application/dicom';
  if (buf.length >= 4 && buf[0] === 0x50 && buf[1] === 0x4B && buf[2] === 0x03 && buf[3] === 0x04) return 'application/zip';
  if (buf.length >= 12 && buf.subarray(0, 4).toString('ascii') === 'RIFF' && buf.subarray(8, 12).toString('ascii') === 'WEBP') return 'image/webp';
  if (buf.length >= 8 && buf.subarray(0, 8).equals(Buffer.from([0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A]))) return 'image/png';
  if (buf.indexOf(Buffer.from('%PDF-')) !== -1) return 'application/pdf';
  return 'application/octet-stream';
}

Вызов fs.createReadStream с границами start: 0, end: 1023 забирает ровно первый килобайт. Сначала проверяется смещение 128 для снимков DICOM, затем в первых 64 байтах перехватываются контейнеры ZIP и RIFF/WEBP, следом — префикс PNG, и лишь в конце ищется %PDF-. Если расширение спорит с содержимым, XanderFiles открывает файл по реальному типу с плашкой: «Файл назван .pdf, но на самом деле это архив — открыт как архив». А для форматов без сигнатур вроде TGA проверяются ненулевые размеры и глубина цвета 8, 15, 16, 24 или 32 бита.

Защита от файлов-полиглотов на бэкенде

Одного чтения первых байтов мало против полиглотов: атакующий может склеить файл с заголовком GIF89a и PHP- или JS-скриптом внутри (маскировку кода в хвосте файлов мы разбирали в статье Анатомия угроз в мире вайбкодинга: почему каждый пятый скилл для ИИ-агентов опасен). На сервере дополняйте сканер перекодированием картинок и заголовком X-Content-Type-Options: nosniff.

Контроль данных на границах — лучшая страховка для продакшена, о чём мы говорили в разборе От вайб-кодинга к продакшену: архитектурные ловушки и безопасность софта, созданного с ИИ. При этом не нужно за один вечер писать парсер всех двухсот форматов. Начни с проверки первых 64 байт для пяти-десяти основных типов твоего сервиса и включи nosniff. Это сразу защитит хранилище от поддельных расширений, а новые ветки в дерево условий ты спокойно добавишь по мере появления задач — как в XanderFiles поддержка билетов Wallet выросла из одного посадочного талона, не открывшегося перед вылетом.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2