Категоризация контента через LLM усложняется, когда таксономия проекта содержит тысячи тегов. Передача словаря (например, 1800+ меток в блоге) в промпт перегружает контекст, увеличивает расходы на API и снижает точность разметки.
Саймон Уоллисон и Даг Тернбулл описали паттерн: вместо прямой классификации модель свободно генерирует категории по образцу иерархии, а затем сопоставляет их со словарем через векторный поиск.
Процесс строится на четырех шагах:
- Индексация таксономии: для каждого тега вычисляется векторный эмбеддинг и сохраняется в базе (например, в PostgreSQL с расширением
pgvector). - Генерация по образцу: модели передают документ и 3–5 примеров формата (например,
Мебель / Гостиная / Столики), получая релевантные фразы. - Векторный поиск: для сгенерированных меток строятся эмбеддинги той же моделью, после чего в базе находятся ближайшие реальные теги по косинусному сходству.
- Контроль порога: минимальный порог сходства отсекает случайные совпадения и направляет сомнительные случаи на ручную проверку.
Метод снимает лимиты контекстного окна и упрощает авторазметку каталогов и баз знаний любого объема.