Векторный поиск вместо классификации: метод разметки больших таксономий от Саймона Уоллисона и Дага ТернбуллаКратко · дайджест за 15 августа
Кратко≈ 1 мин

Векторный поиск вместо классификации: метод разметки больших таксономий от Саймона Уоллисона и Дага Тернбулла

Категоризация контента через LLM усложняется, когда таксономия проекта содержит тысячи тегов. Передача словаря (например, 1800+ меток в блоге) в промпт перегружает контекст, увеличивает расходы на API и снижает точность разметки.

Саймон Уоллисон и Даг Тернбулл описали паттерн: вместо прямой классификации модель свободно генерирует категории по образцу иерархии, а затем сопоставляет их со словарем через векторный поиск.

Процесс строится на четырех шагах:

  1. Индексация таксономии: для каждого тега вычисляется векторный эмбеддинг и сохраняется в базе (например, в PostgreSQL с расширением pgvector).
  2. Генерация по образцу: модели передают документ и 3–5 примеров формата (например, Мебель / Гостиная / Столики), получая релевантные фразы.
  3. Векторный поиск: для сгенерированных меток строятся эмбеддинги той же моделью, после чего в базе находятся ближайшие реальные теги по косинусному сходству.
  4. Контроль порога: минимальный порог сходства отсекает случайные совпадения и направляет сомнительные случаи на ручную проверку.

Метод снимает лимиты контекстного окна и упрощает авторазметку каталогов и баз знаний любого объема.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3