Облачные ассистенты для встреч вроде Otter.ai, Fireflies или встроенного Zoom AI успели стать привычным рабочим инструментом: они приходят ботом в звонок, записывают разговор, делают стенограмму и присылают краткое саммари. Но если твоя работа хоть как-то связана с коммерческой тайной, обсуждением закрытого исходного кода, медицинской информацией или юридическими спорами, служба безопасности компании мгновенно перекроет кислород. И будет абсолютно права: стримить живой микрофонный поток с конфиденциального митинга на чужие облачные серверы — это катастрофический риск утечки и прямое нарушение регуляторных стандартов (GDPR, HIPAA).
Специальное подразделение Google AI Edge выкатило экспериментальное приложение Foresight для macOS, решающее эту дилемму элегантно и бескомпромиссно: это полноценный ассистент для встреч, который работает на 100% локально, офлайн и прямо на твоем Mac.
Тандем EmbeddingGemma 2 и Gemma: как 740 млн параметров связывают голос и текст
Сердцем Foresight выступает архитектурный тандем двух открытых легковесных моделей Google:
- EmbeddingGemma 2: ультракомпактная мультимодальная модель эмбеддингов весом всего 740 миллионов параметров. Она проецирует фрагменты распознанной речи, текстовые пометки и файлы в единое 768-мерное векторное пространство.
- Gemma 2 (варианты на 2B и 9B параметров): компактная генеративная модель, отвечающая за смысловую сборку, выделение задач и формирование связных саммари.
Потрясающая фича Foresight — работа с быстрыми черновыми заметками (Shorthand Notes). Представь: идет напряженный полуторачасовой звонок. Тебе некогда строчить подробные предложения, ты просто вбиваешь в окно приложения три слова: «Алексей: перенос релиза базы».
Foresight сопоставляет эту краткую фразу с текущим буфером аудиозаписи в оперативной памяти, находит точный фрагмент обсуждения и разворачивает твою трехсловную пометку в исчерпывающий абзац протокола с указанием контекста, причин переноса и ответственных лиц.
Аппаратная магия Apple Neural Engine: нулевая нагрузка на CPU и бесконечная батарея
Главная инженерная победа Google AI Edge SDK — глубокая оптимизация под кремний Apple Silicon (чипы серии M1–M4). Модели выполняются не на основном процессоре и даже не на видеокарте, а на тензорных ядрах Apple Neural Engine (ANE) через интерфейс Metal Performance Shaders (MPS).
Что это дает тебе на практике?
- Нулевой импакт на производительность: ты можешь компилировать тяжелый проект в Xcode или рендерить видео, пока Foresight в реальном времени пишет протокол встречи — ноутбук даже не нагреется.
- Минимальное энергопотребление: аппаратный ускоритель ANE настолько энергоэффективен, что многочасовое конспектирование практически не сказывается на заряде аккумулятора MacBook.
Ниже показан пример кода локального извлечения векторов через Google AI Edge SDK:
import numpy as np
from google_ai_edge import tflite_pipeline
class LocalEdgeRetriever:
def __init__(self, model_path="models/embedding_gemma_2_740m_fp16.tflite"):
self.interpreter = tflite_pipeline.Interpreter(
model_path=model_path,
experimental_delegates=[tflite_pipeline.load_delegate("libmetal_delegate.dylib")]
)
self.interpreter.allocate_tensors()
self.input_details = self.interpreter.get_input_details()
self.output_details = self.interpreter.get_output_details()
def get_embedding(self, text_chunk: str) -> np.ndarray:
input_data = self.preprocess(text_chunk)
self.interpreter.set_tensor(self.input_details[0]['index'], input_data)
self.interpreter.invoke()
raw_vec = self.interpreter.get_tensor(self.output_details[0]['index'])
return raw_vec / np.linalg.norm(raw_vec)
# Проверка локального вектора размерности 768
retriever = LocalEdgeRetriever()
vector = retriever.get_embedding("Сроки миграции платежного шлюза")
print(f"Размерность локального эмбеддинга: {vector.shape}")
А для сборки и развертывания окружения на macOS достаточно пары команд:
# Установка зависимостей Google AI Edge и запуск фонового демона Foresight
pip install google-ai-edge-torch && ./foresight-daemon --device ane --port 8989
Локальный поиск по архивам без единого байта в сеть
Помимо протоколирования текущего звонка, Foresight превращается в твой персональный локальный поисковик. Ты можешь спросить: «О чем мы спорили с дизайнерами три недели назад по поводу онбординга?», и модель за долю секунды найдет нужный фрагмент в локальной базе и назовет точную минуту аудиозаписи. И все это — с абсолютной гарантией приватности.