Как собрать свой агрегатор ссылок на AT Protocol: разбор архитектуры от Йоханны ЛарссонЗаметка · дайджест за 19 ноября
Как собрать свой агрегатор ссылок на AT Protocol: разбор архитектуры от Йоханны Ларссон
Заметка3 раздела≈ 4 мин

Как собрать свой агрегатор ссылок на AT Protocol: разбор архитектуры от Йоханны Ларссон

В октябре 2026 года Йоханна Ларссон выкатила разбор агрегатора ссылок shelf.cafe, который попал в Frontend Focus #767. Снаружи — привычный клон Hacker News: 7 000+ ссылок, SSR на Elixir (руками, без ИИ-агентов), главная на ~170 КБ без кэша и ~250 мс на загрузку. Но есть фокус: если стереть базу shelf.cafe, сайт пересоберётся из сети, и ни одна ссылка не пропадёт.

Зачем отдавать базу данных пользователям

В обычном CRUD-сайте всё жёстко: посты и голоса лежат в твоей PostgreSQL, и закрытие проекта стирает данные. В AT Protocol (протоколе Bluesky) роли разделили на три слоя.

Хранилищем правды выступает PDS (Personal Data Server) — личный сервер данных пользователя. Отправляешь ссылку — она ложится в твой репозиторий, а не в закрытую таблицу сайта. Сам shelf.cafe работает как AppView — витрина и локальный индекс. Он слушает поток сети, ранжирует записи по формуле Score = Votes ^ 0.8 / (Age + 2) ^ 1.8 и отдаёт HTML. Любой может собрать свой клиент поверх тех же данных.

Проблему пустого старта Йоханна закрыла двумя ходами. Первые ссылки тянутся из списка RSS-блогов (идея из bubbles.town, стартовали с их blogs.opml). А вместо пустых комментариев shelf.cafe ведёт живой индекс обратных ссылок: в реальном времени ловит посты в Bluesky с URL из агрегатора, а старые ветки догружает через Constellation.

Для модерации тоже не стали писать велосипед. В протоколе есть labelers — независимые службы разметки спама и скама. shelf.cafe подписан на четыре таких сервиса (Bluesky, Blacksky, Northsky Moderation и Skywatch Blue), а поверх держит локальные баны против ботов, репостящих ленту Hacker News.

Схема Lexicon и отправка ссылки из терминала

Чтобы разные клиенты понимали одни данные, в AT Protocol есть Lexicon — язык схем вроде гибрида JSON Schema и OpenAPI. Схемы агрегатора живут в cafe.shelf.* (видны на pdsls.dev). Запись ссылки cafe.shelf.item выглядит просто:

{
  "$type": "cafe.shelf.item",
  "url": "https://example.com/post",
  "title": "Some post",
  "source": "example.com",
  "createdAt": "2026-10-03T18:00:00Z"
}

Формат открытый, так что браузер не обязателен. Ссылку легко закинуть в свой PDS из терминала через официальную Go-утилиту goat:

# Ставим goat (или go install github.com/bluesky-social/goat@latest)
brew install goat

# Входим по отдельному App Password и отправляем JSON из файла
goat account login -u handle.bsky.social -p xxxx-xxxx-xxxx-xxxx
cat item.json | goat record create -n -

Утилита вернёт at://-адрес и cid записи, а AppView shelf.cafe поймает событие и покажет ссылку на /new примерно через секунду. Вместо cat подойдёт буфер обмена: pbpaste на macOS или xclip -o на Linux.

Аккуратнее с App Password в goat

В README goat есть предупреждение: утилита хранит app-пароль и токены в домашней папке в открытом виде (cleartext). Заводи отдельный App Password, не логинься на общих серверах и чисти ключи через goat account logout.

Подписка на поток Jetstream и публичный виджет

Чтобы AppView не переваривал тяжёлый бинарный поток всей сети (firehose), есть Jetstream. Этот Go-сервис отдаёт компактный JSON по WebSocket и фильтрует нужные коллекции без авторизации:

// npm install @bsky/jetstream
import { Jetstream } from '@bsky/jetstream'

const stream = new Jetstream('https://jetstream.us-east.bsky.network')

// Ловим только новые ссылки коллекции cafe.shelf.item
for await (const evt of stream.live({ collections: ['cafe.shelf.item'] })) {
  console.log(evt)
}

Десять строчек с @bsky/jetstream — и ты в реальном времени получаешь новые ссылки (или посты app.bsky.feed.post для своего индекса обратных ссылок). Посмотреть поток без кода можно через websocat с протоколом xrpc.v1.json, а под нагрузку лучше поднять свой Jetstream.

Наружу данные отдают через XRPC — HTTP-эндпоинты вида /xrpc/<имя>. В shelf.cafe открыли публичный CORS-эндпоинт /xrpc/getItems?url=<url> (лимит 60 запросов/мин на IP; с бэкенда ответы стоит кэшировать) и скрипт widget.js со счётчиком голосов для блогов.

Есть и честные ограничения: схемы cafe.shelf.* не согласовывались сообществом и могут меняться, а исходники Elixir-бэкенда и детали OAuth Йоханна пока не выкладывала — их она оставила для следующих постов про ингест, backlinks и быстрый SSR.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 5