Skip to content

Группа central на нескольких серверах

Резервирование объясняет, из чего состоит инсталляция с резервом и что меняет второй инстанс. Эта страница описывает настройки каждого инстанса, адреса группы у стримеров и проверку резервирования.

Здесь описана настройка уже работающей установки с отдельными инстансами central и подключёнными стримерами. Установка продукта, запуск процессов и присоединение стримеров в эту статью не входят.

Что именно разворачивается

Инсталляция с резервом состоит из четырёх частей, и только одна из них — сама Optic:

  • Один кластер PostgreSQL, доступный всем инстансам по одному адресу. Это единственное хранилище состояния и единственная часть, отказоустойчивость которой Optic на себя не берёт.
  • Два и более инстанса central — отдельные машины с одинаковым конфигом, отличающиеся ролями и объявленным адресом.
  • Стримеры — отдельные машины, которым задан не адрес одного инстанса, а список адресов группы.
  • Точка входа оператора — один адрес, за которым доступный инстанс: DNS-имя с переключением или балансировщик.

Правило, с которого начинается такая инсталляция: central и стримеры работают на разных машинах. Локальный стример внутри процесса central здесь не годится — его стримы останавливаются вместе с процессом central.

Сколько чего нужно

Часть Сколько Замечание
PostgreSQL Один логический кластер Два независимых сервера базы — это две разные инсталляции, а не резерв
Инстансы central Два и больше Третий добавляется тем же конфигом; переписывать существующие не нужно
Стримеры Сколько требует эфир Резервируются не здесь, а размещением
Точка входа оператора Один адрес Стримеры через него не ходят

Конфиг инстанса central

Инстансы группы отличаются друг от друга ровно двумя строками — объявленным адресом и набором ролей. Всё остальное у них одинаково, включая строку подключения к базе.

Первый инстанс:

listeners:
  http:
    - port: 80

central:
  database_url: postgres://optic:пароль@db.example.com:5432/optic
  admin_keys:
    - ключ-управления
  components: {run: true, migrate: true, layouter: true, stats: true, agents: true}
  advertise_url: http://central-a.example.com

optic: {}

api_auth:
  login: admin
  password: пароль-оператора

Второй — то же самое без роли migrate и со своим адресом:

central:
  database_url: postgres://optic:пароль@db.example.com:5432/optic
  admin_keys:
    - ключ-управления
  components: {run: true, migrate: false, layouter: true, stats: true, agents: true}
  advertise_url: http://central-b.example.com

Эти настройки задаются в /etc/optic/optic.yaml каждой машины.

Роли — это притязания, а не назначения

Роль в конфиге означает «эта машина готова делать такую работу», а не «эта машина её делает». Кто из инстансов действительно исполняет работу, решает PostgreSQL, а не конфиг, — поэтому layouter и stats заявлены у обоих, и это не ошибка и не двойной запуск.

  • run — обслуживать запросы: консоль, management API, приём синхронизации со стримеров, выдачу метрик. Нужна каждому инстансу.
  • migrate — накатить миграции схемы при старте.
  • layouter — исполнять прогоны размещения.
  • stats — хранить текущую статистику по всему кластеру.
  • agents — принимать управляющие endpoint-соединения агентов.

Единственная роль, которую нельзя оставлять у всех, — migrate. Она не защищена мандатом: два процесса, стартовавшие одновременно, одновременно запустят миграции. Поэтому схему накатывает один инстанс, а остальные стартуют после него.

central.components сливается по отдельным полям. Отсутствующее поле наследует предыдущий слой; true включает, false выключает. Пустой объект сохраняет предыдущие значения. Пакет optic включает agents по умолчанию. Остальные компоненты сохраняют свои значения или настройки оператора. Пример набора компонентов:

central:
  components:
    run: true
    migrate: true
    layouter: true
    stats: true
    agents: true

На втором инстансе явно задайте central.components.migrate: false. Дополнительный файл конфигурации может менять одно поле, не повторяя остальные. Для применения изменения перезапустите процесс.

Старый массив central.roles больше не поддерживается, в том числе вместе с components. До обновления замените его во всех файлах: для ролей из прежнего непустого списка укажите true, для остальных — false, чтобы сохранить точный набор. Прежний пустой список удалите, сохранив умолчания. Старое поле в главном файле останавливает запуск; в дополнительном файле конфигурации вызывает предупреждение, и этот файл пропускается.

Объявленный адрес

advertise_url — адрес, по которому к этой машине обращаются другие инстансы группы. Он нужен потому, что текущую статистику хранит один инстанс, а остальные читают её по сети: держатель записывает свой адрес, другие инстансы читают его оттуда.

Адрес балансировщика здесь не годится — запрос мог бы вернуться к отправителю. Адрес обязан быть адресом конкретной машины.

Для группы задайте advertise_url каждому инстансу. Без него другие инстансы не смогут читать его статистику или передавать ему команды агентам. В консоли отсутствие адреса отмечено отдельно, см. проверку группы.

Кто что исполняет: мандаты

Работу, дубль которой вреден, в группе исполняет один инстанс — тот, который взял на неё мандат. Мандат живёт в PostgreSQL и выдаётся на отдельном соединении, поэтому завершение соединения освобождает его, без разбора зависших исполнителей по таймаутам: сессия завершена — мандат свободен.

Мандатов несколько, и они независимы. Единого лидера у central нет: layouter и stats могут оказаться на разных машинах, и это штатное состояние, а не перекос.

У каждой выдачи есть номер — эпоха. Она растёт при смене держателя и проверяется при каждой записи: инстанс, продолживший работу после утраты мандата, получает отказ на записи, а не портит размещение задним числом. Поэтому переход мандата безопасен и не требует ручного подтверждения.

Смена держателя занимает секунды — столько, сколько нужно PostgreSQL, чтобы обнаружить завершение сессии, а соседу — чтобы прийти за освободившимся мандатом.

Инстанс, не держащий ничего, — не запасной и не спящий: он полноценно обслуживает консоль, API и синхронизацию стримеров. Мандат касается только фоновой работы.

Конфиг стримера

Стример обращается к группе, а не к процессу, поэтому в его конфиге список адресов:

managed_by:
  name: streamer-01
  url:
    - http://central-a.example.com
    - http://central-b.example.com
  join_token: токен-присоединения

Порядок в списке — предпочтение оператора. Стример ходит на первый адрес, пока тот отвечает, переходит к следующему после неудавшегося запроса и раз в пять минут пробует первый снова: как только тот ожил, машина возвращается на него. Проба — обычный запрос синхронизации, отдельной проверки доступности нет: адрес годен тогда, когда по нему работает синхронизация.

Тот же список принимает переменная окружения CENTRAL_URL — адреса через запятую.

Стример узнаёт группу сам

Конфиг стримера — не единственный источник адресов. Каждый ответ на синхронизацию несёт состав группы: адреса живых инстансов, которые обслуживают стримеры. Стример дописывает их к адресам из конфига — те остаются впереди, в заданном порядке, — и хранит выученное на диске рядом с остальным состоянием машины, так что оно переживает перезапуск и работает уже при регистрации.

Отсюда следствия для эксплуатации:

  • Инстанс добавляется без изменения конфигурации стримеров. Поднятый над той же базой инстанс с advertise_url попадает в состав группы за секунды, и каждый стример узнаёт о нём при следующей синхронизации.
  • Стример, поставленный с одним адресом, получает резерв при первом же ответе. Так к группе присоединяется существующий парк: конфиги на машинах не переписываются.
  • Инстанс, переставший отмечаться в группе, выпадает из анонса через двадцать секунд, и стримеры вычёркивают его из выученных. Адреса из конфига анонс не трогает никогда — ни добавить к ним, ни убрать из них он не может.

Второй адрес в конфиге всё равно нужен машинам, которые ещё не синхронизировались с central. До первого ответа стример знает о группе ровно то, что написано в его конфиге, а разрыв петли синхронизации — единственный признак живости стримера, который есть у central. Стример, потерявший свой единственный адрес до первой синхронизации, через полторы минуты числится offline, после чего лейаутер уводит его стримы на другую машину — с работающей машины.

У части стримеров первым адресом задайте первый инстанс, у остальных — второй. Тогда в спокойном состоянии нагрузка приёма синхронизации распределена, а при отказе любого инстанса на второй адрес уходит только его половина — и возвращается, когда инстанс оживёт.

Точка входа оператора

Оператору нужен один адрес, который сам находит живой инстанс: DNS-имя с переключением или балансировщик перед группой. Состояния у обработчика запросов своего нет, поэтому на запрос оператора отвечает любой инстанс.

Стримеры через эту точку ходить не должны: у них свой список адресов, а лишний посредник на пути синхронизации только добавит точку отказа.

Что проверить после развёртывания

Откройте в консоли Кластер → Central.

Два инстанса Optic: объявленные адреса, компоненты и держатели мандатов

  • В таблице столько строк, сколько инстансов. Строка появляется через секунды после старта. Не появилась — инстанс не дошёл до базы.
  • В столбце «Инстанс» указан адрес каждого central. Пометка «не объявлен» означает, что другие инстансы не смогут к нему обратиться: ему не задан advertise_url.
  • Столбец «Притязания» показывает заявленные роли. Убедитесь, что migrate заявлен ровно у одного.
  • Столбец «Держит мандаты» непустой хотя бы у одного инстанса. Пусто у всех — значит, ни один не заявил ролей layouter и stats, и ни размещения, ни текущей статистики в группе нет.
  • Столбец «Сборка» одинаков у всех строк. Разные версии в группе — штатное состояние только на время обновления.
  • Раздел «Стримеры» показывает все стримеры с любого инстанса. Если с разных адресов видны разные наборы стримеров, инстансы не получают общую статистику: проверьте advertise_url.
  • На стримере появился файл group.json в каталоге состояния (/var/lib/optic на пакетной машине) с адресами инстансов, которых нет в его конфиге. Файла нет — стример ещё не получил ни одного ответа, или у других инстансов не задан advertise_url.

Три стримера видны в общей консоли группы Optic

Проверяйте переключение на отдельной тестовой установке: остановите один central и проверьте доступность группы через оставшийся.

Чего эта схема не делает

  • Не резервирует базу. Отказоустойчивость PostgreSQL — задача самой базы: реплика с переключением или управляемый инстанс провайдера.
  • Не заменяет бэкап. Резерв защищает от потери машины, но не от ошибочного удаления — см. Бэкап и восстановление.
  • Не касается эфира. Стримы вещают и пишут архив без central; резервируется только управление, см. Автономия стримера.

Резервирование подключений агентов

Включите central.components.agents: true на инстансах, принимающих агентов. Пакет optic включает эту настройку по умолчанию. У каждого central должен быть собственный advertise_url, доступный остальным инстансам.

central:
  components:
    agents: true

Для подключения агентов задайте DNS-имя с несколькими IP инстансов, на которых включён компонент agents. На каждом настройте TLS-сертификат для этого имени. При отказе подключения или endpoint-протокола агент пробует другой IP из DNS-ответа. Работающее соединение остаётся на принявшем его central. Управляющий запрос можно отправить любому central.

Настройка подключения — в разделе приёма видео через агентов.

Если вы уже используете собственный балансировщик, через него можно подключать и агентов. Он должен направлять новые подключения на доступные central, поддерживать длительные соединения и сохранять ответы протокола. При обработке HTTP на балансировщике настройте передачу HTTP Upgrade.