Группа central на нескольких серверах¶
Резервирование объясняет, из чего состоит инсталляция с резервом и что меняет второй инстанс. Эта страница описывает настройки каждого инстанса, адреса группы у стримеров и проверку резервирования.
Здесь описана настройка уже работающей установки с отдельными инстансами central и подключёнными стримерами. Установка продукта, запуск процессов и присоединение стримеров в эту статью не входят.
Что именно разворачивается¶
Инсталляция с резервом состоит из четырёх частей, и только одна из них — сама Optic:
- Один кластер PostgreSQL, доступный всем инстансам по одному адресу. Это единственное хранилище состояния и единственная часть, отказоустойчивость которой Optic на себя не берёт.
- Два и более инстанса central — отдельные машины с одинаковым конфигом, отличающиеся ролями и объявленным адресом.
- Стримеры — отдельные машины, которым задан не адрес одного инстанса, а список адресов группы.
- Точка входа оператора — один адрес, за которым доступный инстанс: DNS-имя с переключением или балансировщик.
Правило, с которого начинается такая инсталляция: central и стримеры работают на разных машинах. Локальный стример внутри процесса central здесь не годится — его стримы останавливаются вместе с процессом central.
Сколько чего нужно¶
| Часть | Сколько | Замечание |
|---|---|---|
| PostgreSQL | Один логический кластер | Два независимых сервера базы — это две разные инсталляции, а не резерв |
| Инстансы central | Два и больше | Третий добавляется тем же конфигом; переписывать существующие не нужно |
| Стримеры | Сколько требует эфир | Резервируются не здесь, а размещением |
| Точка входа оператора | Один адрес | Стримеры через него не ходят |
Конфиг инстанса central¶
Инстансы группы отличаются друг от друга ровно двумя строками — объявленным адресом и набором ролей. Всё остальное у них одинаково, включая строку подключения к базе.
Первый инстанс:
listeners:
http:
- port: 80
central:
database_url: postgres://optic:пароль@db.example.com:5432/optic
admin_keys:
- ключ-управления
components: {run: true, migrate: true, layouter: true, stats: true, agents: true}
advertise_url: http://central-a.example.com
optic: {}
api_auth:
login: admin
password: пароль-оператора
Второй — то же самое без роли migrate и со своим адресом:
central:
database_url: postgres://optic:пароль@db.example.com:5432/optic
admin_keys:
- ключ-управления
components: {run: true, migrate: false, layouter: true, stats: true, agents: true}
advertise_url: http://central-b.example.com
Эти настройки задаются в /etc/optic/optic.yaml каждой машины.
Роли — это притязания, а не назначения¶
Роль в конфиге означает «эта машина готова делать такую работу», а не «эта машина её делает». Кто из инстансов действительно исполняет работу, решает PostgreSQL, а не конфиг, — поэтому layouter и stats заявлены у обоих, и это не ошибка и не двойной запуск.
run— обслуживать запросы: консоль, management API, приём синхронизации со стримеров, выдачу метрик. Нужна каждому инстансу.migrate— накатить миграции схемы при старте.layouter— исполнять прогоны размещения.stats— хранить текущую статистику по всему кластеру.agents— принимать управляющие endpoint-соединения агентов.
Единственная роль, которую нельзя оставлять у всех, — migrate. Она не защищена мандатом: два процесса, стартовавшие одновременно, одновременно запустят миграции. Поэтому схему накатывает один инстанс, а остальные стартуют после него.
central.components сливается по отдельным полям. Отсутствующее поле наследует предыдущий слой; true включает, false выключает. Пустой объект сохраняет предыдущие значения. Пакет optic включает agents по умолчанию. Остальные компоненты сохраняют свои значения или настройки оператора. Пример набора компонентов:
central:
components:
run: true
migrate: true
layouter: true
stats: true
agents: true
На втором инстансе явно задайте central.components.migrate: false. Дополнительный файл конфигурации может менять одно поле, не повторяя остальные. Для применения изменения перезапустите процесс.
Старый массив central.roles больше не поддерживается, в том числе вместе с components. До обновления замените его во всех файлах: для ролей из прежнего непустого списка укажите true, для остальных — false, чтобы сохранить точный набор. Прежний пустой список удалите, сохранив умолчания. Старое поле в главном файле останавливает запуск; в дополнительном файле конфигурации вызывает предупреждение, и этот файл пропускается.
Объявленный адрес¶
advertise_url — адрес, по которому к этой машине обращаются другие инстансы группы. Он нужен потому, что текущую статистику хранит один инстанс, а остальные читают её по сети: держатель записывает свой адрес, другие инстансы читают его оттуда.
Адрес балансировщика здесь не годится — запрос мог бы вернуться к отправителю. Адрес обязан быть адресом конкретной машины.
Для группы задайте advertise_url каждому инстансу. Без него другие инстансы не смогут читать его статистику или передавать ему команды агентам. В консоли отсутствие адреса отмечено отдельно, см. проверку группы.
Кто что исполняет: мандаты¶
Работу, дубль которой вреден, в группе исполняет один инстанс — тот, который взял на неё мандат. Мандат живёт в PostgreSQL и выдаётся на отдельном соединении, поэтому завершение соединения освобождает его, без разбора зависших исполнителей по таймаутам: сессия завершена — мандат свободен.
Мандатов несколько, и они независимы. Единого лидера у central нет: layouter и stats могут оказаться на разных машинах, и это штатное состояние, а не перекос.
У каждой выдачи есть номер — эпоха. Она растёт при смене держателя и проверяется при каждой записи: инстанс, продолживший работу после утраты мандата, получает отказ на записи, а не портит размещение задним числом. Поэтому переход мандата безопасен и не требует ручного подтверждения.
Смена держателя занимает секунды — столько, сколько нужно PostgreSQL, чтобы обнаружить завершение сессии, а соседу — чтобы прийти за освободившимся мандатом.
Инстанс, не держащий ничего, — не запасной и не спящий: он полноценно обслуживает консоль, API и синхронизацию стримеров. Мандат касается только фоновой работы.
Конфиг стримера¶
Стример обращается к группе, а не к процессу, поэтому в его конфиге список адресов:
managed_by:
name: streamer-01
url:
- http://central-a.example.com
- http://central-b.example.com
join_token: токен-присоединения
Порядок в списке — предпочтение оператора. Стример ходит на первый адрес, пока тот отвечает, переходит к следующему после неудавшегося запроса и раз в пять минут пробует первый снова: как только тот ожил, машина возвращается на него. Проба — обычный запрос синхронизации, отдельной проверки доступности нет: адрес годен тогда, когда по нему работает синхронизация.
Тот же список принимает переменная окружения CENTRAL_URL — адреса через запятую.
Стример узнаёт группу сам¶
Конфиг стримера — не единственный источник адресов. Каждый ответ на синхронизацию несёт состав группы: адреса живых инстансов, которые обслуживают стримеры. Стример дописывает их к адресам из конфига — те остаются впереди, в заданном порядке, — и хранит выученное на диске рядом с остальным состоянием машины, так что оно переживает перезапуск и работает уже при регистрации.
Отсюда следствия для эксплуатации:
- Инстанс добавляется без изменения конфигурации стримеров. Поднятый над той же базой инстанс с
advertise_urlпопадает в состав группы за секунды, и каждый стример узнаёт о нём при следующей синхронизации. - Стример, поставленный с одним адресом, получает резерв при первом же ответе. Так к группе присоединяется существующий парк: конфиги на машинах не переписываются.
- Инстанс, переставший отмечаться в группе, выпадает из анонса через двадцать секунд, и стримеры вычёркивают его из выученных. Адреса из конфига анонс не трогает никогда — ни добавить к ним, ни убрать из них он не может.
Второй адрес в конфиге всё равно нужен машинам, которые ещё не синхронизировались с central. До первого ответа стример знает о группе ровно то, что написано в его конфиге, а разрыв петли синхронизации — единственный признак живости стримера, который есть у central. Стример, потерявший свой единственный адрес до первой синхронизации, через полторы минуты числится offline, после чего лейаутер уводит его стримы на другую машину — с работающей машины.
У части стримеров первым адресом задайте первый инстанс, у остальных — второй. Тогда в спокойном состоянии нагрузка приёма синхронизации распределена, а при отказе любого инстанса на второй адрес уходит только его половина — и возвращается, когда инстанс оживёт.
Точка входа оператора¶
Оператору нужен один адрес, который сам находит живой инстанс: DNS-имя с переключением или балансировщик перед группой. Состояния у обработчика запросов своего нет, поэтому на запрос оператора отвечает любой инстанс.
Стримеры через эту точку ходить не должны: у них свой список адресов, а лишний посредник на пути синхронизации только добавит точку отказа.
Что проверить после развёртывания¶
Откройте в консоли Кластер → Central.

- В таблице столько строк, сколько инстансов. Строка появляется через секунды после старта. Не появилась — инстанс не дошёл до базы.
- В столбце «Инстанс» указан адрес каждого central. Пометка «не объявлен» означает, что другие инстансы не смогут к нему обратиться: ему не задан
advertise_url. - Столбец «Притязания» показывает заявленные роли. Убедитесь, что
migrateзаявлен ровно у одного. - Столбец «Держит мандаты» непустой хотя бы у одного инстанса. Пусто у всех — значит, ни один не заявил ролей
layouterиstats, и ни размещения, ни текущей статистики в группе нет. - Столбец «Сборка» одинаков у всех строк. Разные версии в группе — штатное состояние только на время обновления.
- Раздел «Стримеры» показывает все стримеры с любого инстанса. Если с разных адресов видны разные наборы стримеров, инстансы не получают общую статистику: проверьте
advertise_url. - На стримере появился файл
group.jsonв каталоге состояния (/var/lib/opticна пакетной машине) с адресами инстансов, которых нет в его конфиге. Файла нет — стример ещё не получил ни одного ответа, или у других инстансов не заданadvertise_url.

Проверяйте переключение на отдельной тестовой установке: остановите один central и проверьте доступность группы через оставшийся.
Чего эта схема не делает¶
- Не резервирует базу. Отказоустойчивость PostgreSQL — задача самой базы: реплика с переключением или управляемый инстанс провайдера.
- Не заменяет бэкап. Резерв защищает от потери машины, но не от ошибочного удаления — см. Бэкап и восстановление.
- Не касается эфира. Стримы вещают и пишут архив без central; резервируется только управление, см. Автономия стримера.
Резервирование подключений агентов¶
Включите central.components.agents: true на инстансах, принимающих агентов.
Пакет optic включает эту настройку по умолчанию. У каждого central должен
быть собственный advertise_url, доступный остальным инстансам.
central:
components:
agents: true
Для подключения агентов задайте DNS-имя с несколькими IP инстансов,
на которых включён компонент agents. На каждом настройте TLS-сертификат для этого имени.
При отказе подключения или endpoint-протокола агент пробует другой IP из DNS-ответа. Работающее соединение
остаётся на принявшем его central. Управляющий запрос можно отправить любому central.
Настройка подключения — в разделе приёма видео через агентов.
Если вы уже используете собственный балансировщик, через него можно подключать и агентов. Он должен направлять новые подключения на доступные central, поддерживать длительные соединения и сохранять ответы протокола. При обработке HTTP на балансировщике настройте передачу HTTP Upgrade.