Отказоустойчивость

Общие сведения об отказоустойчивости

Для обеспечения постоянства доступа пользователя к приложениям, размещенным в инфраструктуре организации, Termidesk Connect может быть настроен в отказоустойчивой (высокодоступной) конфигурации.

Для настройки отказоустойчивой (высокодоступной) конфигурации необходимо использовать от двух узлов Termidesk Connect (поддерживается до 255 узлов).

Termidesk Connect в отказоустойчивой конфигурации обеспечивает:

синхронизацию конфигураций между двумя и более узлами Termidesk Connect. При этом синхронизируется не вся конфигурация: часть параметров является индивидуальной для каждого узла;
резервирование IP-адресов Виртуальных Серверов;
переключение трафика между узлами Termidesk Connect при выходе какого-либо из них из строя.

Для обеспечения отказоустойчивости устройства Termidesk Connect объединяются в одноранговый кластер и имеют одинаковые права и возможности. Однако для упрощения настройки принято, что существуют следующие узлы:

мастер-узел («Active») – устройство обрабатывает трафик пользователей в настоящий момент;
резервный узел («Standby») – устройство в настоящий момент не обрабатывает трафик пользователей. Резервных узлов может быть несколько.

Единовременно может работать только один мастер-узел, все остальные являются резервными.

Решение о назначении мастер-узла принимается на основе его рейтинга:

все узлы обмениваются своим рейтингом;
рейтинг узла конвертируется в число. Чем больше число, тем выше рейтинг;
когда узел становится мастер-узлом, в его структуре данных выставляется определенный бит. Если узел будет назначен активным вручную, то его рейтинг будет выше, чем у текущего мастер-узла, и он будет считаться главным мастер-узлом;
узел, который был перезагружен (или отключен), будет иметь наименьший рейтинг.

Управление кластером осуществляется через общий IP-адрес с типом «ha-type SHARED», добавляемый на мастер-узле.

Все параметры конфигурации синхронизируются между узлами Termidesk Connect, кроме указанных:

IP-адрес с типом «ha-type LOCAL» или привязанный к VLAN с типом «ha-type LOCAL»;
имя устройства (hostname);
VLAN с типом «ha-type LOCAL»;
маршруты с типом «ha-type LOCAL».

Удаление любых скриптов или файлов в синхронизируемых директориях на мастер-узле не приводит к их удалению на резервном узле.

Общий алгоритм настройки отказоустойчивой (высокодоступной) конфигурации (примеры команд приведены в подразделе Настройка отказоустойчивой конфигурации из CLI):

убедиться, что устройства Termidesk Connect имеют сетевую доступность между собой;
убедиться, что наименования сетевых интерфейсов для устройств Termidesk Connect идентичны на всех узлах;
убедиться, что версия Termidesk Connect одинакова на всех узлах кластера;
убедиться, что доступны следующие порты для взаимодействия:
- TCP 222;
- TCP/UDP 322. Этот порт может быть изменен на другой;
настроить мастер-узел Termidesk Connect:
- (опционально) сконфигурировать IP-адрес управления кластером с типом «ha-type SHARED» (настройка IP-адреса приведена в подразделе Сеть);
  
  Интерфейс, на который назначен локальный IP-адрес, должен быть сконфигурирован с VRF default.
- указать уникальный числовой идентификатор мастер-узла;
- указать локальный IP-адрес, используемый для взаимодействия с другим устройством Termidesk Connect. Выбранный IP-адрес должен соответствовать типу «ha-type LOCAL» (настройка IP-адреса приведена в подразделе Сеть);
  
  Интерфейс, на который назначен локальный IP-адрес, должен быть сконфигурирован с VRF default.
- указать UDP-порт, используемый для взаимодействия;
- указать интервал периодических запросов. Такой же интервал должен быть задан при настройке резервного узла Termidesk Connect;
- указать параметры подключения к резервному узлу;
настроить зеркально резервные узлы Termidesk Connect:
- указать уникальный числовой идентификатор резервного узла;
- указать локальный IP-адрес, используемый для взаимодействия с другим устройством Termidesk Connect. Выбранный IP-адрес должен соответствовать типу «ha-type LOCAL» (настройка IP-адреса приведена в подразделе Сеть);
  
  Интерфейс, на который назначен локальный IP-адрес, должен быть сконфигурирован с VRF default.
- указать UDP-порт, используемый для взаимодействия;
- указать интервал периодических запросов, который был задан на мастер-узле Termidesk Connect;
- указать параметры подключения к мастер-узлу.

Настройка отказоустойчивой конфигурации выполняется одним из способов:

из интерфейса командной строки Termidesk Connect (см. подраздел Настройка отказоустойчивой конфигурации из CLI);
из веб-интерфейса Termidesk Connect (см. подраздел Настройка отказоустойчивой конфигурации из WUI).

Настройка отказоустойчивой конфигурации осуществляется через объект ha (см. подраздел Объект ha).

Команды выполняются на каждом узле отказоустойчивого кластера.

Условия переключения узлов отказоустойчивой конфигурации

В отказоустойчивом кластере Termidesk Connect принятие решения о переключении узлов (failover) может осуществляться не только по недоступности мастер-ноды. Реализована опциональная возможность анализа состояния мастер-узла на основе объектов отслеживания. Невыполнение любого из условий отслеживания объектов (при условии исправности резервного узла) инициирует процесс переключения.

Переключение происходит по порядку, согласно рейтингу узла. В случае недоступности мастер-узел понижает свой рейтинг и происходит переключение на новый узел из списка резервных. Переключение осуществляется на резервный узел с большим рейтингом. При попытке принудительного переключения узла в состояние ACTIVE с меньшим рейтингом переключение не произойдет.

Для оценки состояния мастер-узла может отслеживаться:

состояние сетевых интерфейсов. Если сетевой интерфейс переходит в состояние DOWN, то узел считается неактивным. Позволяет предотвратить ситуацию, когда узел остается активным, но теряет связность из-за падения интерфейса. Для включения механизма сетевой интерфейс должен быть помечен как отслеживаемый;
доступность IP-адресов. Если один или несколько IP-адресов перестали быть доступными (не ответили на ICMP-запрос) в течение заданного количества попыток, то узел считается неактивным. Для включения механизма IP-адрес должен быть добавлен в список отслеживаемых;
состояние Сервера Балансировки. Если состояние Сервера Балансировки на мастер-узле меняется на OFFLINE, а на резервной ноде оно ONLINE, то текущий мастер-узел считается неактивным. Для включения механизма Сервер Балансировки должен быть помечен как отслеживаемый.

Для включения функционала оценки состояния мастер-узла:

в настройках следующих объектов используется параметр ha-monitor:
- сетевого интерфейса (ethernet);
- Проверки (health-check);
- Сервера Балансировки (lbs);
на каждом узле отказоустойчивой конфигурации доступна настройка отслеживаемых IP-адресов (параметр ip-monitor).

Настройка отказоустойчивой конфигурации из CLI

Для настройки используются команды:

Команды выполняются на каждом узле отказоустойчивого кластера.

задание локальных настроек узла:

задание уникального числового идентификатора узла для отказоустойчивой конфигурации:

Уникальные числовые идентификаторы не должны повторяться в одноранговом кластере! Узел с минимальным идентификатором будет мастер-узлом.

set ha id <идентификатор>

(опционально) указание общего IP-адреса управления кластером:

Общий IP-адрес управления кластером:

указывается только на мастер-узле;
должен быть создан и настроен на мастер-узле, и должен соответствовать типу «ha-type SHARED» (см. настройку IP-адресов в подразделе Сеть);
интерфейс, на который назначен локальный IP-адрес, должен быть сконфигурирован с VRF default.

set ha cluster-ip <IP-адрес>

указание локального IP-адреса узла для отказоустойчивой конфигурации:

Выбранный IP-адрес должен соответствовать типу «ha-type LOCAL» (см. настройку IP-адресов в подразделе Сеть).

Интерфейс, на который назначен локальный IP-адрес, должен быть сконфигурирован с VRF default.

set ha ip <IP-адрес>

задание UDP-порта узла для отказоустойчивой конфигурации (по умолчанию – 322):
```
set ha port <порт>
```
задание интервала (в миллисекундах) периодических запросов к узлам для отказоустойчивой конфигурации (по умолчанию – 500):
```
set ha interval <значение>
```
Интервал должен быть одинаковым на всех узлах.

задание настроек соединения с узлом Termidesk Connect, с которым будет осуществляться взаимодействие (удаленным узлом):

задание имени удаленного узла Termidesk Connect:
```
set ha remote <имя_узла>
```
указание идентификатора удаленного узла Termidesk Connect:
```
set ha remote <имя_узла> id <идентификатор>
```
задание IP-адреса удаленного узла Termidesk Connect:
```
set ha remote <имя_узла> ip <IP-адрес>
```
задание UDP-порта удаленного узла Termidesk Connect:
```
set ha remote <имя_узла> port <порт>
```

задание пароля пользователя удаленного узла Termidesk Connect:

Должен быть указан пароль пользователя tdadmin удаленного узла.

set ha remote <имя_узла> seckey <пароль>

Так же пароль может быть получен из Хранилища секретов. Пример значения параметра:

kv://secret/ha#password – для kv версии 1;
kv://secret/data/na#password – для kv версии 2.

(опционально) задание отслеживаемых IP-адресов для готовности узла к переходу в состояние ACTIVE:

Может быть задано несколько IP-адресов. Подробное описание условий переключения узлов отказоустойчивой конфигурации приведено в подразделе Условия переключения узлов отказоустойчивой конфигурации.

задание IP-адреса:
```
set ha ip-monitor <IP-адрес>
```
(опционально) задание VRF для IP-адреса (по умолчанию – default):
```
set ha ip-monitor <IP-адрес> vrf <имя_VRF>
```

проверка заданных настроек:

validate

применение заданных настроек:

commit

сохранение настроек:

write

просмотр заданных настроек (указывается формат вывода – XML, JSON или TXT):

show configuration xml ha

просмотр выполненных команд:

show configuration cli ha

В таблице (см. таблицу Пример команд для отказоустойчивой конфигурации) приведен пример команд настройки для трех устройств Termidesk Connect.

В примере 192.0.2.1 – общий IP-адрес управления кластером, который создан на мастер-узле NodeTDC15-1.

Таблица 1. Пример команд для отказоустойчивой конфигурации
Мастер-узел NodeTDC15-1	Резервный узел NodeTDC15-2	Резервный узел NodeTDC15-3
Локальные настройки узлов
`set ha id 1`	`set ha id 2`	`set ha id 3`
`set ha ip 192.0.2.10`	`set ha ip 192.0.2.11`	`set ha ip 192.0.2.12`
`set ha port 322`	`set ha port 322`	`set ha port 322`
`set ha interval 500`	`set ha interval 500`	`set ha interval 500`
`set ha cluster-ip 192.0.2.1`	-	-
Настройка взаимодействия с другими узлами
`set ha remote NodeTDC15-2 id 2`	`set ha remote NodeTDC15-1 id 1`	`set ha remote NodeTDC15-1 id 1`
`set ha remote NodeTDC15-2 ip 192.0.2.11`	`set ha remote NodeTDC15-1 ip 192.0.2.10`	`set ha remote NodeTDC15-1 ip 192.0.2.10`
`set ha remote NodeTDC15-2 port 322`	`set ha remote NodeTDC15-1 port 322`	`set ha remote NodeTDC15-1 port 322`
`set ha remote NodeTDC15-2 seckey P@ss`	`set ha remote NodeTDC15-1 seckey P@ss`	`set ha remote NodeTDC15-1 seckey P@ss`
`set ha remote NodeTDC15-3 id 3`	`set ha remote NodeTDC15-3 id 3`	`set ha remote NodeTDC15-2 id 2`
`set ha remote NodeTDC15-3 ip 192.0.2.12`	`set ha remote NodeTDC15-3 ip 192.0.2.12`	`set ha remote NodeTDC15-2 ip 192.0.2.11`
`set ha remote NodeTDC15-3 port 322`	`set ha remote NodeTDC15-3 port 322`	`set ha remote NodeTDC15-2 port 322`
`set ha remote NodeTDC15-3 seckey P@ss`	`set ha remote NodeTDC15-3 seckey P@ss`	`set ha remote NodeTDC15-2 seckey P@ss`
Проверка и применение конфигурации
`validate`	`validate`	`validate`
`commit`	`commit`	`commit`
`write`	`write`	`write`
Принудительный перевод узла в активное состояние (необязательно при первоначальной настройке)
`ha set-active`	-	-

Настройка отказоустойчивой конфигурации из WUI

Настройка отказоустойчивой конфигурации выполняется в разделе «Отказоустойчивость».

Раздел предоставляет доступ к следующим функциям:

«Конфигурация кластера» – позволяет настроить параметры отказоустойчивой конфигурации узлов Termidesk Connect (см. подраздел Конфигурация кластера). Основная информация об особенностях отказоустойчивой конфигурации приведена в подразделе Общие сведения об отказоустойчивости;
«Отслеживание IP-адресов» – позволяет задать отслеживаемые IP-адреса для готовности узла к переходу в статус «ACTIVE» (см. подраздел Отслеживание IP-адресов).

Конфигурация кластера

Раздел «Конфигурация кластера» предоставляет доступ к следующим настройкам:

«Локальные настройки» – позволяет задать локальные настройки узла, которые будут использоваться для взаимодействия с ним (см. подраздел Добавление локальных настроек);
«Общий IP управления» – позволяет задать общий IP-адрес управления кластером (см. подраздел Добавление общего IP-адреса управления);
«Узлы» – позволяет добавить информацию о других узлах, которые существуют в отказоустойчивой конфигурации Termidesk Connect. Информация о каждом удаленном узле должна быть доступна с каждого узла (см. подраздел Добавление узлов отказоустойчивой конфигурации).

Добавление локальных настроек

Для отображения локальных настроек, связанных с отказоустойчивой конфигурацией, следует перейти «Настройки – Система – Отказоустойчивость – Конфигурация кластера».

Основные параметры списка области «Локальные настройки» приведены в таблице (см. таблицу Основные параметры списка локальных настроек).

Таблица 2. Основные параметры списка локальных настроек
Параметр	Описание
«IP адрес»	Локальный IP-адрес узла
«ID»	Уникальный числовой идентификатор узла
«Статус»	Статус узла в отказоустойчивой конфигурации: «STANDBY» – узел в данный момент является резервным и не обрабатывает трафик пользователей; «ACTIVE» – узел в данный момент является мастер-узлом и обрабатывает трафик пользователей. Для принудительного перевода узла в активное состояние нужно нажать левой клавишей мыши на статус узла и подтвердить изменение состояния

Для добавления локальных настроек следует перейти «Настройки – Система – Отказоустойчивость – Конфигурация кластера» и в области «Локальные настройки» нажать экранную кнопку [Изменить].

Затем заполнить данные, перечисленные в столбце «Параметр» следующей таблицы (см. таблицу Данные для добавления локальных настроек).

Таблица 3. Данные для добавления локальных настроек

Параметр

Описание

«IP»

Локальный IP-адрес узла, используемый для взаимодействия удаленного узла Termidesk Connect с ним

«Порт»

UDP-порт, используемый для взаимодействия удаленного узла Termidesk Connect с ним.

Значение по умолчанию: «322»

«ID»

Уникальный числовой идентификатор узла. Значения не должны повторяться в одноранговом кластере отказоустойчивой конфигурации Termidesk Connect. Узел с минимальным идентификатором будет мастер-узлом.

Возможные значения: от 0 до 255

«Интервал»

Интервал (в миллисекундах) периодических запросов к узлу.

Интервал должен быть одинаковым на всех узлах отказоустойчивой конфигурации Termidesk Connect.

Значение по умолчанию: «500»

Добавление общего IP-адреса управления

Для отображения общего IP-адреса управления следует перейти «Настройки – Система – Отказоустойчивость – Конфигурация кластера».

Для добавления IP-адреса в области «Общий IP управления» следует нажать экранную кнопку [Изменить].

Затем заполнить данные, перечисленные в столбце «Параметр» следующей таблицы (см. таблицу Данные для добавления IP-адреса управления).

Таблица 4. Данные для добавления IP-адреса управления

Параметр

Описание

«Общий IP управления»

Выбор общего IP-адреса управления кластером. IP-адрес должен быть создан и настроен на мастер-узле, и должен соответствовать типу «ha-type SHARED»

Указывается только на мастер-узле.

Добавление узлов отказоустойчивой конфигурации

Для отображения узлов, связанных с отказоустойчивой конфигурацией, следует перейти «Настройки – Система – Отказоустойчивость – Конфигурация кластера».

По умолчанию записи в области «Узлы» представлены в табличном виде и упорядочены согласно столбцу «Имя».

Основные параметры списка приведены в таблице (см. таблицу Основные параметры списка узлов).

Таблица 5. Основные параметры списка узлов
Параметр	Описание
«Имя»	Наименование узла
«IP адрес»	Локальный IP-адрес узла
«ID»	Уникальный числовой идентификатор узла
«Состояние»	Состояние сетевой доступности узла: «Доступен» – установлено соединение с соседними узлами; «Не доступен» – отсутствует соединение с соседними узлами. Для проверки состояния узла осуществляется обмен сообщениями heartbeat между узлами конфигурации
«Статус»	Статус узла в отказоустойчивой конфигурации: «STANDBY» – узел в данный момент является резервным и не обрабатывает трафик пользователей; «ACTIVE» – узел в данный момент является мастер-узлом и обрабатывает трафик пользователей
«Синхронизация»	Статус синхронизации конфигурации между узлами кластера: «SYNC» – конфигурация синхронизирована успешно; «NOT SYNC» – обнаружены ошибки в конфигурации при синхронизации. Необходимо подключиться к узлу с ролью «STANDBY» и выполнить поиск причин ошибки в журналах

Для добавления узла следует перейти «Настройки – Система – Отказоустойчивость – Конфигурация кластера» и в области «Узлы» нажать экранную кнопку [Добавить].

Экранная кнопка [Добавить] будет доступна, если заданы локальные настройки.

Затем заполнить данные, перечисленные в столбце «Параметр» следующей таблицы (см. таблицу Данные для добавления узла отказоустойчивой конфигурации).

Параметр Описание

«Имя»

Наименование узла

«IP узла»

IP-адрес удаленного узла

«Порт»

UDP-порт удаленного узла

Значение по умолчанию: «322»

«ID»

Уникальный числовой идентификатор удаленного узла. Значения не должны повторяться в одноранговом кластере.

Возможные значения: от 0 до 255

«Пароль»

Пароль для подключения к удаленному узлу.

Должен быть указан пароль пользователя tdadmin.

Так же пароль может быть получен из Хранилища секретов. Пример значения параметра:

«kv://secret/ha#password» – для kv версии 1;
«kv://secret/data/na#password» – для kv версии 2

Для копирования узла нужно:

Копируются все исходные параметры, кроме имени.

отметить его в списке и нажать экранную кнопку [Копировать];
в открывшейся форме заполнить имя создаваемого узла.

Для изменения узла нужно:

либо отметить его в списке и нажать экранную кнопку [Изменить];
либо нажать левой кнопкой мыши на его имя.

Для удаления узла нужно:

Для удаления нескольких узлов отметить их в списке.

отметить его в списке и нажать экранную кнопку [Удалить];
подтвердить удаление, нажав экранную кнопку [Удалить] на запрос об удалении.

Отслеживание IP-адресов

Для отображения списка отслеживаемых IP-адресов (для готовности узла к переходу в статус «ACTIVE») перейти «Настройки – Система – Отказоустойчивость – Отслеживание IP».

По умолчанию записи представлены в табличном виде и упорядочены согласно столбцу «IP».

Основные параметры списка приведены в таблице (см. таблицу Основные параметры списка IP-адресов).

Таблица 7. Основные параметры списка IP-адресов
Параметр	Описание
«IP-адрес»	IP-адрес
«VRF»	Имя VRF

Для добавления отслеживаемого IP-адреса перейти «Настройки – Система – Отказоустойчивость – Отслеживание IP» и нажать экранную кнопку [Добавить].

Затем заполнить данные, перечисленные в столбце «Параметр» следующей таблицы (см. таблицу Данные для добавления IP-адреса).

Таблица 8. Данные для добавления IP-адреса
Параметр	Описание
«IP-адрес»	IP-адрес
«VRF»	Выбор VRF для добавления IP-адреса. Значение по умолчанию: «default»

Для изменения отслеживаемого IP-адреса нужно:

либо отметить его в списке и нажать экранную кнопку [Изменить];
либо нажать левой кнопкой мыши на его ID.

Для удаления отслеживаемого IP-адреса нужно:

Для удаления нескольких отслеживаемых IP-адресов отметить их в списке.

отметить его в списке и нажать экранную кнопку [Удалить];
подтвердить удаление, нажав экранную кнопку [Удалить] на запрос об удалении.

Проверка состояний узлов в отказоустойчивой конфигурации

Проверка состояний узлов в отказоустойчивой конфигурации выполняется одним из способов:

из интерфейса командной строки Termidesk Connect:

show status ha

из веб-интерфейса Termidesk Connect (см. подраздел Настройка отказоустойчивой конфигурации из WUI).

Вывод команды отобразит:

роль узла, на котором выполнена команда:
- STANDBY – резервный узел, не обрабатывающий в данный момент трафик пользователей;
- ACTIVE – мастер-узел, обрабатывающий в данный момент трафик пользователей;
информацию об узле, на котором выполнена команда: идентификатор, IP-адрес, порт, дата и время последней синхронизации, статус синхронизации;
информацию об удаленном узле, с которым настроена отказоустойчивая конфигурация: имя узла, его доступность, роль узла, идентификатор, IP-адрес, порт, дата и время последней синхронизации,статус синхронизации.

Если статус синхронизации соответствует false, необходимо подключиться к узлу с ролью STANDBY и выполнить поиск причин ошибки в журналах.

Статус синхронизации false означает, что синхронизация конфигурации между узлами не выполнена. Такая ситуация может возникнуть, например, если при внесении изменений в настройках ADNS был указан не общий IP-адрес кластера.

Пример вывода команды:

########################
#  Отказоустойчивость  #
########################

               Роль: ACTIVE
                 ID: 0
           IP-адрес: 192.0.2.1
               Порт: 322
         Время синх: 2025-08-11 17:46:06.749 +0000
        Статус синх: true

============================================================
(1)            Узел: node2
        Доступность: доступен
               Роль: STANDBY
                 ID: 1
           IP-адрес: 192.0.2.2
               Порт: 322
         Время синх: 2025-08-11 17:46:06.749 +0000
        Статус синх: true

Объект `ha`

Доступные команды объекта ha приведены в таблице (см. таблицу Доступные команды объекта ha).

Команда Описание

set ha

Создание отказоустойчивой (высокодоступной) конфигурации со значениями по умолчанию

set ha id <значение>

Задание уникального числового идентификатора узлу (значение от 0 до 255)

Уникальные числовые идентификаторы не должны повторяться в одноранговом кластере.

set ha interval <значение>

Задание интервала (в миллисекундах) периодических запросов (по умолчанию – 500). Интервал должен быть одинаковым на всех устройствах

set ha ip <IP-адрес>

Указание IP-адреса, используемого для взаимодействия узлов кластера. Выбранный IP-адрес должен соответствовать типу «ha-type LOCAL»

set ha cluster-ip <IP-адрес>

Общий IP-адрес управления кластером, указывается на мастер-узле.

Первоначально должен быть создан и настроен на мастер-узле. Выбранный IP-адрес должен соответствовать типу «ha-type SHARED»

set ha port <порт>

Задание UDP-порта, используемого для взаимодействия (по умолчанию – 322)

set ha ip-monitor ip <IP-адрес>

Отслеживаемый IP-адрес для готовности узла к переходу в состояние ACTIVE.

Для параметра ip-monitor ip может быть указан дополнительный параметр vrf (VRF по умолчанию – default)

set ha remote <имя_узла>

Задание имени соседнего узла, участвующего в отказоустойчивой (высокодоступной) конфигурации.

Имя может быть любым

set ha remote <имя_узла> <параметр> <значение>

Задание параметров подключения к соседнему узлу, участвующему в отказоустойчивой (высокодоступной) конфигурации.

Параметром может быть:

id – уникальный идентификатор соседнего узла;
ip – IP-адрес соседнего узла;
port – порт соседнего узла (по умолчанию – 322);
seckey – пароль пользователя соседнего узла (так же пароль может быть получен из Хранилища секретов)