WatchZit

Мониторинг серверов Linux и Windows без агента — по SSH и WinRM

На некоторые машины агент поставить нельзя: appliance, который нельзя менять, сервер клиента, система, где каждый установленный пакет требует заявки на изменение. WatchZit 1.4 читает такие машины через то, что на них уже есть, — SSH в Linux, WinRM в Windows — и следит за ними теми же триггерами, что и за агентом. В этом руководстве — что измеряется, что нужно на целевой машине и как настроить проверку.

О чём это руководство

WatchZit — бесплатная система мониторинга сетей и серверов с открытым кодом (AGPLv3). Помимо проверок ping, SNMP, веб и баз данных, у неё есть небольшой агент для Windows и Linux. Начиная с версии 1.4 есть два типа проверок, которым на машине ничего не нужно: Linux по SSH (без агента) и Windows по WinRM (без агента).

Что измеряется

Обе проверки читают одни и те же значения с машины, на которой ничего не установлено:

  • загрузку CPU (измеряется в течение одной секунды при каждом запуске),
  • занятую память,
  • swap в Linux или файл подкачки в Windows,
  • самый заполненный диск,
  • время работы (uptime),
  • а в Linux ещё и load.

Значения называются так же, как значения агента. Поэтому встроенные триггеры для CPU, памяти и дисков, а также прогнозы работают с этими проверками без дополнительной настройки.

Подготовка сервера Linux (SSH)

WatchZit входит по SSH и выполняет одну фиксированную команду, которая только читает /proc, df и uname. На сервер ничего не записывается.

  • Пользователь: достаточно любого пользователя, которому разрешён вход по SSH, — без root и без sudo. Отдельный пользователь, например monitor, отделяет его от учётных записей людей.
  • Пароль или закрытый ключ: одно из двух. Ключ может быть в формате OpenSSH или PEM и не должен иметь парольной фразы. WatchZit хранит пароль или ключ в зашифрованном виде и больше никогда их не показывает.
  • Порт: 22, если вы не укажете другой. Сервер WatchZit (или удалённый коллектор, который выполняет проверку) должен до него доставать.

Ключ хоста: доверие при первом подключении

При первом подключении проверка принимает ключ хоста сервера и сохраняет его. При каждом следующем запуске ключ сверяется. Если он изменился, проверка переходит в состояние не работает и показывает новый ключ — так подменённый сервер или перехваченное соединение не останутся незамеченными. Если изменение ожидаемое, например машину переустановили, откройте проверку, отметьте Забыть сохранённый ключ хоста и принять следующий и сохраните.

Если не хотите полагаться на первое подключение, введите отпечаток сами в поле Ключ хоста. На сервере его показывает команда:

ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub

Поле принимает отпечаток SHA256 вида SHA256:…; пустое поле означает, что принимается первый ключ.

Подготовка сервера Windows (WinRM)

В Windows WatchZit читает WMI через WinRM. В Windows Server WinRM включён; в других версиях Windows включите его командой:

winrm quickconfig
  • HTTP, порт 5985: WatchZit входит через NTLMv2 и шифрует каждое сообщение ключом входа, как требует Windows. Ничего не передаётся открытым текстом, даже без сертификата.
  • HTTPS, порт 5986: нужен HTTPS-listener WinRM на сервере. TLS защищает сообщения, а вход привязан к сертификату (channel binding). Если listener использует самоподписанный сертификат, отметьте Принимать недоверенные сертификаты (самоподписанные).
  • Пользователь: в виде name, DOMAIN\name или name@domain. Это должен быть администратор или член группы Remote Management Users с правами WMI на root\cimv2. Для учётной записи мониторинга предпочтителен второй вариант. Пароль хранится в зашифрованном виде.

Добавление проверки в консоли

  1. Добавьте машину в разделе Устройства с именем и адресом, если её там ещё нет.
  2. Откройте страницу устройства и нажмите Добавить проверку.
  3. В поле Тип выберите Linux по SSH (без агента) или Windows по WinRM (без агента).
  4. Заполните Имя пользователя и Пароль. Для Linux вместо пароля можно вставить Закрытый ключ и при желании указать Ключ хоста. Для Windows отметьте HTTPS (порт 5986), если используете HTTPS-listener. Порт в обоих случаях необязателен: пустое поле означает 22 или 5985 / 5986.
  5. Задайте Интервал (секунды) и Тайм-аут (мс). Один запуск занимает несколько секунд, поэтому дайте ему тайм-аут не меньше 15 секунд (15000); интервала в минуту или больше достаточно.
  6. Нажмите Добавить проверку. После первого запуска страница устройства покажет значения, и с этого момента начнут заполняться графики.

Когда будете позже редактировать проверку, оставьте поле пароля пустым, чтобы сохранить прежний пароль.

Удалённые коллекторы: проверка, которая выполняется через удалённый коллектор в филиале, не может сама сохранить ключ хоста. Введите ключ в проверку; до этого проверка показывает ключ, который увидел коллектор, чтобы вы могли его сравнить и скопировать.

Триггеры и прогнозы

Так как значения называются как у агента, встроенные триггеры в разделе Проблемы → Триггеры следят за этими проверками сразу после их запуска:

  • Высокая загрузка CPU и Память почти заполнена — выше 90 % в течение 5 минут,
  • Диск почти заполнен и Диск заполнен — выше 90 % и 97 %.

Чтобы получить предупреждение до того, как диск заполнится, добавьте триггер вида Значение достигнет порога (прогноз): выберите значение диска, Порог и В течение (дней). WatchZit проводит прямую через последнюю неделю значения и открывает проблему, когда эта прямая достигает порога в пределах заданного числа дней. Проблема сообщает текущее значение, скорость его изменения в день и дату, когда порог будет достигнут.

Проблемы уходят в настроенные каналы уведомлений — e-mail, Slack, Microsoft Teams, Discord, Telegram, ntfy, PagerDuty, SMS или вебхуки, — а зависимости и окна обслуживания работают для этих устройств так же, как для всех остальных.

Когда агент лучше

Проверки без агента покрывают основное. Агент WatchZit видит гораздо больше, поэтому ставьте его везде, где это разрешено:

Без агента (SSH / WinRM)Агент WatchZit
CPU, память, swap / файл подкачки, время работыДа (в Linux ещё load)Да
ДискиСамый заполненный дискКаждый диск
Интерфейсы, службы, отслеживаемые процессы—Да
Машины Hyper-V, контейнеры Docker—Да
Журналы событий Windows, журнал systemd—Ошибки попадают в Журналы
СоединениеWatchZit подключается к машине (SSH или WinRM)Одно исходящее соединение от агента на порт 8444
На машинеНичего не установлено; пользователь с правом входаMSI для Windows, deb и rpm для Linux; обновляется сам из консоли

Хорошее правило: агент на своих серверах, проверки без агента на машинах, которые вам нельзя или невозможно менять.

Также новое в 1.4: сетевой путь и обучаемые триггеры

Сетевой путь (traceroute) — проверка, которая каждые пять минут трассирует путь до устройства, как MTR: для каждого маршрутизатора на пути — его адрес, потери и лучшее, среднее и худшее время (по умолчанию 3 пробы на хоп, до 30 хопов). Каждый запуск хранится 30 дней; страница устройства показывает последний путь, каждый хоп за последние 24 часа и десять последних изменений маршрута. Вместе с ней приходит триггер Loss on the network path (больше 20 % в течение 10 минут). Поставьте её на канал до филиала или провайдера, чтобы увидеть, где начинаются потери или задержка; с удалённого коллектора она трассирует путь от его площадки.

Необычное для этого времени значение (обученное) — триггер без порога. Он узнаёт из последних четырёх недель, что обычно для значения в каждый час недели, и открывает проблему, когда значение сильно отклоняется — выше, ниже или в любую сторону. Чувствительность бывает Высокая (больше проблем), Средний или Низкая (только большие изменения). Сравнивать он начинает после недели истории. Он работает и со значениями проверок без агента — например, для загрузки CPU, которая нормальна в понедельник утром, но не в воскресенье ночью.

Ограничения

  • Сообщается только об одном диске — самом заполненном. Для интерфейсов, служб, процессов и журналов нужен агент.
  • Ключи SSH с парольной фразой не поддерживаются; используйте ключ без неё или пароль.
  • Проверка Linux читает /proc, поэтому она рассчитана на Linux, а не на другие Unix-системы.
  • WinRM по HTTPS требует listener, который вы настраиваете на сервере Windows; пользователь WinRM должен быть администратором или членом Remote Management Users с правами WMI.
  • Один запуск занимает несколько секунд; очень короткие интервалы бесполезны. Через удалённый коллектор ключ хоста нужно вводить вручную.

Дальнейшие шаги

  • Нарисуйте серверы на карте сети рядом с маршрутизаторами и коммутаторами — см. руководство Современная альтернатива MikroTik The Dude.
  • Установите агента на серверы, где это можно, а проверки без агента оставьте для остальных.
  • Добавьте триггер с прогнозом для самых важных дисков.

Всё, что умеет WatchZit, — на странице возможностей; скачать его можно на странице загрузки, полное описание — в документации. Вопросы можно задать в GitHub Discussions. Компании могут получить коммерческую поддержку от MaxZit (только на английском).