Ни минуты оффлайн — Выбираем промышленный LTE-роутер

Во многих системах связь с интернетом критически важна, и даже несколько минут простоя могут дорого стоить, например, в банкоматах, сигнализациях, системах мониторинга и контроля доступа.
В таких системах обычно используется несколько подключений к интернету и автоматическое переключение между разными каналами в случае недоступности основного канала.

Мне надоело самостоятельно изобретать failover на USB модемах, и захотелось делегировать это отдельной умной железке. Я решил сравнить несколько промышленных роутеров, чтобы выяснить, оправдывают ли они свое название, и насколько они лучше моих костылей. В статье будут сравниваться роутеры производителей iRZ, Termit, Robustel.

Основные требования к роутерам:

2 SIM-карты и автоматическое переключение между операторами — роутер должен автоматически определять потерю связи на одном операторе и переключаться на резервного. Это особенно важно для подвижных систем, когда покрытие сотовой сети не идеально.
Подключение по Ethernet — основная система должна видеть только шлюз по умолчанию, и не должна знать о модемной подсистеме на стороне роутера и переключениях каналов, поэтому никаких USB.
Поддержка современных протоколов VPN: IKEv2 и OpenVPN — для удобства администрирования, и чтобы не зависеть от реальных IP-адресов, роутеры должны уметь VPN. При этом поддерживать не только устаревшие PPTP и L2TP, но и современные протоколы.
(Опционально) поддержка GPS, наличие GPIO, serial интерфейсов RS-232/485 — эти функции не обязательны для наших задач, но мы рассмотрим их тоже, как бонус, который, возможно, будет кому-то полезен.

Проблема самодельных костылей

Failover — аварийное переключение интернет-канала на резервный, в случаях недоступности основного.

Обычно, для резервирования интернет-каналов я использовал бытовой Wi-Fi-роутер с прошивкой OpenWRT, и пакет mwan3. Он позволяет настроить автоматическое резервирование и балансировку между несколькими интернет-каналами, в том числе, между проводным подключением и USB-модемом.

Главный недостаток такого подхода — в разнородном оборудовании и хлипкой конструкции внешних USB-модемов. Мне нравились модемы Huawei E3372h с прошивкой HiLink (эмуляция Ethernet). Эти модемы достаточно стабильные и дешевые, но, при подключении внешних антенн, вся конструкция становится очень хлипкой. Жесткие провода антенны создают рычаг, и модемы банально вылазят из USB-порта, да и сам антенный разъем CRC9 не так надежен, как SMA, потому что не имеет резьбового крепления.

Сборки на внешних USB-модемах очень хрупкие: антенные разъемы не фиксируются, модемы вываливаются из портов

Конструкцию из двух USB-модемов с внешними антеннами приходилось очень жестко фиксировать, но все равно физические повреждения и выпадение из портов были главной проблемой. Такое решение подходит для статического монтажа в труднодоступных местах, но совершенно не подходит для установки в автомобиль или в электрощит на DIN-рейку.

Иногда в роутерах зависала подсистема USB, и модемы становились недоступны. Пришлось писать watchdog-скрипт, который бы отдельно следил за доступностью модемов, помимо mwan3, следящим за доступностью интернета. В какой-то момент мне это надоело, и я стал искать решение в одной коробочке, где все проблемы уже решили за меня.

Сравнительная таблица моделей

Промышленные роутеры дороже бытовых, даже с учетом отдельной покупки модемов. Поэтому главным критерием выбора моделей для обзора была стоимость. Дополнительные функции вроде Wi-Fi, выводов GPIO и системы GPS в нашем случае не нужны, но мы все равно сравним их как опции, влияющие на стоимость.

сновном. Для этого будем симулировать потерю связи, и замерять на стороне сервера, как быстро роутер смог восстановить связь.

В качестве целевого хоста к каждому тестируемому роутеру будет подключен маленький роутер TP-Link MR3020, который будет выполнять роль компьютера с полезной нагрузкой. На нем будет запущен OpenVPN, подключенный к серверу. На сервере будет запущен мониторинг, следящий за доступностью адреса внутри VPN-тоннеля.

То есть, на стороне сервера будет мониториться один фиксированный IP-адрес, назначенный на mr3020 через VPN-тоннель. Независимо от того, через какой канал идет трафик на роутере, сервер мониторинга будет взаимодействовать с одним адресом. Соответственно, если адрес доступен, это значит, что роутер успешно переключил канал, и в сети за NAT-ом есть интернет.
Чтобы OpenVPN-тоннель восстанавливался максимально быстро, на стороне сервера установим опцию keep-alive на минимальные значения, и отключим шифрование:

cipher none
ping 1
ping-restart 4

Нужно учитывать, что на переподключение VPN уходит время, и в реальности интернет восстанавливается быстрее, чем видно на графиках. Однако такой тест позволяет более честно оценить факт переключения канала, так как показывает, что клиенты за роутером смогли восстановить TCP-подключения и вернуться к штатной работе.

К каждому роутеру подключен TP-Link MR3020, с запущенным VPN-тоннелем. Работающим интернетом считается доступность IP-адреса 10.0.0.1 на стороне сервера

PingPlotter — программа для мониторинга

Программа мониторинга и сервер OpenVPN находятся на одном физическом компьютере с VPN-сервером. Мониторить я буду утилитой MultiPing, с помощью обычных ICMP Echo-запросов. Интервал запросов — 1 секунда — это позволяет видеть на графике даже кратковременную недоступность хоста.

Программа PingPlotter рисует удобные графики пинга, показывая задержку и потери пакетов

Признаюсь, я долго пытался выбрать систему мониторинга. Пробовал zabbix, cacti, скрипты на bash + rrdtool, но все это показалось слишком переусложненным для моих задач. В итоге я нашел прекрасную программу PingPlotter и ее упрощенный вариант без трассировки маршрута — MultiPing. Программа позволяет в реальном времени мониторить группу хостов с разрешением вплоть до 1 секунды, и рисовать подробные графики.

Антенна

Чтобы исключить разное качество приема из-за разных антенн, ко всем роутерам будут подключены одинаковые антенны Триада MA-2697. По заверениям производителя, антенна широкополосная, и работает в диапазонах GSM-9001800 МГц, 3G-2100 МГц, Wi-Fi-2400МГц и 4G WiMAX-2600МГц. Проверять качество антенны я не буду. Даже если она плохая, все роутеры будут работать в одинаковых условиях приёма.

Мобильные операторы

В каждый роутер будут установлены SIM-карты Мегафон и МТС, с обычным тарифом для физических лиц. Мегафон будет выбран основным, МТС резервным. В таком приоритете нет никакой логики, выбор случайный. В месте проведения тестов оба оператора имеют одинаково хорошее покрытие LTE.

Недостатки тестового стенда

Так как тестовый стенд находится неподвижно в помещении, качество покрытия сотовой сети не изменяется. В таких условиях невозможно искусственно имитировать плохое покрытие, когда сигнал сотовой сети есть, но потери пакетов слишком большие. По-хорошему, нужно было поместить стенд на поезд или автомобиль, и возить по отдаленным от города местам. Тогда можно было бы сравнивать, насколько хорошо встроенные модемы работают с плохим сигналом.
В нашем случае, мы сможем только воссоздать полную потерю связи на основном канале, и наблюдать, как быстро роутер переключится на резервный.

Termit CR41P

Роутер предоставлен компанией

SoC: Atheros AR9344 rev. 3
RAM: 128MB
Flash-память: 16MB
Wi-Fi: 802.11n (2.4GHz)
Модем: Quectel EC25-E (LTE Cat 4)
Прошивка: на базе OpenWRT 15.05.1
USB Host
MicroSD
Крепление на DIN-рейку
GPS/GLONASS: активная антенна 3V
Последовательные интерфейсы: RS-232/485
Выводы I/O: 2 цифровых входа (0-3V / 0-30V, гальванически развязанный), 1 аналоговый вход (0-24V), 1 цифровой выход (30V, 250 mA открытый коллектор), 1 выход реле (40V, 4A SPST)

Для установки SIM-карты необходимо раскрутить четыре винта и снять заднюю крышку.

Что ж, это повод рассмотреть внутренности подробнее.

Модемная часть выполнена в виде шилда, который надевается на основную плату.
В углу видно реле для мощной нагрузки, выведенное на пины I/O.

Самый богатый по функциям роутер в обзоре. Имеет проводной WAN, а также позволяет использовать Wi-Fi в режиме станции (клиента), как отдельный WAN. То есть может иметь четыре резервных интернет канала.

Веб-интерфейс сразу выдает LuCI из OpenWRT. Это видно как по дизайну, который не пытались замаскировать, так и по путям в URL. На мой взгляд, это скорее плюс, так как позволяет легко допилить систему под себя. В прошивку добавлены промышленные функции: Modbus, VRRP, MQTT. Через Modbus и MQTT можно управлять базовыми функциями, получать состояние сети, координаты GPS, температуру, переключать профили, перезагружать роутер, управлять пинами I/O.

Мониторинг интернет-каналов сделан через пакет multiwan, который в wiki OpenWRT назван устаревшим. Вместо него рекомендуется mwan3.

Настройка WAN

Интерфейс настройки приоритетов интернет-каналов. Можно выбрать один основной и два резервных. В нашем случае, модем выбран основным, а проводной WAN резервным.

Настройка приоритетов интернет-каналов. Можно выбрать основной и резервные

Нужно иметь в виду, что модем (радиомодуль) в роутере один, и только одна SIM-карта может быть одномоментно в сети. Система мониторинга проверяет доступность интернета в каждом канале с помощью ping-запросов на заданный хост. При этом нельзя проверить, на какой из двух SIM-карт есть интернет, можно только переключить на другой канал: проводной или Wi-Fi. Условия переключения SIM-карт настраиваются отдельно, и не зависят от общего мониторинга.

Настройка мониторинга доступности интернет-канала. Можно указать хост, который будет проверяться, интервалы проверок и число попыток

Так как мониторинг доступности (пакет multiwan из openwrt) воспринимает модем как один интерфейс, он не может инициировать переключение SIM-карты в случае недоступности интернета на модеме. Пакет multiwan может только переключать основной сетевой интерфейс. Условия переключения SIM-карты настраиваются отдельно, и среди условий можно выбрать только следующее: слабый сигнал, лимит трафика, роуминг, нет сети, отсутствует подключение PPP. То есть, в некоторых случаях, модем может не переключить SIM-карту, даже если на ней нет интернета. Например, если у оператора сбой в сети, при этом на модеме есть IP-адрес, или если оператор заблокировал доступ в сеть за неуплату, и редиректит запрос на заглушку с интерфейсом оплаты. В таком случае, ни одно условие переключения SIM-карты не будет выполнено, так как формально связь с оператором есть

Настройка условий переключения между SIM-картами не работает в связке с мониторингом доступности интернета

Симуляция аварии

Нам не удалось придумать способ программно симулировать условия для переключения SIM-карты на резервную в этом роутере, поэтому мы будем проверять переключение на резервный проводной канал. Для этого отключим антенны от роутера и посмотрим на график. Время переключения составляет в среднем 12-15 секунд, с учетом восстановления VPN-подключения. Можно сократить это время, уменьшив интервал проверок и число потерянных пакетов для срабатывания переключения, но слишком агрессивные настройки мониторинга будут часто вызывать ложные срабатывания, когда связь пропала всего на пару секунд.

Время переключения на резервный канал составляет около 15 секунд

Вывод

Роутер с большим количеством дополнительных функций. Интересно выполнена работа с модулем I/O: есть аналоговые и цифровые выводы, силовое реле. Можно управлять выводами удаленно и настроить триггеры. Это позволяет на одном лишь роутере построить простую автоматизацию с внешней периферией. Например, управлять теплицей или обогревом помещения.

Плюсы

Много дополнительных функций
Открытая платформа OpenWRT
Поддержка LTE Cat 4
Три типа WAN: модем, Ethernet, WiFi

Минусы

Нельзя указать разные адреса мониторинга для каждой SIM-карты
Условия переключения на резервную SIM-карту вынесены отдельно от мониторинга доступности интернета

Robustel R2000

Роутер предоставлен компанией

SoC: Atheros 533MHz
RAM: 64MB
Flash память: 16MB
Модем: Huawei ME909s-120 (LTE Cat 4)
Прошивка: закрытая, на основе Linux

Роутер с двумя Ethernet-портами и минимумом функций. Только один из LAN-портов может выполнять роль WAN. Прошивка закрытая, root доступа по SSH нет. Консоль ограничена своим интерпретатором с несколькими командами (подобно устройствам Ubiquiti).