Доклад Николая Ковалева об эволюции хранения данных в АСУ ТП: от бинарных файлов и реляционных СУБД к промышленным архиваторам и базам данных временных рядов. Рассмотрены требования контуров ОТ и ИТ, обзор СУБД для разных уровней автоматизации, стратегии миграции и подход с единым пространством имён на основе брокера сообщений.
- 00:37 Эволюция хранения данных в SCADA: от бинарных файлов к архиваторам
- 03:10 Реляционные и объектные СУБД в промышленной автоматизации
- 06:24 Промышленные архиваторы и историаны: сжатие и буферизация
- 08:05 Базы данных временных рядов для аналитики и их механика
- 12:25 Разделение АСУ ТП на контуры ОТ и ИТ
- 15:30 Обзор СУБД для уровней автоматизации
- 17:47 Уровни АСУ ТП и выбор баз данных
- 20:10 Стратегии миграции и единое пространство имён
- SCADA
- ПЛК
- Modbus
- PROFINET
- ИСА-95
Кому полезно: Инженерам АСУ ТП, архитекторам и специалистам по промышленным данным
Описание составлено автоматически по расшифровке речи в ролике.
Расшифровка видео
0:00 Слово Николаю Ковалеву, ведущему архитектору Айти решений компании Скада системы. Здравствуйте, уважаемые коллеги, в 1 очередь хотел бы сказать большое спасибо. Компания Томик софт, что позволило принять участие в таком масштабном. Интересном мероприятии и возможность привнести частичку своих знаний в общее дело. Наша промышленная автоматизация и построение системы СТП Спасибо.
0:37 Так, в целом мое выступление посвящено аналитике существующих баз данных для задачи СТП. Вот мы пройдем короткий экскурс, по тому, с чего все начиналось. Как изначально писалась информация, затем посмотрим, какие базы данных стали применяться, затем посмотрим, чем помогло нам Айти Комьюнити, да что она. Принесла нам, чтобы улучшить нашу жизнь, улучшить качество и скорость записи данных. Ну и затем попробуем разобраться немножко в импортозамещении, посмотрим.
1:18 На что можно поменять импортные решения, каким образом и рассмотрим определенные пути? Значит, эволюция, если можно так выразиться. Начиналось с того, что в самом понятии Скада заложены да даты экзишен, сбор данных, вот и данные изначально. Да, на заре промышленной автоматизации писались в обычные бинарные файлы влоги. Велись внутри Скада, вот все это было ненадежно, это было весьма хрупкой. Данные терялись, файлы ломались, тренды не строились, поэтому по инженерная комьюнити быстро сообразила и подсмотрела, что в этом плане отлично помогут.
2:07 Реализационные базы данных, объекты авиационных базы данных, а затем посредством переработки и доработки этих баз данных. Пришли к тому, что построили в целом свой собственный продукт промышленные. Архиваторы, который стал, по сути, золотым стандартом от и контура, который позволял быстро и качественно собирать информацию, также быстро извлекать. Вот ну и с 2015 года начали активно. Привлекать база данных временных рядов уже в промышленную автоматизацию, которые позволили решать задачи более глубокого, более емкого контура. Это та же синергия от и и это сквозная аналитика. Это Дашборды, то есть где требовалось не просто технологическая информация в виде временных рядов, а где нужен был контекст, где нужно было смесь бизнес, метрик с технологическими данными.
3:10 И начнем наш путь, краткий экскурс в революционные объекты, революционные субэды, классические представители. Да, это Эски Лайт Месовский эль, это постгрей постгрейс про Энтерпрайз. Да вот эти системы активно использовались и используются в промышленной автоматизации. Спрашивается, зачем, почему, ну потому, что это очень удобно, оказалось, чем писать в. Обычные бинарники, да то есть это двумерная таблица, куда мы можем записывать достаточно быстро. Все эти логические информации, поступающие с поля, писались они в виде строк вот. К сожалению, пока тогда в 1 строку писалось все и Айди Тега и значение метка времени качества. Вот ну в целом это работало, заработало хорошо, были механизмы транзакционной.
4:10 Чеке и правильности записываемых данных вот это была высокая скорость записи, это была надежность и в целом всех это устраивало в условно 1970 года. Вот, но в это же время активно развивалась объектно ориентированное программирование. Вот и инженерной комьюнити запросила, что мы не хотим просто писать данные в виде двумерных таблиц. Мы хотим писать свои иерархии, мы хотим писать свои методы, мы хотим иметь свои типы данных и на помощь пришли объекты, редакционные субдд.
4:49 Промышленной автоматизации это значительно помогло. Да, то есть инженеры смогли в объекты авиационных субдд построить такую же иерархию, которая была на производстве условно. Завод цех линии, датчик и какая то экземпляр датчика. Вот это позволило ускорить скорость записи извлечения построения трендов, вот также эти системы широко стали применяться. И в уровнях чуть выше до уровень мес и РП систем, но время шло лавинообразный поток данных. Не останавливался прямо по экспотенциально, все это росло количество различных. Проприетарных протоколов росло, все создавали там свои профинет и профи басы, зардеты. Вот, к сожалению, классические субэдэ этого ничего не понимали, этот отель контра не понимали.
5:49 Они. Из за раздувания индексов да при записи начинали подтормаживать, при какой то сложной выборке за длительные промежутки времени. Вот ну и как я и сказал, да на борту не было от протоколов. Которые позволяли быстро интегрировать полевой уровень с системами базы данных на производстве. И товарищи из пайсистом, из оси софт досели и придумали, по сути, свой собственный.
6:24 Свой собственный промышленный архиватор. Да вот осесов это сделал, 1 да затем подтянулись другие производители. Вон трава, Сименс, рокул автомейшн, вот и в целом они придумали индастриалки сторисы, что это такое.
6:46 Значит, в основе лежит эскиль движок? Да, но данные записывались в виде описи стандарта. Да, это Айди Тега, Метка, времени, значение и код качества, да то есть то, что. В принципе и необходимо для хранения психологической информации выборки и построения трендов. Да, из за того, что классические революционные субэдэ очень сильно. Раздувались из за объема поступающей информации, повышались требования к жесткому диску. То товарищи инженеры придумали различные методы сжатия этой информации. К сожалению, с потерями, но все же это был метод Зона нечувствительности, метод вращающейся двери. Вот которые позволили снизить требования к дискам на 80 90.%
7:38 Вот они же заложили очень важный базовый функционал, это технологии сторен, форвард, буферизация. В случае обрыва связи информация не терялась. Вот, ну и это позволило делать достаточно быструю выборку построение трендов за длительные периоды, за множество параметров. И соответственно позволило уже строить резервируемой системы. Вот ну сейчас хесторианы, это золотой стандарт и применяется он везде. Это мониторинг диспетчеризация, это скада системы, это и те же айти, и эти вычисления, то есть. Ну, это достаточно популярный и надежный способ хранения информации. Вот, но опять же время идет, да? И корпоративный уровень начал предъявлять собственные требования к технологической информации. Стал говорить о том, что нам не нужны ваши сырые данные задачи. Там за какое то время нам не нужна ваша температура. Нам нужно видеть информацию в контексте, да то. Есть брать вашу технологическую информацию, пропускать ее, через какие то бизнес метрики и строить Дашборды аналитику считать ее вот. И, к сожалению, классические архиваторы. Ну, с этой задачей не могли справиться, поэтому опять же товарищи автоматизаторы подсмотрели. Войти увидели там классное решение, эту базу данных временных рядов, вот яркие представители. Это инфлюкс Таймский, это же в том числе относится и Альфа Хисториан и Авад стереоархивирование кликхаус. Они все построены на движке базы данных временных рядов.
9:30 Вот и вкратце посмотрим, что опять же из себя это представляет. Да, ну, концепция общая, это временные ряды. Да, то есть есть несколько способов реализации, в частности и стативная ТСБД, это собственные новости и Ледвижок. Который позволяет быстро писать технологическую информацию, он, по сути, делается точен под это дело. Вот помимо есть революционное расширение, это когда классические объекты, авиационные суббота, дорабатываются под временные. Ряды, чтобы позволялось, был позволено быстрой записи быстростения этих временных рядов. Вот это колоночная лапа, аналитические, например, кликхаус. Да, для задач молниеносного сбора там миллионов параметров с поля там. Допустим, для каких то серьезных распределенных, а ведь и систем, вот и коширующие ТСБД. Ну, в 1 очередь направленные на используется для обучения моделей там, где на большие объемы информации хранятся в оперативной памяти.
10:38 Вот механика в целом описано, так что приходит информация, вот она пишется в общий лог. Файл и формируются временные блоки, параллельно уже поступившая информация. Распределяется по определенным интервалам, там часы в сутки дни. Вот затем эта информация сжимается способами без потери или с потерями, как в промышленных архиваторах и затем.
11:06 Делается прореживание информации для высвобождения места на жестком диске. Да, то есть когда какой то параметр, по сути, долгое время не менялся, то нет. Смысла хранить эту информацию можно ее загружать до 1 параметра и присвоить метку времени за всю длительность нахождения этого параметра в этой точке.
11:26 Преимущество, да то есть опять же это экономия дискового пространства. Это уже возможность получать информацию для других, для аналитических систем, где ее можно смешивать с бизнес контентом и уже. Строить какую то сквозную аналитику Дашборда, вот это опять же открытый формат данных. Да то есть, если архиваторы могли отдать это, по какому то собрать, по какому то протоколу и отдать, то здесь. По сути, опыт сорта вы можете с помощью эскиза транзакции эту информацию забирать к себе в какие то сторонние аналитические системы. Вот ну и эти базы данных уже нашли широкое применение, да? Мониторинг диспетчеризации они уже активно, в том числе и заменяют промышленные хисторины. Это системы предиктивной аналитики, это оперативное управление производством тех же мест системы Лим системы.
12:25 Вот, но для начала, прежде чем попытаться менять, где то заменять существующую базу данных на предложенные, нужно все таки разграничить функционал до нужно. Нашу систему СТП разделить на 2 контура, которые, по сути, пока живут свои по своим правилам, по своим принципам. Вот, но в конечном итоге, куда мы движемся, да? Мы должны достичь того, что будет какая то слияние этих 2 контуров, и они будут разговаривать на 1 языке. Ну, пока база данных мы разделяем, поэтому в операционных. Технологиях в этой контуре действуют такие правила, как непрерывное управление технологическим процессом, до производство не должно останавливаться. Вот это обычная изоляция полной изоляции от интернета посредством демилитаризованной зоны, и да опять же сохраняется необходимость от и протоколов, то. Есть полевой уровень, пока еще разговаривает на разных языках, поэтому нам нужно понимать и модбас, и семьи профинет вот информационные технологии это. Уже другой другой мир, другие правила, вот там, в 1 очередь, это целостность данных, вот это контролируемый доступ, интернет, это управление и аналитика. Бизнес процессов, да то есть система класса и РП БИ Ай ЦРМ, вот и в нашей модели автоматизация до пояса. 95 Надо эти контуры как то подружить, вот но пока.
14:11 Вот такие вот требования предъявляются совершенно противоположные к этим 2 контурам. Да, там ключевой приоритет, это вот эта доступность. Айти контур конфиденциальности, целостность данных. Да вот о контуре до сих пор требуется, да там от и протоколы требуется стороны. Форвард требуется устойчивость к сбоям связи, в то время как войти контур. Это все таки транзакции, да это сложные революционные запросы. Для построения сложной сквозной аналитики, ну, это нативная поддержка биоинструментов. Да там такие, там, как графа, на и тому подобное.
14:54 Вот и я сделал небольшую выборку доступных на сегодняшний день систем субдд, которые мы попробуем поприменять на разных уровнях автоматизации и посмотрим, где база данных могут уже перекликаться. По функционалу, который требует от и эти контур, а где еще до сих пор необходимо использовать? Но, по сути, там промышленные хисторианы или же постгорс, про где нужно сложные традиционные механизмы.
15:30 И на выбор, вот я составил такой небольшой списочек. Да, это Эски Лайт, это классическая революционная су БД, постгресс про вот которая в принципе используется. Его т контуре войти контуре, но со своими особенностями вот это гибридная субаде Таймс Кейл. Это база данных временных, которые в виде доработки. Сделана для постгорс про вот это Альфа Кистория. Это и база данных временных рядов, и в какой то степени это можно назвать промышленным архиватором. Это Вацсер в архивирование, да тоже специализированная база данных временных рядов, вот и аналитическая ла база данных временных рядов Кликхаус.
16:17 Вот и посмотрим, как эти базы данных можно применять для решения различных производственных задач. По Иса, по Иса, 95 да, то есть полевой уровень. Где у нас встраиваемые системы, это вычисления ПЛК датчики, вот где у нас достаточно легковесное решение с точки зрения сбора информации. Да, обычно это могут быть опять те же, какие то внутренний лог файлы каких то не микроскат там микроскат, это могут быть какие то модули. ПК, которые самостоятельно собирают информацию, вот и обычно эта информация хранится локально и затем передается на более высокий уровень.
17:02 В в уровень скада вот то с этой задачей вполне отлично справится и скилайд до авиационное субдд, а также если у вас есть там сквозной подход. К построению системы СТП и вы будете использовать продукты Альфа платформа, то Альфа Хистори он вполне сможет великолепно справиться с этой. Задачей, да он может собирать какие то локальные данные. И потом, через Альфа сервер, эти данные транслировать в то же время, на какой то общий. Центральный архив Альфа Кисториан, вот и выборку. Вы можете делать как на полевом уровне, там каким то клиентам также и данные отдавать выше В.
17:42 Какие то бизнес системы или же там внес решение? Уровень 2 цеховой, это классический слой доска. Да, это диспетчерские пункты, операторские, это надежный быстрый сбор производственных данных с полевого уровня. Это сторан форвард, это применение т протоколов, вот это построение трендов и здесь, по сути, да? Опять же этот золотой стандарт промышленных активаторов вспоминается, и эта задача как раз таки свойственна в 1 очередь для Альфа Кисториан. И для вас сервер хевирования для базы данных временных рядов, которые с этими задачами очень хорошо справляются.
18:24 Дальше уровень управления производством, да там, где у нас обычно находится мес системы Лим системы, вот где уже идет подъем технологической информации, но уже требуется некий контекст. С какой то аналитикой, вот где уже нужно, какие то эскизы запросы строить где нужно, какую то уже бианалитику минимальную применять? Вот то здесь, наверное, лучше всего с этой задачей будет справляться. Революционная база данных, вот ну или в какой то степени эти функции тоже могут выполнять Альфа чисто реальные. У вас вот тут заканчивается наш от и контур, да идет демилитаризованная зона, вот и затем.
19:13 Тот самый корпоративный уровень, который хочет видеть производственную информацию не в чистом виде. Да, а в контексте, вот и здесь, на лучшим образом, справляется, наверное, у лап. Базы данных временных рядов, такие как кликхаус или опять же можно использовать постгре про профешинал, вот которые уже смогут в себе агрегировать как производство. Информацию через запросы на нижний уровень так и обращаться в. Какие то сторонние системы там ЦРМ системы и РП Системы, и на основании смешения этих 2 потоков информации строить уже аналитику Дашборды сквозные, какие то отчеты. Вот что пока не удается, что пока не требуется на этой контуре.
20:04 Вот и быстренько, буквально у меня минутка стратегии миграции. Ну, 1 классический подход, вот это прямая замена. Когда мы просто решили поменять импортную скаду на отечественную скаду, вот то наилучшим образом с этой задачей справляется. Продукты компании Атомик Софт да Альфа Платформа, которая предоставляет весь спектр решений, начиная от альфа сервера, предоставляет сервер архивирования, предоставляет клиента. И, по сути, вы просто можете выбросить условно там.
20:44 Авива платформ, да и поставить Альфа платформу. Опять же, с точки зрения архивирования там можно использовать и Авац. Опять же совместно с какой то скада системой, чтобы использовать ее набор от и. Протоколов, ну или же с помощью инженерии да попробовать использовать тайм? Скейл настроить ее на сборку на на сбор технологической информации, вот и затем предоставлять эту информацию клиентам.
21:15 Также есть гибридный подход, когда бизнес уже требуют производство, еще не может, поэтому можно просто в параллель поставить дополнительный контур сбора информации. Вот обычно это делается, как я говорил. Да, уже на объекты авиационных и авиационных субдд, вот мы там можем развернуть кликхаус или постгорс. Про вот и параллельно информацию собирать в этой базе данных и потом ее предоставлять уже на. Корпоративный уровень, вот ну и опять же время не стоит на месте. Да, мы говорим все о классических подходах, вот ну а вот если посмотреть на индустрию. 4 0 Да, которая то идет, то заканчивается вот, но она вот. В свое время предоставила вам такой механизм, как единое пространство имен, где подход к построению систем автоматизации совершенно другой. Вот он предлагает нам не использовать какие то конкретные решения. А предлагает нам построить модель сбора на основе брокера сообщений, когда все системы, которые будут задействованы в пирамиде. Автоматизации являются поставщиками данных вот в каком то едином формате. Вот они свою информацию публикуют в едином, распределенном брокере сообщений и, допустим, с использованием протокола МП или Спар Плакби. Эту информацию подписываются потребителя, в том числе и какой то. Хистори, он да какой то какая то субд, которая в себя накапливает необходимую ей информацию. Вот этот подход удобен тем, что мы не привязываемся, никакому производителю не привязываемся, каким то протоколом. К Вендорам, вот мы в любой момент можем заменить архиватор 1 архиватор 2 или же скаду 1 поменять на Скаду. 2 Вот и на сам процесс это никак не повлияет, все я и так затянул. Большое спасибо, я запомню.
23:17 Спасибо, Николай, коллеги, мы успеваем задать буквально 1 короткий вопрос Николая по теме доклада. Есть у нас в зале такой вопрос. Спасибо.
Расшифровка сделана автоматически (Yandex SpeechKit) и может содержать ошибки в терминах.