Запросы заказчиков — ценнейший вклад в развитие продуктовой линейки ПАК Скала^р

Машина баз данных Скала^р МБД.П увеличила производительность до 135 000 транзакций в секунду по эталонному тесту TPC-B и ускорила резервное копирование в четыре раза по сравнению с классическими ИТ-продуктами. Александр Бурцев, владелец продукта «Машина баз данных Скала^р» (группа Rubytech), рассказал CNews, за счет каких технологических процессов удалось добиться таких результатов и как архитектура МБД.П соответствует современным требованиям кибербезопасности.

CNews: Машина баз данных Скала^р МБД.П впервые была представлена в 2015 году. На что вы опирались при разработке?

Александр Бурцев: Изначально мы проектировали Машину под конкретный запрос заказчиков, которым требовалось надежное высокопроизводительное решение для импортозамещения, адаптированное под СУБД Postgres Pro. Поэтому с самого начала в основу легли принципы безопасности и соответствия регуляторным требованиям, высокой производительности, отказоустойчивости и надежности.

Безопасность и соответствие требованиям ФСТЭК России обеспечивается на уровне архитектуры: ПАК разрабатывается в соответствии с концепцией Secure by design. Мы сразу закладываем разделение сетей управления, предоставления сервиса баз данных и интерконнект. Классическая конфигурация M-S-A (мастер, синхронная и асинхронная реплики) гарантирует бесперебойность: при сбое одного из трех узлов переключение на реплику происходит автоматически.

Для максимальной надежности в комплексе реализован модуль резервного копирования (МРК). В отличие от классических систем, которые обращаются к Машинам через внешних агентов, МРК встроен непосредственно в ПАК и сам является отказоустойчивым. Резервные копии находятся рядом с вычислительными узлами, что обеспечивает максимально быстрое восстановление данных через сеть-интерконнект.

Партнером по разработке ИТ-продукта стала компания Postgres Professional — лидер российского рынка СУБД. Они реализовали функционал базы данных для промышленных контуров, а команда Скала^р сосредоточилась на аппаратной платформе и ПО управления модульной инфраструктурой.

CNews: На что вы ориентировались при усовершенствованиях и доработках после запуска Машины в эксплуатацию?

Александр Бурцев: Все новые версии Машин рождаются не в лаборатории, а исходя из требований заказчиков, разделяясь на отраслевые запросы. Мы выделяем несколько направлений: госструктуры для хранения и обработки больших объемов данных (DWH, 1C/ERP), например, реестры и системы учета, автоматизированные банковские системы (АБС), автоматизированные системы управления технологическими процессами (АСУ ТП) в промышленном секторе.

Ключевым драйвером развития стали финтех-проекты банков, и монолитные 1С и ERP совместно с DWH (корпоративные хранилища данных), а также автоматизированные банковские системы (АБС) — там критична производительность и способность выдерживать пиковые нагрузки. Именно для этого направления мы разработали отдельную Машину специализированных банковских систем Скала^р МСП.БС.

В ходе серий исследований совместно с Postgres Professional удалось ускорить ПАК на аппаратном уровне. В частности, ведется работа с неоднородным доступом к памяти (NUMA) и компрессией данных. Сжатие не только экономит место, но и позволяет за одно обращение к дисковой подсистеме записать больше информации, освобождая ресурсы Машины для полезных вычислений. Технология CFS (сжатая файловая система) в СУБД Postgres Pro Enterprise дополнительно оптимизирует общий объем данных и повышает производительность приложений, требовательных к вводу-выводу.

Мы также синхронизировали выпуск Машин и обновлений с релизами Postgres Pro — заказчики получают актуальные функции и новейшие разработки в области ускорения СУБД сразу после выхода официальных релизов наших технологических партнеров, чьи ИТ-компоненты представлены в составе ПАК.

CNews: Для решения каких задач используют Машину Скала^р МБД.П?  

Александр Бурцев: Задачи можно объединить в три отраслевые группы.

Первая — государственные реестры данных. Раньше подобные системы строились на монолитных импортных решениях, таких как Oracle Exadata, работающих с петабайтами информации. При замещении такие массивы необходимо разделять на логические сегменты по несколько десятков или сотен терабайт. Разделение связано с ускорением работы государственных информационных систем и обеспечением их независимости от монолитных архитектур. Наша Машина идеально подходит для этой задачи благодаря модульной архитектуре: ПАК поставляется комплектами от 20 до 160 ТБ на модуль, которые можно комбинировать как конструктор — присоединять, объединять или разделять в рамках одного контура информационной системы, получая цепочку кластеров в виде модулей Машин. Такой подход позволяет реализовать требуемое горизонтальное масштабирование инфраструктуры поэтапно. 

Вторая группа — высоконагруженные системы банковского сектора, характеризующиеся значительной сложностью вычислительных задач. Совместно с разработчиками ПО для АБС была выполнена интеграция Машины баз данных с линейкой ПАК динамической инфраструктуры Скала^р: Машина виртуализации берет на себя прикладные вычисления, а МБД.П, подключенная по высокоскоростной сети, обеспечивает максимально быструю обработку запросов к базе данных. Взаимодействие компонентов координируется ПО собственной разработки, серверами балансировки и механизмами аварийного восстановления. На основе этого опыта нами было разработано комплексное решение для замещения АБС — Машина специализированных банковских систем Скала^р МСП.БС, которое было успешно внедрено в рамках проекта для одного из крупнейших банков России.

Третья область — базы «1С», ERP и DWH, а также логистические и производственные системы предприятий промышленных комплексов. Их специфика — значительная вариативность объемов и структур: от единых крупных хранилищ до распределенных комплексов из множества небольших баз. Для работы с этими системами создана специализированная инфраструктура, позволяющая консолидировать группы баз данных в различных контурах безопасности. В настоящее время ведется разработка решения для централизованной оркестрации таких групп баз данных, что оптимизирует использование вычислительных ресурсов и обеспечивает гибкое масштабирование. Для повышения производительности используются новейшие разработки Postgres Pro в области аналитических запросов, а также создается Машина для работы с гибридной нагрузкой OLTP/HTAP. Это позволит эффективно сочетать обработку транзакционных и аналитических нагрузок в единой инфраструктуре, обеспечивая высокую производительность и отказоустойчивость системы.

CNews: Растет спрос на доверенные ПАК для КИИ, в том числе в связи с ужесточением требований к субъектам критической информационной инфраструктуры. Соответствует ли Скала^р МБД.П критериям доверенности?

Александр Бурцев: Машина баз данных Скала^р МБД.П изначально создавалась для критически важных инфраструктур, поэтому процессы разработки и управления релизами всех компонентов выстроены с учетом критериев доверенности.

Доверенность ПАК означает не только соответствие самой Машины требованиям ФСТЭК России. Каждый компонент — ПО, СУБД, средства защиты информации и прочие комплектующие — внесен в реестры Минпромторга и Минцифры, а их совместная работа подтверждена тестами в наших лабораториях.

На мой взгляд, ключевой критерий доверенного ПАК — полный контроль над стеком технологий: он позволяет в любой момент управлять работоспособностью системы и обновлять ее компоненты. Обеспечение доверенности — непрерывная работа в режиме 24/7, в которую вовлечены инженеры-разработчики Машины, инженеры по безопасности и специалисты по валидации оборудования. Именно так появился бифуркатор Скала^р и его модернизации в нескольких поколениях новых разработок Машин.

Несинхронность релизных циклов производителей компонентов ПАК — серьезный вызов. Для достижения совместимости мы выстраиваем эффективную коммуникацию с вендорами, четко формулируем требования к доработкам и организуем многоуровневое тестирование в формате «черного ящика». 

Для тестирования и R&D мы используем собственные лаборатории, где проводятся комплексные испытания и автоматизируются сценарии стресс-тестов, что гарантирует надежную работу интегрированной ИТ-инфраструктуры. Наш релизный цикл — результат плотной работы продуктовых команд со специалистами вендоров-партнеров. Мы не просто участвуем в развитии рынка, но формируем его вектор: значительная часть улучшений в ПО и оборудовании берет начало в наших разработках, фактически задавая отраслевые стандарты качества и совместимости отечественных ИТ-технологий.

CNews: Скала^р МБД.П специально предназначена для работы СУБД Postgres Pro в высоконагруженных системах. Среди главных требований к ИВНС — и ключевых характеристик Машины — максимальная отказоустойчивость. За счет чего вы ее обеспечиваете?

Александр Бурцев: Наша стратегия обеспечения отказоустойчивости строится на многоуровневом подходе, сочетающем надежные архитектурные решения, современное ПО и оптимальный баланс программной и аппаратной составляющей.

В основу заложена трехузловая архитектура M-S-A, гарантирующая мгновенное переключение при сбое узла на его копию. Эта схема проста и хорошо работает, но есть нюансы. Например, если какой-то компонент выйдет из строя, его работу берет на себя «дублер». Сложность состоит в том, что нельзя продублировать все элементы. Поэтому мы подбираем конфигурации оборудования и ПО так, чтобы компоненты были полностью совместимы и эффективно дополняли друг друга — это обеспечивает бесперебойную работу всей системы. Фокус — на отечественных разработках, позволяющих оптимизировать работу ПО в составе Машин по ключевым метрикам производительности.

Параллельно мы сотрудничаем с партнерами для обеспечения отказоустойчивости в СУБД Postgres Pro, опираясь на проверенные мировые практики. На наших Машинах успешно функционируют решения на базе Corosync, Pacemaker и Patroni. Кроме того, развиваем собственные наработки с применением ПО BiHA и PROXIMA от Postgres Pro — это обеспечивает высокий уровень отказоустойчивости и бесперебойности бизнес-процессов. Ключевым фактором здесь является владение кодовой базой в РФ и возможность совместно вносить улучшения на основе практического использования ПО в промышленных контурах.

CNews: Машина баз данных Скала^р выполняет резервное копирование в четыре раза быстрее по сравнению с классическими СРК. Как вы этого добились?  

Александр Бурцев: Мы сосредоточились на исследованиях и разработках (НИОКР) в области максимально быстрого копирования и восстановления данных внутри Машины. Прорыв в скорости стал результатом многолетней совместной работы с командой Postgres Professional. Мы нашли архитектурное решение, обеспечивающее скорость значительно выше, чем позволяют классические способы: другой метод подключения, другие протоколы и разумное использование алгоритмов компрессии.

Сейчас ведется работа над дальнейшим ускорением архитектуры с фокусом на стратегии аварийного восстановления (Disaster Recovery) для банковских систем — максимально быстрое восстановление баз данных кластера. Разработку планируем представить через 1,5–2 года.

CNews: В Скала^р МБД.П реализована возможность управления метро- и геокластером через систему Скала^р Спектр. Какие преимущества это дает заказчикам?

Александр Бурцев: Ручное управление распределенными кластерами трудоемко — на некоторые операции DBA-инженеры могут тратить часы. ПО Скала^р Спектр автоматизирует эти процессы, выполняя роль ассистента, который позволяет быстро проверить все конфигурации при переключении. Это экономит трудочасы высококвалифицированных сотрудников и снижает вероятность ошибки, связанной с человеческим фактором.

Для “растянутого” кластера мы создали решение, позволяющее эффективнее использовать оборудование, распределенное между двумя ЦОДами. Машину можно переконфигурировать для работы в режиме синхронной репликации (если позволяют характеристики межЦОДовой сети) — это дает заказчику бОльшую гибкость в проектировании архитектуры и повышает отказоустойчивость на уровне доступности сервиса баз данных. 

CNews: В новой версии Машины заявлен рекордный показатель — 135 000 транзакций в секунду по TPC-B. Как этот результат соотносится с реальными нагрузками в промышленной эксплуатации, и какой запас производительности закладывается при проектировании решений для заказчиков?

Александр Бурцев: Тестов существует целое семейство. Результат TPC-B — это прежде всего наш внутренний эталон и базовый мировой стандарт с профилем нагрузки, близким к работе процессинга. Он нужен для объективной оценки прогресса: насколько эффективнее новая архитектура и конфигурация Машины по сравнению с предыдущей версией при неизменных параметрах тестирования.

Реальная нагрузка в промышленной эксплуатации — другая история. Производительность всегда определяется конкретными проектными решениями заказчиков: показатели зависят от того, что прикладное ПО считает транзакцией и какие метрики использует. Наиболее сложна декомпозиция финтех-продуктов и моделирование профиля нагрузки АБС на ядра обработки транзакционной нагрузки (OLTP) баз данных. Поэтому мы не ограничиваемся внутренним тестом: эффективность решений Скала^р проверяется на предварительных проектах — формируется конфигурация Машины под конкретные задачи и проводится нагрузочное тестирование на реальных данных заказчика. Цель — не достичь абстрактных показателей, а гарантировать, что мощностей Машины будет достаточно для импортозамещения существующей системы. Как правило, мы обеспечиваем запас производительности около 30–40%.

Отдельные высоконагруженные системы пока остаются вызовом. Для их решения объединяем усилия с партнерами в совместных исследовательских проектах: они адаптируют программную кодовую базу под оборудование, мы разрабатываем аппаратные решения и проводим научные исследования в области методик тестирования. Такой подход позволяет последовательно наращивать вычислительную мощность Машины и адаптировать её под задачи завтрашнего дня.

CNews: Что происходит после внедрения ПАК? Предоставляете ли вы сопровождение и техподдержку?

Александр Бурцев: Мы берём на себя полную ответственность за поддержку ПАК после внедрения: для заказчика создается единое окно поддержки от Группы Rubytech. В составе Машины присутствуют решения нескольких вендоров, но заказчику, чтобы получить ответ на вопрос или решить возникающие проблемы, достаточно обратиться к нам — мы консолидируем экспертизу и находим решение.

Выстроена трехуровневая система поддержки. Первая линия — консультанты. Вторая — инженеры эксплуатации и сервиса, выезжающие на объекты. Третья — полигон и команда инженеров-разработчиков Машины: если проблема слишком сложна для первых двух уровней, мы воспроизводим ее в лабораторных условиях, анализируем и готовим необходимые обновления и документацию.

К исследованиям на нашем полигоне могут привлекаться инженеры клиентов и вендоров. Запросы заказчиков и глубокие знания в области построения ИТ-инфраструктуры — ценнейший вклад в развитие продуктовой линейки ПАК Скала^р.

CNews: Каковы ближайшие планы по развитию Скала^р МБД.П? Над какими направлениями и почему будете работать в первую очередь?

Александр Бурцев: В планах — развитие стратегии аварийного восстановления, ускорение модулей резервного копирования и наращивание вычислительной мощности Машины для наиболее требовательных к нагрузке заказчиков, включая АБС и DWH с финтех-продуктами. Мы ищем баланс между самыми перспективными научными разработками в области ускорения работы СУБД и стоимостью транзакции такого комплекса с учетом интеграции с линейкой продуктов Скала^р. Речь идёт об оптимизации интенсивной OLAP-нагрузки, хранении и обработке данных в высокоскоростных Машинах по протоколу S3 (МХД.О), а также о реализации стратегии хранения резервных копий в ПАК МХД.Р (СРК).

Продолжим придерживаться принципа Secure by design — закладывать безопасность на этапе проектирования. Это может звучать как нечто само собой разумеющееся, однако на практике за этим подходом стоит колоссальный труд: сотни экспертов ежедневно занимаются тестированием, совершенствованием и интеграцией каждого компонента новой Машины баз данных Скала^р МБД.П.

Стратегический приоритет сегодня — глубокая совместная разработка с партнерами. Мы выходим за рамки стандартной настройки ПО и создаем специализированные решения, изначально спроектированные под архитектуры Машин, органично дополняя разработки вендоров собственными технологическими наработками на уровне аппаратных решений и программ для их оптимизации.

В центре нашего внимания — производительность и экономическая эффективность как ключевые драйверы ценности для бизнеса. Мы целенаправленно работаем над сокращением совокупной стоимости владения (ТСО), включая затраты на оборудование, энергопотребление, обслуживание и масштабирование. Параллельно оптимизируем стоимость за транзакцию, повышая пропускную способность систем и снижая ресурсоемкость операций. Такой подход позволяет нашим клиентам достигать лучших бизнес‑результатов при контролируемых затратах.