Единый реестр интернет рекламы (ЕРИР)

- предоставить гражданам, обществу и государству достоверные сведения о распространении интернет-рекламы;

- обеспечить прозрачность, обоснованность и законность расходов, связанных с распространением интернет-рекламы;

- обеспечить выявление и фиксацию нарушений при распространении интернет-рекламы среди российских пользователей.

Сформирован единый банк данных сведений о коммерческой интернет-рекламе . Информация о всех рекламных кампаниях, которые демонстрируются в сети интернет (изображения, текст, звуковые сообщения, видео) и метаданные о рекламе загружается в единую базу данных. Разработаны инструменты контроля качества данных.

В ЕРИР содержится информация по рекламораспространителям, источникам финансирования площадок, реклама государственных компаний и компаний с государственным участием, реклама органов власти, разработаны технические решения для выявления рекламы, нарушающей требования законодательства.

Разработаны личные кабинеты органов власти, в которых предусмотрены инструменты для проведения расследований и выполнения аналитики по данным об интернет-рекламе.

Реализована быстрая аналитика по рекламным данным.

СПО Робот позволяет выявлять незарегистрированную рекламу на различных интернет-ресурсах.

ЕРИР реализован с использованием передовых подходов проектирования архитектуры и построения процессов DevSecOps. Более 70 компонентов системы работают в ПО Kubernetes, включая аналитическую СУБД Clickhouse c 65 ТБ данных и программный брокер сообщений Apache Kafka, принимающий по несколько десятков тысяч сообщений в секунду.

Реализованные механизмы базируются на программно-технических решениях отечественного производства или свободно распространяемом программном обеспечении.

В разработке мы использовали такие языки программирования, как Java, Kotlin, Python и JavaScript.

С помощью свободного программного обеспечения Swagger осуществляется управление методами API.

Хранилище данных реализовано на основе БД Clickhouse.

Для обеспечения поиска, получения, записи и обновления сведений в хранилище данных использовались микросервисы, которые функционируют с помощью сервиса Spring Boot программной платформы Spring Framework.

Автоматизацию ETL/ELT процессов выполняет Airflow.

Для обеспечения выгрузок из отчетов используется JasperReports.

Для идентификации пользователей в Системе используется платформа управления учетными данными пользователей Keyloack.

С технической точки зрения ЕРИР — сложный и интересный проект, в котором мы столкнулись с большим количеством нестандартных проблем, но нашли подходы к их решению.

Например, одной из серьезных проблем стало большое количество данных, которые непрерывно поступают или уже зарегистрированы в ЕРИР. На текущий момент объем хранилища данных составляет более 65 ТБ.

Другой проблемой стало большое количество пользователей Системы, так как любой гражданин РФ может зайти на портал, авторизоваться через Госуслуги и проверить наличие у себя рекламных материалов. На текущий момент в ЕРИР зарегистрировано более 1 млн контрагентов, которые участвуют в размещении рекламы в интернете.

При реализации робота мы столкнулись со сложной задачей определения рекламы на веб-сайтах. Но благодаря удачному архитектурному решению и гибкой настройке правил мы научились находить рекламный контент на любых URL-адресах и анализировать полученную информацию.

Правильно выбранная архитектура системы, а также высокая экспертиза команды позволили справиться с поставленными техническими задачами.

Согласно закону о маркировке интернет-рекламы, вступившему в силу 1 сентября 2022 г., в ЕРИР должна передаваться полная информация о каждом рекламном материале.

До запуска рекламной кампании участники рынка предоставляют информацию о рекламном объявлении (креативе) - сведения о содержании рекламы, номера и дату контрактов в рамках размещения материала, а после окончания рекламной кампании – статистику о показах объявления и сведения о полученной оплате за услуги. В ЕРИР уже зарегистрировано более 28 млрд рекламных материалов и более 150 млрд статистической информации о размещении рекламы на различных интернет-площадках.

Системой ежедневно пользуются более тысячи граждан Российской Федерации.

С функциональной точки зрения система ЕРИР представлена несколькими модулями:

- Highload-сервис, который принимает данные в реестр;

- хранилище данных, реализованное на базе данных Clickhouse;

- модуль проверки качества данных;

- сервисы формирования отчетов, дашбордов;

- поисковый робот.

Сервис Highload позволяет непрерывно принимать данные в систему, выдерживая нагрузку до 50 rps. В случае успешного прохождения форматного контроля данные записываются в файлы, которые регулярно обрабатываются и загружаются в хранилище данных. Хранилище данных представлено несколькими слоями обработки данных и реализовано на базе данных Clickhouse. В процессе загрузки на разные слои данные проходят различные проверки логического контроля и процедуру очищения от дублирующихся записей. Последний, витринный слой данных, адаптирован для многопользовательской работы и быстрого получения результатов.

Пользовательские интерфейсы системы включают в себя различные таблицы, круговые диаграммы, гистограммы, графики и другие элементы визуализации данных. Также в них имплементирована работа с изображениями. В основе интерфейсов лежит библиотека компонентов, разработанная командой с использованием библиотеки React JS.

Специальное программное обеспечение «Робот» проверяет информацию в интернете для выявления рекламы, не зарегистрированной в реестре или нарушающей закон. Наш «Робот» - это, в первую очередь, инструмент контрольно-надзорной деятельности, который позволяет отслеживать исполнение закона о маркировке рекламы в сети интернет. В начале проекта мы столкнулись со сложной задачей определения рекламы на веб-сайтах. Но благодаря удачному архитектурному решению и гибкой настройке правил мы научились находить рекламный контент на любых URL-адресах и анализировать полученную информацию.

Этот проект - один из тех, что делает мир вокруг нас безопаснее и защищает пользователей от различных мошенников и негативной информации. Мы успешно взаимодействуем с Заказчиком благодаря экспертизе наших технических специалистов и усердной работе каждого.

Проект охватывает всех участников рынка интернет-рекламы, размещаемой для привлечения внимания потребителей рекламы, находящихся на территории Российской Федерации, а также автоматизирует деятельность органов государственной власти, осуществляющих контроль в установленных сферах ведения(РКН, ФАС, ФНС).