NobleBlocks

Research indexJournal article

Разработка веб-сервиса обработки больших данных на основе декларативного описания трансформаций

Коновалов

Electronic Library of Peter the Great Polytechnic University4 Sep 2026Open access

NobleIDark:/48914/w1/20261105/CC89933EDOI10.18720/spbpu/3/2026/vr/vr26-4909

Free to read at the publisher

You can read the abstract here, or the full text at the publisher.

Read at the publisher

Abstract

Объектом исследования являются методы и инструменты интерактивной подготовки табличных данных. Предметом исследования - архитектурные подходы к построению веб-сервисов, сочетающих визуальный интерфейс для аналитика с возможностью обработки больших файлов. Цель работы - разработать веб-сервис, в котором аналитик без навыков программирования интерактивно формирует декларативный контракт трансформаций и применяет его к большим табличным файлам с автоматическим выбором вычислительного движка. В рамках локального стенда целевая проверочная планка установлена на уровне до 100 гигабайт; дальнейшее увеличение объёма определяется доступными вычислительными ресурсами, хранилищем и конфигурацией развёртывания. В работе выполнен систематический анализ существующих инструментов обработки табличных данных (Microsoft Excel, Google Sheets, Pandas, Polars, DuckDB, Apache Spark) и платформ интерактивной подготовки данных (Trifacta, OpenRefine, Alteryx, Talend). Выявлен разрыв между доступностью и масштабируемостью существующих решений, что обосновывает актуальность разработки. Разработаны три научно значимых компонента архитектуры и один обязательный инженерный механизм: метод Shadow Sampling, обеспечивающий раннюю готовность предпросмотра до завершения полной загрузки; декларативный контракт трансформаций с виртуальной валидацией, обнаруживающей ошибки до выполнения; механизм адаптивного выбора вычислительного движка; фоновые задания экспорта с состояниями queued/running/succeeded/failed и опросом результата из frontend. Программный продукт реализован с использованием стека технологий FastAPI, SQLAlchemy 2.0 с асинхронным драйвером asyncpg, React 18 с TypeScript, Tailwind CSS, PostgreSQL, MinIO (S3-совместимое объектное хранилище), PySpark. Публичный путь экспорта реализован как асинхронное задание: клиент создаёт job, опрашивает его статус, показывает прогресс, ошибку, повторную попытку и ссылку скачивания после завершения. Экспериментальное исследование и финальная проверка подтверждают работоспособность ключевых сценариев. Бенчмарк зафиксировал готовность предпросмотра на файле 4,32 ГБ за 2,76 секунды и пиковое потребление ChunkedPandasExecutor 234,6 МБ на файле 2 ГБ. Таблица предпросмотра стала видимой пользователю через 3655 мс при 7 % прогресса загрузки.

Discussion

More

Suggest a correction or report