Распределенная обработка больших массивов изображений небесных обзоров при помощи Apache Spark
Мещеряков Александр Валерьевич
Институт космических исследований РАН
Постер на HEA-2016
Авторы: Иван Колосов (ВМиК МГУ), Сергей Герасимов ((ВМиК МГУ), Александр Мещеряков (ИКИ РАН)
Объемы данных цифровых небесных обзоров, которые уже сейчас достигли порядка нескольких петабайт, в будущем продолжат расти. Поэтому актуальна задача создания настраиваемых и масштабируемых конвейеров обработки данных небесных обзоров, позволяющих исследователям решать интересующие их задачи, используя большой объем накопленных данных. Данная работа посвящена экспериментальному исследованию применения технологий аналитики больших данных, в частности, Apache Spark, для обработки фотометрических данных небесных обзоров. Исследованы сценарии создания сборок (англ. coadds) больших областей неба путем совмещения большого числа архивных изображений (на примере данных SDSS Stripe 82) и сценарий создания каталога объектов из потока изображений с обзорного телескопа (на примере данных DECaLS). Проведенные эксперименты позволяют заключить, что на платформе Apache Spark можно создавать эффективные настраиваемые конвейеры обработки больших массивов астрономических данных, обладающие свойствами масштабируемости и отказоустойчивости. Работа поддержана Российским фондом фундаментальных исследований (грант РФФИ №15-29-07085 офи_м).
Другие доклады автора
2024Машинное обучение и СРГ/еРОЗИТА: результаты и перспективы уточнения photo-z рентгеновских квазаров
2023Применение машинного обучения для определения физических характеристик рентгеновских источников: результаты для СРГ/еРОЗИТА
2022Расширенный каталог объектов Сюняева-Зельдовича по данным спутника PLANCK с использованием глубокого обучения
2021Фотометрическая классификация и измерения красных смещений рентгеновских источников СРГ/еРозита при помощи машинного обучения
2020Отождествления, классификация и измерение красных смещений рентгеновских источников при помощи системы SRGz
2019SRGz: probabilistic photo-z measurements for X-ray sources in the SRG surveys
2018Измерение вероятностных фотометрических красных смещений рентгеновских источников методами машинного обучения
2018Применение алгоритмов глубокого обучения для автоматической морфологической классификации галактик
2016Распределенный метод сопоставления астрономических каталогов на платформе Apache Spark
2016Анализ больших массивов астрономических данных в облаке
2016Измерение фотометрических красных смещений галактик скоплений галактик и квазаров по данным обзоров SDSS и WISE
2015Измерение красных смещений скоплений галактик z<0.45 с высокой точностью по фотометрическим данным SDSS
2014Классификация звезда-галактика-АЯГ и измерение красного смещения до объектов в полях точечных рентгеновских источников каталога 400d