Распределенный метод сопоставления астрономических каталогов на платформе Apache Spark
Мещеряков Александр Валерьевич
Институт космических исследований РАН
Постер на HEA-2016
Евгений Глотов (ВМиК МГУ), Сергей Герасимов ((ВМиК МГУ), Александр Мещеряков (ИКИ РАН)
В работе предложен горизонтально-масштабируемый алгоритм сопоставления астрономических каталогов, реализованный на платформе распределенных вычислений Apache Spark. Метод обеспечивает необходимую точность сопоставления каталогов и хорошую производительность в сравнении с лучшими реализациями подобных систем, доступными в астрономическом сообществе. Горизонтальная масштабируемость предложенного метода была подтверждена с помощью экспериментов на кластере, развёрнутом в облаке Microsoft Azure. Работа поддержана Российским фондом фундаментальных исследований (грант РФФИ №15-29-07085 офи_м).\r\n\r\nСсылка на публикацию: Глотов Е. С., Герасимов С. В., Мещеряков А. В. Распределенный метод сопоставления астрономических каталогов на платформе apache spark // Современные информационные технологии и ИТ-образование. — 2016. — Т. 12, № 1. — С. 153–162.
Другие доклады автора
2024Машинное обучение и СРГ/еРОЗИТА: результаты и перспективы уточнения photo-z рентгеновских квазаров
2023Применение машинного обучения для определения физических характеристик рентгеновских источников: результаты для СРГ/еРОЗИТА
2022Расширенный каталог объектов Сюняева-Зельдовича по данным спутника PLANCK с использованием глубокого обучения
2021Фотометрическая классификация и измерения красных смещений рентгеновских источников СРГ/еРозита при помощи машинного обучения
2020Отождествления, классификация и измерение красных смещений рентгеновских источников при помощи системы SRGz
2019SRGz: probabilistic photo-z measurements for X-ray sources in the SRG surveys
2018Измерение вероятностных фотометрических красных смещений рентгеновских источников методами машинного обучения
2018Применение алгоритмов глубокого обучения для автоматической морфологической классификации галактик
2016Распределенная обработка больших массивов изображений небесных обзоров при помощи Apache Spark
2016Анализ больших массивов астрономических данных в облаке
2016Измерение фотометрических красных смещений галактик скоплений галактик и квазаров по данным обзоров SDSS и WISE
2015Измерение красных смещений скоплений галактик z<0.45 с высокой точностью по фотометрическим данным SDSS
2014Классификация звезда-галактика-АЯГ и измерение красного смещения до объектов в полях точечных рентгеновских источников каталога 400d