Анализ больших массивов астрономических данных в облаке
Мещеряков Александр Валерьевич
Институт космических исследований РАН
Постер на HEA-2016
Авторы: Сергей Герасимов ((ВМиК МГУ), Александр Мещеряков (ИКИ РАН)
Методы машинного обучения позволяют прогнозировать фотометрическое красное смещение галактик и строить объемные карты распределения астрономических объектов во Вселенной, которые в настоящее время широко используются в фундаментальных задачах внегалактической астрономии и наблюдательной космологии. Однако применение построенных прогностических моделей к доступным астрономическим каталогам, содержащим данные широкополосной фотометрии для объектов на всем небе, требует значительных вычислительных ресурсов. В данной работе был обобщен успешный опыт по применению технологии Apache Spark в облачной инфраструктуре Microsoft Azure для решения задачи точного прогнозирования фотометрических красных смещений галактик на большом массиве данных астрономических каталогов из обзора SDSS. Работа поддержана Российским фондом фундаментальных исследований (гранты РФФИ №14-22-03111 офи_м и №15-29-07085 офи_м).
Другие доклады автора
2024Машинное обучение и СРГ/еРОЗИТА: результаты и перспективы уточнения photo-z рентгеновских квазаров
2023Применение машинного обучения для определения физических характеристик рентгеновских источников: результаты для СРГ/еРОЗИТА
2022Расширенный каталог объектов Сюняева-Зельдовича по данным спутника PLANCK с использованием глубокого обучения
2021Фотометрическая классификация и измерения красных смещений рентгеновских источников СРГ/еРозита при помощи машинного обучения
2020Отождествления, классификация и измерение красных смещений рентгеновских источников при помощи системы SRGz
2019SRGz: probabilistic photo-z measurements for X-ray sources in the SRG surveys
2018Измерение вероятностных фотометрических красных смещений рентгеновских источников методами машинного обучения
2018Применение алгоритмов глубокого обучения для автоматической морфологической классификации галактик
2016Распределенная обработка больших массивов изображений небесных обзоров при помощи Apache Spark
2016Распределенный метод сопоставления астрономических каталогов на платформе Apache Spark
2016Измерение фотометрических красных смещений галактик скоплений галактик и квазаров по данным обзоров SDSS и WISE
2015Измерение красных смещений скоплений галактик z<0.45 с высокой точностью по фотометрическим данным SDSS
2014Классификация звезда-галактика-АЯГ и измерение красного смещения до объектов в полях точечных рентгеновских источников каталога 400d