авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 |   ...   | 3 | 4 || 6 | 7 |

«ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК На правах рукописи ...»

-- [ Страница 5 ] --

SPs SPs( F ) Наконец, алгоритм применялся к анализу записей полной * напряженности F. В этом случае алгоритмом было распознано 1 145 событий, из них 1 001 событие оказалось выбросами, а остальные 134 выбросов алгоритм не распознал (табл. 3.14). Рассчитанные вероятности для ошибок первого и второго рода составили 0.118 (11.8%) и 0.127 (12.7%) соответственно. Амплитуды 145 лишних событий варьируются между 0.17 и 4.1, среднее их значение составляет 0.432 (табл. 3.15).

Амплитуды же искомых выбросов лежат в диапазоне между 0.102 и 61.770 со средним значением 0.918 (табл. 3.12).

Оценивая полученные вероятности ошибок первого и второго рода, можно признать результаты обучения алгоритма SPs удачными. Наилучшим образом обучение прошло при работе алгоритма с горизонтальными компонентами X и Y, где вероятности ошибок лежали в интервале 3.5-11.5%. Наихудшим образом обучение сложилось при работе алгоритма с вертикальной компонентой Z, где вероятности ошибок первого и второго рода составили 17.1% и 18.0%.

3.3.6. Экзамен алгоритма SPs Внешний независимый экзамен состоял в применении оптимально обученных SPs( * ), SPs( Y ), SPs( Z ) SPs( F ) алгоритмов и к обработке записей, не * * * X принадлежащих материалу обучения. Для экзамена мы взяли другой фрагмент предварительных данных, зарегистрированных на той же обсерватории в последующий период 21-31 июля 2009 г. Тем самым, мы получаем более объективную оценку результатов распознавания алгоритма, чем просто на материале обучения. Согласно результатам ручного распознавания экспертами рассматриваемые записи содержали выброса на канале X, 844 выбросов на канале Y, 774 выбросов на канале Z и выбросов на канале F (табл. 3.13).

Полученные результаты распознавания алгоритмами SPs( * ) приведены в табл.

3.15 и 3.17 для каждой записи отдельно. При сравнении результатов работы алгоритма на данных за 1-20 июля (материал обучения, табл. 3.14) и данных за 21-31 июля (материал экзамена, табл. 3.16) видно, что качество распознавания примерно одинаково. Формально это подтверждается очень близкими значениями рассчитанного критерия качества.

Таблица 3.16. Статистика по событиям за 21/07/2009-31/07/2009, распознанным алгоритмами SPs( * ), SPs( Y ), SPs( Z ) и SPs( F ).

* * * X Выбросы, События, Пропу- Вероят- Вероят Критерий распо- распо- щенные Лишние ность ность качества Запись знанные знанные выбро- события ошибки ошибки K 0. экспертами алгоритмом сы 1-го рода 2-го рода X 853 854 50 51 0.059 0.060 0. Y 844 884 36 76 0.043 0.086 0. Z 774 731 108 65 0.140 0.089 0. F 846 789 124 67 0.147 0.085 0. Таблица 3.17. Статистика по лишним событиям (ложные тревоги) за 21/07/2009 31/07/2009, выделенным алгоритмами SPs( * ), SPs( Y ), SPs( Z ) и SPs( F ).

* * * X Мин. Макс. Средн.

Кол-во Мин. Макс. Средн.

длитель- длитель- длитель Запись лишних ампли- ампли- ампли ность, ность, ность, событий туда, нТл туда, нТл туда, нТл точки точки точки X 51 0.230 8.300 0.971 11 65 24. Y 76 0.200 1.580 0.479 12 44 22. Z 65 0.110 1.080 0.259 6 81 20. F 67 0.170 7.360 0.615 11 106 24. Наибольшее расхождение в значениях критерия качества наблюдается в случае компоненты Z : на этапе обучения критерий качества принял значение K0.8 0.172, а на этапе экзамена – K0.8 0.129. Тем самым, качество распознавания оказалось выше на этапе экзамена, вероятность ошибки первого рода составила 0.14 (14%), вероятность ошибки второго рода составила 0.089 (8.9%). В случае компоненты Y, K0.8 0.051 в обоих случаях (табл. 3.14, 3.16).

Это позволяет сделать вывод о том, что степень эффективности распознавания, достигнутая на этапе обучения, сохраняется и для материала экзамена.

3.3.7. Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания Наконец, мы осуществили полноценный контрольный тест «вслепую». В этом тесте мы использовали другой фрагмент записей, зарегистрированных на магнитной обсерватории на о. Пасхи в интервал времени с 1 по 31 августа 2009 г. Особенность теста «вслепую» заключалась в том, что на момент обработки данных алгоритмом в распоряжении имелись только предварительные, необработанные данные, т.е. априори не было известно, как должны выглядеть окончательные данные, обработанные экспертами вручную. Ручная обработка данных и оценка результатов распознавания, полученных при помощи алгоритма, проводилась экспертами после применения алгоритма. Таким образом, тест «вслепую» использовался для проверки работоспособности алгоритма SPs в реальных условиях обсерваторской практики.

Итак, после применения к данным за 1-31 августа 2009 г. обученных алгоритмов SPs( * ), SPs( Y ), SPs( Z ) и SPs( F ) результаты распознавания были детально * * * X проанализированы и оценены экспертами (табл. 3.18). Количество обнаруженных алгоритмом событий варьируется от 1996 (полная напряженность F) до 2150 (компонента X). При этом, на записях компоненты Z вероятность ошибки первого рода (пропуск цели) составила 0.0582 (5.82%), а вероятность ошибки второго рода (ложная тревога) составила 0.0551 (5.51%). В остальных случаях были получены примерно одинаковые лучшие результаты. Для компоненты X вероятность ошибки первого рода составила 0. (3.72%), вероятность ошибки второго рода составила 0.0068 (0.68%);

для Y вероятность ошибки первого рода составила 0.0107 (1.07%), вероятность ошибки второго рода составила 0.0140 (1.40%);

для F вероятность ошибки первого рода составила 0. (1.99%), вероятность ошибки второго рода составила 0.0361 (3.61%). Проведенный контрольный тест «вслепую» дополнительно подтверждает, что алгоритм способен выделять большинство выбросов, а также показывает, что наблюдается некоторая вариативность от одного дня/недели/месяца к другому.

Таблица 3.18. Результаты приложения алгоритмов SPs( * ), SPs( Y ), SPs( Z ) и SPs( F ) * * * X к записям, зарегистрированным с 1 по 31 августа 2009 г., и их экспертная оценка.

Выбросы, События, Пропу- Вероят- Вероят Критерий распо- распо- щенные Лишние ность ность качества Запись знанные знанные выбро- события ошибки ошибки K 0. экспертами алгоритмом сы 1-го рода 2-го рода X 2122 2057 79 14 0.0372 0.0068 0. Y 2143 2150 23 30 0.0107 0.0140 0. Z 1786 1780 104 98 0.0582 0.0551 0. F 1963 1996 39 72 0.0199 0.0361 0. Любопытным является то обстоятельство, что результаты теста «вслепую», полученные на данных за август 2009 г., выгодно отличаются от результатов распознавания, полученных на данных за июль 2009 г. Как видно из сводной статистики по данным за июль и август 2009 г., каждая из четырех записей (три компоненты и полная напряженность) содержит порядка 2000 выбросов в месяц. Необходимо отметить, что для эксперта выделение вручную такого огромного количества выбросов, порядка 8000 по всем четырем записям в месяц, является практически невыполнимой задачей. Эта проблема является и одним из главных препятствий для перевода обсерваторий ИНТЕРМАГНЕТ со стандарта минутной на стандарт секундной регистрации данных, поскольку принципиально препятствует своевременной, ежегодной подготовке очищенных данных.

Для сравнения, приведем цифры из аналогичного исследования по автоматизированному распознаванию выбросов на минутных магнитограммах ИНТЕРМАГНЕТ (см. раздел 3.2). На этапе обучения рассматривались суммарно записей, полученных на 7 обсерваториях за 1 год, среди которых экспертами было обнаружено всего 275 выбросов. На этапе экзамена алгоритм применялся к анализу суммарно 17 записей, полученных за следующий год с 5 обсерваторий, и задача сводилась к распознаванию 102 выбросов, обнаруженных на этих записях экспертами.

Сравнивая объемы работ эксперта в этих двух случаях, становится понятно, что при ручном анализе секундных необработанных данных человек не в состоянии выделить все 100% выбросов, в его работе также будут наблюдаться и ошибки первого рода, и ошибки второго рода. Но в то же время, если при ручной обработке данных эксперт располагает результатами алгоритмического распознавания, как это было в случае контрольного теста, то в итоге качество ручного анализа становится явно выше.

Напрашивается вывод, что в случае данных за июль 2009 г., использовавшихся на стадиях обучения и экзамена, результаты работы эксперта содержали в себе больше ошибок, чем в случае данных за август 2009 г. Напомним, что при вычислении вероятностей пропуска цели и обнаружения ложных тревог алгоритмом мнение эксперта принимается за эталон.

Неудивительно, что в случае обработки данных за июль 2009 г. указанные показатели выглядят хуже. В случае обработки данных за август 2009 г. эти показатели в большей степени отражают действительность, а их значения свидетельствуют о более высоком качестве распознавания, проведенном алгоритмом SPs.

Алгоритм работает устойчиво, поскольку степень эффективности распознавания, достигнутая на этапе обучения, сохраняется и при экзамене, и при контрольном тесте «вслепую». Некоторая разница в качестве распознавания на записях горизонтальных компонент и вертикальной компоненты может объясняться различием в характере исходного материала обучения, использованного алгоритмом SPs. При анализе этих данных видно, что в случае горизонтальных компонент максимальная длительность выбросов вдвое меньше, а средняя амплитуда втрое больше. Можно заключить, что в этом случае выбросы более вытянутые и крутые (рис. 3.11), чем в случае вертикальной компоненты. Качество распознавания выбросов во втором случае вероятно можно улучшить, выбрав другие диапазоны значений свободных параметров на стадии обучения SPs.

3.3.8. Анализ ложных тревог При оценке результатов работы алгоритма SPs были отдельно проанализированы лишние события, выделенные алгоритмом. Соответствующая статистика приведена в табл. 3.19.

Таблица 3.19. Сводная статистика по лишним событиям, выделенным алгоритмом SPs.

Ложные тревоги Количество Искусственные Внезапные Период Всего Пульсации событий возмущения начала бурь Pc 89.2%, Июль 2009 г. 7803 828 0% 0% Pi 10.8% 3.3.9. Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов Автоматизированное устранение выбросов на временных рядах является одной из основных операций их предварительной обработки [Айвазян, 1983]. Существует целый ряд алгоритмов, предназначенных именно для этого: статистические, спектральные, использующие сглаживание сигнала и др. (см. раздел 1.1). К статистическим относятся алгоритмы удаления выбросов по правилу трёх сигм, на основе конкурирующих гипотез, с использованием медианы сигнала и т.д. [Айвазян, 1968]. Авторами был апробирован на магнитных записях статистический алгоритм, основанный на отклонении от медианы (М алгоритм), как наиболее универсальный, не требующий в той или иной степени предположения нормальности. Результаты апробации показали, что при всей своей простоте он позволяет получить неплохие результаты в детектировании выбросов, но не в тщательном и полном их выделении. Напомним, что алгоритм SPs задумывался как инструмент для автоматизации работы эксперта по выделению техногенных выбросов на секундных магнитограммах. И алгоритм SPs действительно решает поставленную перед ним задачу, почти так же, как эксперт, выделяя целиком тот или иной выброс на записи.

Относительно простых алгоритмов распознавания выбросов такой уверенности нет. На рис. 3.15 приведено сравнение результатов работы эксперта, алгоритма SPs и М алгоритма. Видно, что последний выделяет только вершины выбросов и небольшие их окрестности, и потому заменой эксперту быть не может.

Рис. 3.15. Сравнение результатов работы эксперта (вверху), алгоритма SPs (посередине) и М-алгоритма (внизу). В трех случаях выделенные события отмечены чёрным цветом (секундная магнитограмма из обсерватории на о. Пасхи, компонента X, 10 июля 2009 г.) 3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах 3.4.1. Описание магнитных данных спутника GOES (2 Гц) и постановка задачи Геостационарные спутники наблюдения окружающей среды (GOES) вращаются вокруг Земли по геосинхронной орбите со скоростью, соответствующей скорости вращения Земли. Это позволяет им непрерывно наблюдать за одной и той же позицией на поверхности земли. Находясь на высоте 35800 километров (22,300 миль) над Землей спутники GOES-8 и GOES-9 обеспечивают информацией о состоянии поверхности Земли и окружающей среды через каждые полчаса. Охват Земли спутников GOES-8 и GOES- изображен на рис. 3.16. GOES-8 располагается на 75 градусах западной долготы и охватывает Северную и Южную Америку, а также большую часть Атлантического океана.

GOES-9 располагается на 135 градусах западной долготы и осуществляет мониторинг Северной Америки и Тихого океана.

Рис. 3.16. Охват Земли спутниками GOES-8 и GOES- GOES спутники используются и обслуживаются Национальным управлением океанических и атмосферных исследований США (NOAA), в то время как Национальное управление США по аэронавтике и исследованию космического пространства (NASA) управляет разработкой, созданием и запуском космических кораблей. Запустив спутник, НOAA становится ответственной за его работу.

Первый геостационарный метеоспутник (GOES-1) был запущен 16 Октября 1975 г.

и сразу же стал неотъемлемой частью Национальной метеорологической службы США (NWS). В течение последних 30 лет, агентства по услугам окружающей среды установили потребность в непрерывных, своевременных и высококачественных наблюдениях поверхности Земли и окружающей среды. Новое поколение спутников GOES (GOES от I до M) предоставляет именно такие данные. У этих спутников на борту установлены инструменты, которые позволяют измерять испущенное Землей и отраженное излучение, зная которое можно легко определить атмосферную температуру, скорости ветров, влажность и плотность облаков. GOES-8 и GOES-9 были первыми представителями этого нового спутникового поколения, которые были запущены, заменив орбиты более старых спутников GOES-6 и GOES-7.

Получаемые с помощью GOES данные, которые являются очень точными и представляют собой краткосрочное прогнозирование, затем распространяется Национальной информационной службой спутниковых данных об окружающей среде (NESDIS) по целому ряду действующих научно-исследовательских центров. Сегодня эти данные используются очень большим числом пользователей: Национальной метеорологической службой США, коммерческими центрами погоды, университетами и мировым научно-исследовательским обществом [http://www.dvgu.ru/meteo/book/goes.htm].

На спутнике GOES помимо метеорологических измерений осуществляется регистрация магнитных данных. Они представляют собой вариации трёх компонент магнитного поля, зарегистрированных двумя векторными магнитометрами с частотой Гц. Эти данные характеризуются большим количеством скачков базовой линии. В большинстве случаев причиной скачков являются автоматические включения и отключения нагревательных систем, сопровождающих каждый магнитометр. Таким образом, задача фильтрации спутниковых данных во многом связана с устранением скачков базовой линии. Ситуация осложняется тем, что в большинстве случаев скачки настолько малы, что их весьма трудно распознать визуально. Для этой цели был разработан алгоритм JM (от JUMP), позволяющий в автоматизированном режиме единообразно распознавать скачки на магнитограммах со спутника GOES.

Апробация алгоритма осуществлялась на суточных магнитограммах трёх компонент магнитного поля (BX, BY, BZ), полученных спутником GOES-15 3 апреля 2010 г.

Магнитограммы также сопровождались двумя записями о статусе {0, 1, 2, 3} нагревателей с частотой 1 значение в 5 мин (S1 и S2). Статус 0 соответствует выключенному состоянию обоих нагревателей, статус 1 – включенному состоянию первого нагревателя, 2 – включенному состоянию второго нагревателя, 3 – включенному состоянию обоих нагревателей (рис. 3.17).

(б) (а) Рис. 3.17. Фрагмент магнитограмм и записей статуса нагревателей на спутнике: в масштабе часов (а), в масштабе минут (б) 3.4.2. Распознавание скачков базовой линии на спутниковых магнитограммах В результате применения алгоритма JM к данным за 3 апреля 2010 г. были распознаны практически все скачки. Стоит отметить, что в большинстве случаев скачки на глаз не различимы, что видно из рис. 3.18 и 3.19. На рис. 3.18 показан часовой фрагмент исходной записи, рассчитанная мера скачкообразности и график состояния нагревателей.

Рис. 3.18. Иллюстрация фрагмента исходной записи (сверху), рассчитанной для него меры скачкообразности (посередине) и состояния нагревателей (снизу).

Примеры работы алгоритма приведены на рис. 3.19.

Рис. 3.19. Примеры работы алгоритма JM. Распознанные скачки выделены красным цветом.

3.5. Выводы 1. Осуществлена программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на минутных, секундных и полусекундных магнитограммах, зарегистрированных наземными обсерваториями и искусственными спутниками Земли.

Впервые создана автоматизированная алгоритмическая система для 2.

распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ.

3. Оптимизирована система обучения алгоритмов и создан формализованный метод оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности.

4. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитных данных и выработаны критерии качества, применимые к секундным и полусекундным данным.

Применение разработанной алгоритмической системы распознавания 5.

техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо задержки более года. Последнее дает возможность более эффективного решения задач в области космической физики.

6. Созданная алгоритмическая система впервые дает возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU).

7. Изучение результатов распознавания помогло выявить характерные природные возмущения (аномальные события), распознаваемые как ложные выбросы, что важно для дальнейших исследований. Как правило, эти явления представляют собой геомагнитные пульсации. Таким образом, разработанные алгоритмы могут дать возможность более детального анализа магнитограмм на предмет распознавания низкоамплитудных пульсаций. Наличие секундных данных впервые позволяет изучать короткопериодные магнитные пульсации диапазона 5-45 секунд. Однако зашумление таких данных техногенными возмущениями схожей морфологии служит серьезным барьером. В связи с этим, реализованные алгоритмы являются эффективным инструментом, дающим возможность решать указанные задачи.

8. Работа алгоритма SPs сравнивалась с наиболее универсальным статистическим методом. Результаты апробации показали, что при всей своей простоте этот метод позволяет получить неплохие результаты в детектировании выбросов, но не в тщательном и полном их выделении. Алгоритм SPs задумывался как инструмент для автоматизации работы эксперта по выделению техногенных выбросов на секундных магнитограммах.

Алгоритм SPs действительно решает поставленную перед ним задачу, почти так же, как эксперт, выделяя целиком тот или иной выброс на записи.

ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных Данная глава основана на результатах, опубликованных в работах [Zhalkovsky et al., 2009;

Жалковский и др., 2009;

Mandea et al., 2010;

Гвишиани и др., 2010б;

Березко и др., 2010а;

Berezko et al., 2011;

Соловьев и др., 2012б;

Soloviev et al., 2012a, 2012b;

Рыбкина и др., 2013].

4.1. Обоснование и постановка задачи Крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/д-автоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.

Отечественная наука в области геомагнетизма пребывает в зависимости от зарубежных сетей наблюдения и центров геомагнитных данных. Это обусловлено тремя главными обстоятельствами:

1. Слабое развитие пунктов геомагнитных наблюдений в России;

2. Отсутствие национального центра геомагнитных данных, являющегося ядром российского сегмента ИНТЕРМАГНЕТ;

3. Передача российскими обсерваториями «сырых» данных в различные зарубежные центры данных, которые преобразуют их в окончательные данные и предоставляют научной общественности.

Тем самым, расширение российского сегмента ИНТЕРМАГНЕТ, создание национального центра геомагнитных данных и подготовка окончательных данных в таком центре являются исключительно актуальными задачами. Результаты, описанные в данной главе, во многом направлены на их решение. При этом, задача подготовки окончательных данных решается на более высоком уровне, чем она решается за рубежом, принятыми методами.

4.2. Общее описание работы российско-украинского центра геомагнитных данных На базе ГЦ РАН с начала 2012 г. функционирует российско-украинский центр геомагнитных данных. Его создание было инициировано ГЦ РАН со стороны России и Институтом геофизики им. С.И. Субботина НАН со стороны Украины. В центр передаются данные из всех магнитных обсерваторий и некоторых станций России и Украины в режиме, близком к реальному времени. Те обсерватории, которые принадлежат сети ИНТЕРМАГНЕТ, продолжают параллельно отправлять данные в официальные узлы сбора магнитных данных ИНТЕРМАГНЕТ, расположенные за рубежом.

Функционирование отечественного узла позволяет объединить обсерватории и получаемые ими данные на территории России и Украины в единую национальную сеть.

Необходимость создания самостоятельного российско-украинского сегмента сети ИНТЕРМАГНЕТ обусловлена площадью территорий РФ и Украины и фундаментальным значением обсерваторских долгосрочных геомагнитных сетевых наблюдений. Создание такого центра также обусловлено стремительным и непрерывным ростом количества магнитных обсерваторий ИНТЕРМАГНЕТ на территории РФ и Украины.

В главные задачи центра входят:

обеспечение передачи данных;

хранение данных в исходном виде;

хранение данных в СУБД;

осуществление автоматизированного контроля качества поступающих данных;

подготовка квазиокончательных данных;

обеспечение интерактивного доступа к данным;

визуализация данных на видео-стенде.

На конец 2013 г. налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В табл. 4.1 приведены названия и коды станций и обсерваторий, временная задержка в передаче данных, формат и способ передачи данных и коды официальных узлов ИНТЕРМАГНЕТ (GIN), в которые отправляются данные из обсерваторий ИНТЕРМАГНЕТ.

Таблица 4.1. Станции и обсерватории, обслуживаемые российско-украинским центром геомагнитных данных.

№ Код Расположение Задержка Передача Формат GIN Арти 6 часов 1 ARS ftp IMF BGS Бор 10 мин 2 BOR ftp MINGEO Борок Сутки 3 BOX e-mail IMF IPGP Иркутск Сутки 4 IRT e-mail IMF BGS Казань 1 час 5 KAZ ftp BIN IZMIRAN Киев Сутки 6 KIV e-mail IMF BGS Климовское 3 часа 7 KLI ftp MINGEO Львов Сутки 8 LVV e-mail IMF BGS Магадан Сутки 9 MGD ftp DAT BGS Троицк 10 мин 10 MOS ftp MINGEO Новосибирск Сутки 11 NVS e-mail IMF BGS Одесса Сутки 12 ODE e-email IMF Санкт-Петербург 30 мин 13 SPG ftp MINGEO Якутск Сутки 14 YAK e-mail IMF BGS Из списка обсерваторий (см. табл. 4.1) сети ИНТЕРМАГНЕТ принадлежат «Арти», «Борок», «Иркутск», «Магадан», «Новосибирск», «Якутск» (Россия), «Киев» и «Львов»

(Украина). На рис. 4.1 приведена карта расположения указанных станций и обсерваторий.

Рис. 4.1. Карта расположения станций и обсерваторий, обслуживаемых геомагнитным центром.

Из обсерваторий и станций данные поступают либо в виде электронных писем, либо по FTP-протоколу. В случае, когда данные поступают по электронной почте, они предварительно извлекаются из электронных писем. Поступившие данные сохраняются на отдельном FTP-сервере, который предназначен для хранения данных в виде файлов в исходном формате. Параллельно поступающие данные преобразуются в БД, управляемую СУБД MySQL. База хранится на отдельном сервере. На нем же установлены модули, выполняющие контроль качества поступающих магнитограмм. Результаты работы этих модулей также сохраняются в БД. Для пользователей организован интерактивный доступ к данным через набор веб-сервисов. Кроме того, данные визуализируются на видео стенде, состоящем из 15 дисплеев, в ГЦ РАН. Описанная схема обработки данных приведена на рис. 4.2.

Рис. 4.2. Цикл обработки поступающих данных.

Автоматическое обновление БД происходит по мере поступления новых данных.

Обновление обеспечивает скрипт, вызываемый автоматически с заданным интервалом времени. Основными задачами

скрипта являются:

1. синхронизация содержимого БД с содержимым файлового хранилища данных в исходном формате;

2. запуск алгоритмической системы контроля качества данных с целью распознавания техногенных возмущений на поступающих магнитограммах.

Вся последовательность действий, выполняемых скриптом, приведена на рис. 4.3.

Скрипт функционирует на сервере, где хранится БД.

Рис. 4.3. Автоматическое обновление БД.

Такая организация автоматического обновления БД гарантирует полную синхронизацию между двумя хранилищами данных. Иными словами, в случае выхода из строя БД или потери части ее содержимого, при следующем запуске скрипта содержимое БД будет полностью восстановлено в соответствии с текущим состоянием файлового хранилища данных. Это одно из главных обстоятельств, диктующих необходимость сохранения данных в исходном формате, в котором их предоставляют обсерватории [Soloviev et al., 2012b].

4.3. База геомагнитных данных Как было отмечено ранее, основным хранилищем поступающих в центр данных является база данных, которая управляется СУБД MySQL. Такой подход к хранению данных является одним из главных преимуществ российско-украинского центра по сравнению с некоторыми официальными узлами сбора данных ИНТЕРМАГНЕТ.

Например, во французском геомагнитном узле все данные, которые поступают из более чем 15 обсерваторий ИНТЕРМАГНЕТ и ряда других магнитных обсерваторий и станций по всему миру [http://www.bcmt.fr/], хранятся в текстовом формате ASCII. Такое хранение данных обладает рядом очевидных недостатков. В частности, хранение подобной информации в текстовом виде крайне неэффективно с точки зрения занимаемого дискового пространства. Кроме того, при таком хранении данных существенно ограничены возможности поиска данных в силу трудоемкости и отсутствия гибкости запросов и медлительности их выполнения. В геомагнитный узел в Японии стекаются данные из 10 обсерваторий ИНТЕРМАГНЕТ и порядка 15 магнитных станций [http://wdc.kugi.kyoto-u.ac.jp/]. На базе этих данных в узле каждые 5-10 минут пересчитываются индексы геомагнитной активности Dst и AE. В нем данные также хранятся в исходном текстовом формате ASCII, а также в бинарном формате. Бинарные файлы автоматически генерируются на базе текстовых файлов на регулярной основе. В каждом из них содержатся данные за 1 месяц. Наличие бинарных файлов сокращает объем занимаемой информации, однако не решает вопрос гибкости и простоты запросов при поиске данных.

Перед разработкой структуры БД были опробованы разные подходы к хранению данных в БД с целью выбора наиболее оптимального. При этом, апробация разных вариантов хранения данных в БД проводилась для случая секундных данных. Причиной послужили несколько обстоятельств:

1. внедрение стандарта секундной регистрации данных в рамках программы ИНТЕРМАГНЕТ;

2. переход уже многих обсерваторий на секундную регистрацию данных;

3. больший объем данных и, следовательно, большая трудоемкость выполнения запросов по сравнению с минутными данными.

Основным критерием при выборе подхода к хранению была скорость доступа к произвольной выборке данных. Для этого, была сгенерирована таблица, состоящая из миллионов случайных записей. Такой объем информации примерно соответствует секундным данным из трех обсерваторий, полученным за период четырех лет.

Рассматривались три варианта хранения данных (табл. 4.2):

1. без группировки (1 значение в строке таблицы);

2. с группировкой данных по дням (86400 значений в строке таблицы);

3. с группировкой данных по часам (3600 значений в строке таблицы).

Таблица 4.2. Тестирование базы данных с таблицей для хранения секундных данных.

Таблица содержит 400 миллионов случайных записей, что примерно соответствует объему данных, полученных из 3 обсерваторий за 4 года.

Без Группировка Группировка Критерий группировки по дням по часам Скорость доступа (данные за сутки), с 2 0.25 0. Объем БД, Гбайты 16.3 3.72 3. Объем индексов, Гбайты 7.36 0 0. Длина строки, Кбайты 0.03 1097 Было показано, что максимальная производительность БД достигается при группировке данных по часам. В частности, была достигнута максимальная скорость обработки запроса к данным за сутки.

Разработанная база геомагнитных данных включает в себя 10 таблиц (рис.4.4).

Рис. 4.4. Структура геомагнитной БД.

Таблица ref содержит в себе справочную информацию по всем обсерваториям, которые передают данные в центр. Эта информация включает в себя название, код IAGA, широту, долготу, высоту над уровнем моря, часовой пояс, принадлежность институту, официальный GIN, формат данных, типы и модели скалярного магнитометра, вариометра и инклинометра/деклинометра на теодолите, значение в случае отсутствия данных.

Таблицы для хранения предварительных минутных (pre_min), квазиокончательных минутных (qdef_min), предварительных секундных (pre_sec) и квазиокончательных секундных (qdef_sec) данных имеют одинаковую структуру. В таблицах pre_min и pre_sec хранятся сырые, необработанные данные, поступающие в центр по мере их регистрации на обсерваториях. В результате автоматизированной процедуры привязки этих данных к базовой линии рассчитываются так называемые квазиокончательные данные, которые хранятся в таблицах и (см. раздел Поскольку в qdef_min qdef_sec 1.2.6).

квазиокончательных данных еще возможно наличие техногенных возмущений, они не могут расцениваться как окончательные. Каждая строка таблицы несет в себе следующую информацию: IAGA-код обсерватории, дата и время записи в секундах, начиная с 1970 г., ориентация сенсора вариометра (XYZ или HDZ), значение первой компоненты (X или H) в нТл (канал 1), значение второй компоненты (Y или D) (канал 2), значение компоненты Z в нТл (канал 3), значение полной напряженности в нТл (канал 4), распознанные события в результате работы системы контроля качества.

В каждой строке таблицы хранится набор наблюденных значений, полученных в течение часа, в бинарном виде. Тесты показали, что такая система хранения обеспечивает наибольшее быстродействие при работе с БД по сравнению с поминутным или посуточным хранением данных. Таким образом, каждая строка содержит 60*4= значений типа FLOAT в случае минутных данных и 3600*4=14400 значений типа FLOAT в случае секундных данных.

В результате работы алгоритмической системы контроля качества магнитограмм определяются значения, принадлежащие техногенным выбросам и скачкам. В соответствующих двух полях таблицы результаты распознавания хранятся в виде бинарных массивов типа BYTE. В каждой строке таблицы содержится массив результатов распознавания за соответствующий час. Элементы этого массива несут в себе информацию о принадлежности значений того или иного канала выбросу или скачку.

Таким образом, каждый элемент связан с соответствующей четверкой значений и поэтому содержит 4 позиции (по количеству каналов). Если значение принадлежит искомому событию, то в соответствующей позиции элемента массива значение 1, если не принадлежит – то 0. Например, в поле результатов распознавания выбросов значение означает, что за соответствующий момент времени на компонентах X (или H) и Z наблюдаются выбросы, а на записях Y (или D) и полной напряженности – нет. Тем самым, каждая строка содержит 60*4=240 значений типа BYTE в случае минутных данных и 3600*4=14400 значений типа BYTE в случае секундных данных.

Аналогичную структуру имеют таблицы для хранения окончательных минутных (def_min) и окончательных секундных (def_sec) данных. Единственным отличием является отсутствие полей, содержащих результаты распознавания техногенных возмущений, поскольку окончательные данные сами по себе уже очищены от подобных сбоев.

В таблице abs хранятся данные, рассчитанные по результатам абсолютных измерений, которые регулярно проводятся вручную на обсерваториях при помощи инклинометра/деклинометра на базе теодолита (см. разделы 1.2.4, 1.2.5). Показатели самих измерений хранятся отдельно в виде файлов вместе с исходными текстовыми файлами данных. Данные таблицы abs включают в себя:

1. идентификатор записи;

2. IAGA-код обсерватории;

3. дата измерений;

4. абсолютное значение магнитного склонения;

5. абсолютное значение магнитного наклонения;

6. абсолютное значение полной напряженности поля;

7. значение базовой линии для северной компоненты ( X 0, нТл);

8. значение базовой линии для склонения ( D0, град);

9. значение базовой линии для вертикальной компоненты ( Z 0, нТл);

10. значение базовой линии для полной напряженности ( F0, нТл);

11. время привязки значений 4 и 8;

12. время привязки значений 5, 6, 7, 9 и 10;

13. результаты распознавания выбросов на базовых линиях, построенных по 7, 8, и 10;

14. результаты распознавания скачков на базовых линиях, построенных по 7, 8, 9 и 10.

В отдельной таблице (temp) содержатся температурные вариации, регистрируемые датчиками на сенсоре и на блоке электроники вариометра. Наконец, в таблице files_log содержится перечень исходных текстовых файлов, из которых в прошлом успешно состоялся экспорт данных в БД. Там же содержатся времена последних обновлений соответствующих файлов. Последнее обеспечивает корректную синхронизацию данных в случае повторной загрузки существующего файла из обсерватории с более полным набором данных [Soloviev et al., 2012b].

Для работы с БД была разработана библиотека Java-классов, предоставляющая весь спектр функциональных возможностей взаимодействия с БД (рис. 4.5).

Рис. 4.5. Структура библиотеки Java-классов Intermagnet для работы с базой геомагнитных данных.

4.4. Веб-приложения для удаленной работы с геомагнитными данными Для удаленной работы с геомагнитной БД был разработан набор веб-сервисов. К ним относятся сервисы для ввода данных в БД и сервисы, предназначенные для запроса данных из БД. Дадим краткое описание каждого из них.

К первой группе относятся два веб-сервиса для ввода данных в БД. На базе переданных результатов абсолютных измерений, проводимых на обсерваториях, эти сервисы рассчитывают абсолютные значения компонент поля, соответствующие значения базовых линий и сохраняют результаты в БД. Веб-сервисы поддерживают ввод результатов абсолютных измерений, проводимых офсетным методом и нуль-методом.

Вторая группа веб-сервисов (рис. 4.6) представляет собой набор Java-сервлетов, позволяющих запрашивать данные из БД как в цифровом, так и в графическом виде, с использованием различных критериев поиска. Этот набор веб-сервисов служит своего рода интерфейсом, позволяющим пользователю создавать запросы и получать данные из БД в удобном, интерактивном режиме. При этом клиентским приложением может служить любая среда, поддерживающая передачу данных по протоколу HTTP (веб браузер, MatLab и др.).

Рис. 4.6. Взаимодействие клиентских приложений с геомагнитной БД посредством пяти веб-сервисов, предназначенных для доступа к данным.

Перечень разработанных веб-сервисов доступа к данным включает в себя:

1. “Metadata Service” для запроса справочной информации по всем станциям и обсерваториям;

2. “Graphics Data Service” для доступа к данным в графическом виде;

3. “ASCII Data Service” для доступа к данным в текстовом (цифровом) виде;

4. “Absolute/Baseline Graphics Service” для доступа к данным абсолютных измерений и значениям базовых линий в графическом виде;

5. “Absolute/Baseline ASCII Service” для доступа к данным абсолютных измерений и значениям базовых линий в текстовом (цифровом) виде.

Частным случаем использования всех разработанных веб-сервисов является веб портал для доступа к данным. Ниже приводится описание каждого веб-сервиса, а также описание функционала разработанного портала.

4.4.1. Ввод абсолютных измерений Как было отмечено ранее, база геомагнитных данных позволяет хранить абсолютные значения и значения базовых линий компонент вектора магнитного поля, рассчитанные по результатам измерений, проводимых вручную на обсерваториях. Для взаимодействия наблюдателей с БД и расчета соответствующих значений было разработано два веб-приложения. То или иное веб-приложение используется в случае проведения измерений либо офсетным методом (см. раздел 1.2.4), либо нуль-методом.

Каждое веб-приложение состоит из веб-формы с набором полей для соответствующего метода измерений (рис. 4.7) и серверного приложения, осуществляющего расчет абсолютных и базовых значений и взаимодействующего с БД. Серверные приложения реализованы в виде Java-сервлетов.

(а) (б) Рис. 4.7. Пример веб-интерфейса для ввода значений из ведомости абсолютных измерений офсетным методом (а) и нуль-методом (б).

После заполнения формы и отправки наблюдателем запроса на сервер все значения из полей формы сохраняются в виде файлов на сервере хранения исходных текстовых файлов данных. Для дальнейшего расчета абсолютных значений и значений базовых линий серверное приложение обращается с запросом к БД для извлечения необходимых данных из таблицы pre_min. Таким образом, последующий расчет происходит на базе внесенных в поля формы значений и извлеченных из БД необходимых данных.

Рассчитанные абсолютные значения, значения базовых линий и соответствующие времена привязок сохраняются в БД в таблице abs. Кроме того, эти данные вместе с заполненной формой отправляются наблюдателю по указанному им электронному адресу (рис. 4.8) [Soloviev et al., 2012b].

Рис. 4.8. Процедура ввода результатов абсолютных измерений и расчета абсолютных значений и значений базовых линий.

4.4.2. Веб-сервисы для интерактивного доступа к данным Для удаленного доступа к данным через веб-браузер и их визуализации был разработан комплекс веб-сервисов, реализованных в виде Java-сервлетов. Они дают возможность пользователям удаленно работать с БД в удобном, интерактивном режиме с широкими возможностями построения запросов.

Для доступа к текущему списку и справочной информации по всем обсерваториям и станциям, которые передают данные в центр, был разработан Java-сервлет “Metadata Service”. В запросе к этому сервлету существует единственный параметр – название таблицы с данными. В результате запроса сервлет рассчитывает временной интервал, за который доступны данные в указанной таблице для каждой обсерватории и станции.

Вместе со всей справочной информацией из таблицы ref эти данные отправляются пользователю в текстовом виде (рис. 4.9).

Рис. 4.9. Вывод справочной информации по текущему списку обслуживаемых центром обсерваторий и станций.

Сервис для графического представления данных “Graphics Data Service” позволяет загружать один или несколько графиков данных в формате PNG с указанной обсерватории за указанный период (рис. 4.10). Параметры запроса и поиска данных включают в себя:

ширину и длину генерируемого графического изображения;

имя таблицы БД, содержащей искомые данные;

код обсерватории;

список графиков для отображения;

начальное время запрашиваемого интервала;

конечное время запрашиваемого интервала.

Рис. 4.10. Графическое отображение данных обсерваторий ARS, BOX и IRT.

К возможным графикам для отображения относится любая комбинация из компонент X/H, Y/D, Z, полной напряженности F и разницы скалярных значений F и вычисленных по пространственным компонентам (deltaF). Для удобства без указания границ временного интервала имеется возможность построения графиков по имеющимся в таблице данным за последние сутки. Если выбранные данные содержат техногенные возмущения, распознанные алгоритмической системой контроля качества, то эти события будут отмечены на графиках (рис. 4.11).

Рис. 4.11. Графики, построенные по запрошенным интервалам данных, в которых содержатся распознанные выбросы (отмечены синим цветом).

Аналогичным образом строится запрос к сервису “ASCII Data Service”, предназначенному для предоставления данных в виде текстовых массивов. В данном случае также возможен множественный запрос по совокупности разных компонент, полной напряженности поля и записи deltaF. Результат запроса может быть сгенерирован в одном из двух форматах на выбор: CSV (comma separated values) или IAGA-2002.

Формат CSV поддерживается большинством приложений по работе с таблицами, например, Microsoft Excel. Формат IAGA-2002 является основным форматом для представления обсерваторских геомагнитных данных, принятым системой ИНТЕРМАГНЕТ. На рис. 4.12 приведен результат запроса, содержащий данные по всем возможным полям таблицы за указанный период времени в формате CSV.

Рис. 4.12. Примеры результата запроса к данным в табличном виде в формате CSV.

По аналогии с сервисами доступа к геомагнитным данным реализованы сервисы доступа к абсолютным значениям компонент поля и значениям базовых линий из таблицы abs, рассчитанных на основе абсолютных измерений. Сервлет “Absolute/Baseline Graphics Service” служит для отображения соответствующих значений в графическом виде, а сервлет “Absolute/Baseline ASCII Service” – в текстовом. Примеры результатов работы сервлетов по запросу пользователей приведены на рис. 4.13 [Soloviev et al., 2012b].

(а) (б) Рис. 4.13. Отображение значений базовых линий H0, D0, Z0 и F0 и абсолютных значений Iabs, Fabs и Dabs обсерватории MOS в графическом виде (а) и текстовом виде (б).

4.5. Доступ к данным и их визуализация 4.5.1. Веб-портал центра геомагнитных данных На базе разработанных веб-сервисов для интерактивной работы с данными в г. был разработан и опубликован онлайн веб-портал российско-украинского центра геомагнитных данных. Он доступен по адресу http://geomag.gcras.ru/ (рис. 4.14). Веб портал содержит всю необходимую информацию о функционировании центра геомагнитных данных. Для пользователей веб-портал предоставляет полный доступ к геомагнитным данным, поступающим и хранящимся в центре, благодаря разработанным веб-сервисам, интегрированным в работу веб-портала. Доступ к данным, описанию всех станций и обсерваторий, которые передают данные в центр, организован в интерактивном режиме. На сегодняшний день разработана только английская версия веб-портала. На ближайшее время запланирован перевод всего содержимого также на русский язык.

(а) (б) Рис. 4.14. Заглавная страница “Home” веб-портала российско-украинского центра геомагнитных данных (а);

выбор раздела “Observatories” с описанием всех обслуживаемых станций и обсерваторий (б).

Содержимое веб-портала имеет следующую иерархическую структуру (стрелки обозначают подразделы):

1. “Home” – домашняя страница;

2. “Data Products” – раздел интерактивного доступа к данным;

в корне раздела содержится графическое представление магнитограмм за последние сутки, полученные из всех станций и обсерваторий (рис. 4.15а);

3. “Data Products” “Download” – подраздел доступа к геомагнитным данным в текстовом (цифровом) виде в форматах CSV и IAGA-2002 (рис. 4.16а);

4. “Data Products” “Plot” – подраздел доступа к геомагнитным данным в графическом виде (рис. 4.16б);

5. “Data Products” “Realtime” – подраздел доступа к геомагнитным данным в графическом виде в режиме реального времени;

6. “Observatories” – раздел с описанием всех станций и обсерваторий, обслуживаемых центром (рис. 4.14б);

в корне раздела приведена интерактивная карта мира с возможностью выбора интересующей станции или обсерватории, а также справочная информация по всем станциям и обсерваториям с указанием временных интервалов доступных данных (рис. 4.15б);

7. “Data Services” – раздел со службами по работе с данными;

8. “Data Services” “Despiking Data” – подраздел с возможностью загрузки пользовательских данных с целью их удаленной обработки автоматизированной системой распознавания техногенных аномалий (спайков);

9. “Data Services” “Absolute Form (Offset)” – подраздел с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений офсетным методом (рис. 4.17);

10. “Data Services” “Absolute Form (Null)” – подраздел с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений нуль методом;

11. “Data Services” “Absolute Data” – подраздел доступа к абсолютным значениям компонент поля и значениям базовых линий в графическом и цифровом видах, рассчитанных на базе абсолютных измерений;

12. “Materials” – раздел справочной информации;

13. “Materials” “Publications” – подраздел со списком публикаций по соответствующей тематике;

14. “Materials” “User Manuals” – подраздел с полезными руководствами и инструкциями по соответствующей тематике;

15. “Materials” “Fullsize – подраздел с полноразмерными Graphics” графическими изображениями (логотипы и т.д.);

16. “Materials” “Software” – подраздел c полезным программным обеспечением;

17. “Contact Us” – раздел справочной информации;

18. “Data Policy” – раздел политики использования данных.

Рис. 4.15. Раздел “Data Products” с графическим представлением магнитограмм за последние сутки, полученных из всех станций и обсерваторий (а);

раздел “Observatories” с интерактивной картой мира с возможностью выбора интересующей станции или обсерватории для получения подробной информации, а также со справочной информацией по всем станциям и обсерваториям с указанием временных интервалов доступных данных (б).

(а) (б) Рис. 4.16. Подразделы “Download” (а) и “Plot” (б) веб-портала для доступа к геомагнитным данным. Для выбора интересующей обсерватории на странице имеется интерактивная карта мира. Возможные параметры запроса к данным приведены в предыдущем разделе главы. Результаты запроса к данным доступны как в цифровом (а), так и графическом видах (б) и содержат информацию о распознанных техногенных аномалиях (на нижнем рисунке выделены серым).

Рис. 4.17. Подраздел “Absolute Form (Offset)” с ограниченным доступом (требуются логин и пароль) для ввода результатов абсолютных измерений офсетным методом. Введенные значения, а также рассчитанные на их основе абсолютные значения компонент поля и значения базовых линий добавляются в геомагнитную БД и отправляются наблюдателю по указанной электронной почте.

4.5.2. Видео-стенд для отображения геомагнитных данных На видео-стенде, установленном в ГЦ РАН (рис. 4.18), отображаются геомагнитные данные по мере их поступления в центр. Источником информации служат исходные файлы данных, присылаемые из обсерваторий и станций. Таким образом, видео стенд функционирует независимо от работы базы данных и, тем самым, служит дополнительным индикатором работы всей системы в целом.

Рис. 4.18. Видео-стенд центра геомагнитных данных, установленный в ГЦ РАН.

Работа системы отображения геомагнитных данных на экранах видео-стенда ГЦ РАН начинается с загрузки файла конфигурации, отдельного свой для каждой станции.

Файл состоит из четырех блоков:

1. общей части;

2. описание ftp-доступа;

3. процедура считывания данных;


4. описание графического окна.

В первом блоке задаются такие параметры, как количество отображаемых дней, предполагаемая периодичность обновления данных, периодичность опроса данных. Во втором блоке задаются адрес ftp-сервера, имя и пароль для доступа к ftp-серверу, адрес удаленной директории, где находятся данные для каждой станции. В третьем блоке задаются шаблон имен файлов и программы считывания данных с текущей станции. В четвертом блоке описывается графическое окно: количество графиков, их расположение и цвет для отображаемой магнитограммы.

Затем с ftp-сервера считываются начальные данные и создается пустое графическое окно, на котором и отображаются загруженные данные.

После этого каждые N секунд (периодичность опроса данных) идет запрос к ftp серверу о новых данных. Если данных нет, то программа останавливается на N секунд снова. Если есть, то происходит обновление данных на локальной машине и отображаемые графики перерисовываются.

Для экономии времени обработки данных все данные делятся на три типа: данные на ftp-сервере, данные на диске локальной машины и данные в памяти компьютера. Когда появляется запрос на проверку новых данных, программа запрашивает ftp-сервер. Если появились новые данные или они изменились, происходит загрузка новой информации на локальный компьютер, затем в память программы и происходит генерация нового изображения. Если все данные совпадают, то ничего не происходит.

В случае отсутствия данных или недоступности ftp-сервера на соответствующий экран выдается информационное сообщение.

Блок-схема работы системы отображения данных на видео-стенде приведена на рис. 4.19. Соответствующее разработанное программное обеспечение является кросс платформенным, что позволяет весь аппаратно-программный комплекс дублировать во множестве мест.

Загрузка файла конфигурации и начальных данных Создание окна отображения Формирование (обновление) графиков Пауза (N секунд) нет да Появились новые данные?

Рис. 4.19. Блок-схема системы отображения данных на видео-стенде.

4.6. Сравнение распознавания выбросов методом F и алгоритмической системой, внедренной в центре В обсерваторской практике одним из главных методов фильтрации записей от техногенных шумов является анализ записи dF. Эта запись представляет собой разницу между модулем магнитного вектора F, измеренным скалярным магнитометром, и X 2 Y 2 Z 2. Однако, как правило, такая вычисленным по значениям его компонент как запись содержит большое количество ложных выбросов (рис. 4.20а), а иногда и не содержит в себе искомых (рис. 4.20б). Стоит отметить, что оба приведенных примера лежат в пределах часового промежутка времени одного дня. Сравнение результатов применения алгоритма SPs с принятым методом анализа записи по dF показала, что алгоритм SPs существенно более эффективен в решении поставленной задачи.

Ситуация, отраженная на рис. 4.20а, в ряде случаев объясняется тем, что измерение F при помощи скалярного магнитометра производится с частотой, отличной от частоты измерений векторного магнитометра компонент X, Y и Z. Другой причиной может служить отсутствие синхронизации по времени между данными, поступающими со скалярного и векторного магнитометров в систему сбора данных. В таких случаях естественные флуктуации магнитного поля могут быть не согласованы на записях его компонент и полной напряженности или проявляться с некоторым сдвигом по времени. Это приводит к появлению выбросов на записи dF в соответствующие моменты времени, а в случае резких колебаний выбросы на dF могут быть весьма большими. Однако такие выбросы не свидетельствуют о наличии техногенных выбросов на исходных записях.

Рис. 4.20. (а) – Пример ложного выброса на записи dF (нижний график), слева;

(б) – Пример отсутствия выброса на записи dF (нижний график), справа. Выбросы, выделенные экспертами вручную на исходных записях X, Y, Z и F, помечены красным.

Ситуация, когда на записи dF не возникает выброса при его наличии на магнитограммах (напр., рис. 4.20б), может иметь разные причины. Например, если источник искусственного возмущения вызывает кратковременный поворот вектора магнитного поля в точке установки вариометра без изменения его модуля, то, очевидно, выбросы будут зафиксированы только на измерениях компонент поля. Поскольку модуль вектора останется неизменным, то и на записи dF выброса в этом случае не будет. Другой причиной может быть сильное влияние на поле, зафиксированное обоими магнитометрами – в этой ситуации изменение модуля вектора по рассчитанным компонентам и по измеренным скалярным данным будет совпадать. Опять же, на записи dF выброса в этом случае не будет (рис.4.20б, четвертый выброс).

Недостаток анализа данных при помощи записи dF заключается в том, что для расчета dF необходимо наличие векторных данных по трем компонентам и скалярных данных по напряженности поля и, соответственно, необходима корректная работа обоих приборов. При выходе из строя одного из устройств регистрации данных или сбое в регистрации какой-то одной компоненты метод теряет свою силу. Преимуществом фильтрации данных при помощи алгоритмов SP и SPs является применимость метода к одной конкретной записи и его независимость от наличия других записей. В частности, это делает метод востребованным не только на магнитных обсерваториях, но и на магнитных станциях, где производится автоматическая регистрация только компонент вектора магнитного поля без скалярных значений его напряженности. В таких условиях, очевидно, метод dF неприменим.

4.7. Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени Одной из прикладных задач, решаемых в центре геомагнитных данных, является моделирование характеристик магнитного поля Земли для всей территории России. Для этой цели был разработан метод, позволяющий генерировать карты магнитного поля за каждый момент времени. Генерация карт происходит на базе получаемых данных российских обсерваторий, по мере их поступления в центр. Фактически, решается задача интерполяции характеристик магнитного поля на равномерной географической сетке в режиме квазиреального времени. В результате, была создана непрерывно обновляемая база цифровых данных по геомагнитной обстановке на всю территорию России.

Для создания непрерывно обновляемой базы цифровых данных по геомагнитной обстановке на обсерваториях в пределах территории России ведутся непрерывные измерения параметров магнитного поля Земли. В частности, измеряется полная напряженность магнитного поля Земли. Данные из обсерваторий поступают в Российско-украинский центр геомагнитных данных, функционирующий на базе ГЦ РАН.

Была поставлена задача реализации программного комплекса, производящего интерполяцию полной напряженности поля по мере поступления данных из российских обсерваторий с последующей генерацией набора карт распределения интерполированных величин по территории России.

Полная напряженность поля в данной точке определяется несколькими факторами, которые зависят от времени существенно различным образом: главным магнитным полем Земли с источниками в жидком ядре Земли, литосферным полем с источниками в земной коре, ионосферными источниками и локальными техногенными источниками [Соловьев и др., 2012б]. При этом последний фактор при наблюдениях стараются минимизировать, поэтому им можно в данной работе пренебречь. Главное магнитное поле Земли значимо (в пределах доступной точности) изменяется на масштабах порядка года, а литосферное поле – на масштабах геологических времен, поэтому в вопросах интерполяции магнитного поля на масштабе дней и месяцев их следует рассматривать как постоянные векторные слагаемые. Соответствующие данные по напряженности несложно восстанавливаются из векторных данных, при этом вклад в напряженность ГМПЗ является основным.

Соответствующие данные существуют благодаря сбору геологической информации (магнитная съемка местности в масштабе региона) и спутниковым магнитным измерениям. Последние, к сожалению, не всегда ведутся непрерывно, но, учитывая малую изменчивость ГМПЗ во времени, использование старых моделей ГМПЗ не должно приводить к существенным неточностям. Оставшаяся компонента, которая называется дневной вариацией, напротив, меняется значимо, и тем самым интерполяция ее значений в пространстве и во времени является ключевой для интерполяции магнитных наблюдений вообще.

Существуют несколько серьезных проблем, связанных с интерполяцией магнитного поля. Данные по перечисленным выше факторам, как правило, не являются векторными. Тем самым, результирующая напряженность поля, вообще говоря, не является суммой напряженностей от главного и литосферного, а также его дневной вариации, в то время как в векторном смысле эти факторы суть обычные слагаемые.

Однако, при отсутствии лучших возможностей приходится считать, что на фоне ГМПЗ остальные слагаемые невелики и разница между напряженностью истинного поля и суммой напряженностей служит допустимо хорошим приближением к ответу. Разумеется, возможна выборочная (там, где данные доступны в векторном виде) проверка этого допущения. Следующая трудность состоит в чрезвычайно нерегулярном расположении обсерваторий и необходимостью интерполяции по пространству – на таких пространственных масштабах поправки на кривизну значимо влияют на ответ. Выбор типа интерполяции с точек наблюдения на регулярную сетку определяется тем, что на фоне указанных выше соглашений простая линейная интерполяция ничем не хуже сплайнов.

Метод перенесения значений с нерегулярной плоской сетки с вершинами в точках наблюдений на регулярную основан на триангуляции пространства и предположении о том, что в каждом треугольнике значение искомой величины есть линейная функция.

Иными словами, значение в каждой внутренней точке треугольника целиком определяется расстояниями (взятыми с учетом кривизны) до его вершин (точек нерегулярной сетки, где имеются наблюдения).

Собственно триангуляций с вершинами в данных точках может быть несколько, общепринято выбирать те из них, где треугольники по возможности близки к равносторонним. Известен алгоритм построения такой триангуляции, называемый триангуляцией Делоне [Скворцов, 2002]. Дальнейшее применение метода очевидно:


исходные точки соединяются таким образом, чтобы результирующая поверхность была покрыта “лоскутным одеялом” из треугольников. При этом грани треугольников не должны пересекаться между собой. Каждый треугольник определяется тремя исходными экспериментальными точками. Значения функции в узлах регулярной сети, попадающих внутрь этого треугольника, принадлежат плоскости, проходящей через вершины треугольника. Отличительной чертой триангуляции Делоне является минимизация вытянутых треугольников. К недостаткам метода триангуляции Делоне можно отнести то обстоятельство, что он может интерполировать только точки, находящиеся внутри выпуклой оболочки, содержащей в себе все эти точки (т.е. наименьшее выпуклое множество, содержащее все эти точки).

В качестве источника данных использовалась база данных, содержащая измерения напряженности магнитного поля по всем обсерваториям, участвующим в проекте. На первом этапе была написана программа на внутреннем языке системы MATLAB, считывающая в реальном времени значения напряженности магнитного поля Земли из базы данных. Программа усредняет значение поля за час. Таким образом, мы имеем среднее значение и (измеренное) за каждый час по каждой из обсерваторий. После этого, с привлечением модели главного магнитного поля Земли IGRF ([Macmillan and Maus, 2005], http://www.ngdc.noaa.gov/IAGA/vmod/igrf.html), из получившихся средних значений вычитаются среднегодовые модельные значения поля м (модельное) для точек, где находятся обсерватории. Следующая программа, также написанная в системе MATLAB, по значениям этой разницы (и м) производит триангуляцию Делоне с последующей линейной интерполяцией на регулярную сетку и строит рисунок получившегося поля c разрешением 40962048. Триангуляция Делоне производится алгоритмом из математической библиотеки MATLAB. Таким образом, в результате работы программы в узлах регулярной сетки мы имеем значения отклонений наблюденного поля от нормального. Для перехода от отклонений к абсолютным значениям полной напряженности поля необходимо в каждой точке сетки к получившемуся значению прибавить вычисленное для конкретной точки значение нормального поля согласно модели IGRF.

Разработанный программный комплекс был установлен на один из серверов Российско-украинского геомагнитного центра данных в ГЦ РАН [Soloviev et al., 2012b].

Основными функциями сервера являются хранение базы геомагнитных данных и обработка поступающих данных алгоритмами, разрабатываемыми в ГЦ РАН [Богоутдинов и др., 2010]. Программный комплекс функционирует непрерывно, генерируя карты с шагом в 1 час по мере поступления новых геомагнитных данных (рис. 4.21). Для его функционирования на сервере установлено следующее программное обеспечение:

1. Операционная система Linux Ubuntu 12.04;

2. СУБД MySQL Server 5.5;

3. Octave 3.2.4;

4. MATLAB 2011.

Рис. 4.21. Интерполяция данных обсерваторских измерений полной напряженности магнитного поля Земли на 4 сентября 2012, 05:00 UT.

Обращение модулей MATLAB к базе геомагнитных данных происходит посредством веб-сервисов, разработанных для обеспечения доступа к данным геомагнитного центра через веб. Те сервисы, которые задействованы в работе разработанного программного комплекса, позволяют осуществлять многокритериальный запрос к БД, возвращая данные в табличном виде. Все веб-сервисы установлены на отдельном веб-сервере, доступном пользователям через Интернет [Рыбкина и др., 2013].

Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля на территории России.

4.8. Выводы 1. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ.

2. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах.

Распознавание возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ.

3. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой по сравнению с зарубежными центрами геомагнитных данных. Он обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к.

открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени.

4. В центре сбора магнитных данных реализованы хранение и обработка не только вариационных данных, но и результатов абсолютных измерений, проводимых вручную на обсерваториях. Это дает возможность осуществлять привязку вариационных данных к абсолютным значениям фактически по мере их поступления. Впервые появляется возможность оперативного доступа к данным, имеющим привязку к абсолютным значениям и прошедшим процедуру автоматизированного контроля качества. Такие данные являются крайне ценным материалом для научного сообщества в области геомагнетизма и космофизики.

Внедренная алгоритмическая система более эффективна в решении 5.

распознавания аномалий техногенной природы, чем один из наиболее популярных в обсерваторской практике методов фильтрации записей от техногенных шумов, связанный с анализом записи dF (t ) X (t )2 Y (t )2 Z (t )2 Fскаляр (t ). Как правило, такая запись содержит большое количество ложных выбросов, а иногда и не содержит в себе искомых.

6. На базе поступающих в центр данных решена задача непрерывного моделирования полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдения магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.

ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа Данная глава основана на результатах, опубликованных в работах [Belov et al., 2008;

Белов и др., 2007, 2010;

Соловьев и др., 2007;

Березко и др., 2008, 2010б, 2011;

Гвишиани и др., 2010а;

Beriozko et al., 2011;

Сидоров и др., 2012;

Soloviev et al., 2013;

Kleimenova et al., 2012;

Клейменова и др., 2013;

Зелинский и др., 2014].

5.1. Постановка задачи и ее обоснование В последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Так, наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных интересов. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно.

Кроме того, уже несколько десятилетий происходит переход от накопившихся аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль дискретных методов анализа данных и дискретной математики в целом.

Статистика показывает, что не менее стремительно растет и количество запросов к дискретным данным, подчеркивая тем самым исключительную важность исходных данных регистрации. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Для перехода такого огромного количества в качество очевидно требуются адекватные автоматизированные методы их комплексного анализа и обработки. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно.

Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и во времени изменчива, то и методы должны быть в большой степени адаптивными.

Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную.

Геомагнитное поле подвержено колебаниям различного временного масштаба. С целью описания магнитной активности в планетарном масштабе был разработан ряд геомагнитных индексов: 24-часовой C-индекс, 3-часовой Kp-индекс, часовые индексы Dst, AE и другие (см. Приложение 2). Каждый из индексов вычисляется по результатам измерений и характеризует, как правило, лишь часть, одну из составляющих геомагнитной активности, так что выбор конкретного индекса при сопоставлении с некоторым определенным явлением является нелегкой задачей и подчас требует предварительного исследования. При расчете основных планетарных индексов используется заранее определенный и ограниченный набор обсерваторий, то есть они характеризуют активность геомагнитного поля не по всей поверхности Земли, а лишь в отдельных заранее заданных регионах. Это отчасти связано с тем, что большинство индексов разрабатывалось довольно давно, когда сети наземных наблюдений были слабо развиты.

Так, например, для характеристики планетарной магнитной возмущенности в 3 часовом интервале в настоящее время существуют два индекса: Kp и Km. При расчете планетарного Кр-индекса используют только 13 обсерваторий, расположенных между северной геомагнитной широтой и 46 южной геомагнитной широтой. При этом более половины обсерваторий сконцентрированы в Европе. Индекс Km рассчитывается на базе уже другого набора обсерваторий. Отличаются и методики вычисления этих индексов.

Несмотря на то, что индекс Km характеризует планетарную возмущенность с большей точностью, Kp-индекс будет по-прежнему вычисляться Постоянной службой индексов до тех пор, пока сбор данных и вычисление Km-индекса на их основе не будет столь же оперативным, как вычисление Kp-индекса. Если Kp-индекс вычисляется и поступает в Мировые центры данных (МЦД) с недельным опозданием, то Km-индекс публикуется с опозданием до нескольких месяцев.

Вообще, исследование магнитной бури с разрешение 1-3 час. позволяет выявить лишь сторм-тайм-вариацию Dst, да и то не в чистом виде, так как в средних и низких широтах иррегулярные возмущения (для пунктов, не исключительно далеких друг от друга) протекают синфазно и, следовательно, не будут сглаживаться при осреднении.

Иррегулярная часть магнитной бури представляет собой последовательность отдельных возмущений, каждое из которых имеет длительность порядка 1-2, реже 3 час., поэтому их имело бы смысл исследовать с разрешением порядка 10-15 мин. времени, но таких индексов пока не существует [Бобров, 1961].

Отметим, что основной идеей введения этих индексов было дать равномасштабную оценку относительной силы возмущений на разных обсерваториях. Один и тот же индекс – Kp или Dst – соответствует разным вариациям магнитного поля Земли на разных широтах. При этом используя данные индексы, предполагается, что вдоль широт долготного изменения вариаций не существует, т.е. подразумевается взаимодействие только одного магнитного диполя Земли с магнитосферой. Однако более детальное изучение морфологии геомагнитных возмущений и их источников показало, что разные индексы геомагнитной активности, используемые в наше время, отражают активность геомагнитного поля не на всей поверхности Земли, а на ее отдельных участках.

Для изучения динамики геомагнитных возмущений во время бури недостаточно использовать лишь некоторые стандартные геомагнитные индексы. В процессе изучения солнечно-земных явлений появилась необходимость одновременного определения силы геомагнитных возмущений, зарегистрированных на как можно большем количестве обсерваторий.

М. С. Бобров, исследуя записи 72 станций на протяжении Международного геофизического года (1957-1958 гг.), установил, что почти все геомагнитные возмущения имеют общепланетарный характер [Бобров, 1961]. Следовательно, изучение магнитных возмущений по материалам небольшого числа обсерваторий, охватывающих ограниченные интервалы широт и долгот, не может дать полной картины явления.

Исследователь должен располагать легко обозримой общепланетарной картиной изучаемого возмущения. Геомагнитная активность является наиболее прямым выражением воздействия солнечных корпускулярных потоков на атмосферу Земли.

Поэтому структура корпускулярных потоков должна отражаться в тех или иных характерных особенностях геомагнитных возмущений. Для это необходимо анализировать магнитограммы, записанные на всевозможных широтах и долготах. В совокупности эти данные дают общепланетарную картину геомагнитных возмущений за тот или иной период [Бобров, 1961].

На сегодняшний день количество работающих обсерваторий только сети ИНТЕРМАГНЕТ свыше 120 – это огромный объем постоянно увеличивающихся данных, анализировать которые вручную на постоянной основе невозможно.

Итак, при исследовании солнечно-земных явлений необходимо одновременное определение величины возмущенности геомагнитного поля и изучения динамики распространения этих возмущений по всем обсерваториям мировой сети станций ИНТЕРМАГНЕТ, т.е. введение новых параметров, независимых от геомагнитных широт и долгот и новых алгоритмов обработки и анализа геомагнитных данных, что дает возможность более детального изучения геомагнитной активности по сравнению с использованием стандартных подходов, основанных на использовании геомагнитных индексов.

Метод анализа каждой магнитограммы в отдельности предполагает подход к каждой магнитной бури как к некоторой конкретной совокупности физических процессов во внешней и верхней атмосфере Земли, причем в этой совокупности есть как черты, общие для всех бурь, так и черты, характерные только для данной бури или же того узкого класса, к которому принадлежит данная буря. Можно сказать, что такой метод предполагает подход по преимуществу физический, в отличие от статистического метода [Бобров, 1961].

На базе алгоритмического подхода ДМА был разработан такой параметр – вертикальная мера аномальности алгоритма FCARS [Гвишиани и др., 2008б]. Она зависит от записи, от времени и характеризует в непрерывной шкале отрезка [-1, 1] степень аномальности происходящего на данной записи в данный момент времени. Если имеется сеть станций, в частности ИНТЕРМАГНЕТ, то меры аномальности, построенные по записям на этих станциях, дают возможность следить в режиме реального времени в единой шкале [-1, 1] за совокупной аномальностью в сети. При этом временное разрешение меры соответствует периодичности самих наблюдений. В случае ИНТЕРМАГНЕТ шаг дискретизации наблюдений составляет одну минуту.

5.2. Апробация меры (t) оценки геомагнитной активности в реальном времени Как было сказано выше, для решения поставленной задачи использовался модифицированный алгоритм FCARS (Fuzzy Comparison Algorithm for Recognition of Signals, см. раздел 2.6) [Гвишиани и др., 2008б]. Основными этапами алгоритма FCARS являются:

Фрагментация записи;

Построение выпрямления;

Расчет вертикальной меры аномальности на выпрямлении, вертикальное разбиение;

Расчет горизонтальной меры аномальности на выпрямлении, горизонтальное разбиение.

В результате алгоритм разбивает исходную запись на три типа фрагментов:

фоновый (голубой), потенциально аномальный (зеленый) и аномальный (красный).

Пример одновременной работы алгоритма FCARS на магнитных записях множества обсерваторий приведен на рис. 5.1.

Рис. 5.1. Пример одновременного выделения аномалий на множестве записей, полученных с разных обсерваторий ИНТЕРМАГНЕТ.

Для оценки магнитной активности в каждый момент времени нам достаточно использования вертикальной меры аномальности (t) (в дальнейшем просто мера аномальности). Пример применения меры (t) к магнитной записи приведен на рис. 5.2.

Рис. 5.2. Пример расчета меры (t) (снизу) для магнитной записи компоненты X за январь 2005 г., полученной на обсерватории Chambon la Foret (CLF) (сверху). Синий цвет соответствует фоновым участкам, зеленый и фиолетовый цвета – потенциально аномальным, красный – аномальным.

Работа меры (t) сравнивалась с классическими индексами геомагнитной активности. В частности, был проведен сравнительный анализ (t) и трехчасового локального индекса K (см. Приложение 2) на возмущенном фрагменте магнитной записи за январь 2005 г. В результате при сравнении работы двух методов между ними было получено высокое значение коэффициента корреляции 0.9061 (рис. 5.3). При этом из рис.

5.3 видно, что мера (t) гораздо тоньше реагирует на магнитные возмущения. Необходимо отметить, что для более корректного сравнения мера (t), как и индекс K, рассчитывалась для трехчасовых промежутков времени. В общем случае мера (t) способна работать на минимальном промежутке времени, соответствующем временному шагу регистрации исходных данных (напр., 1 минута в случае данных ИНТЕРМАГНЕТ) [Soloviev et al., 2013].

Рис. 5.3. Сравнение рассчитанной меры (t) и локального K-индекса для возмущенной магнитной записи компоненты X за январь 2005 г., полученной на обсерватории Chambon la Foret (CLF). Коэффициент корреляции между двумя получившимися записями составил 0.9061.

5.3. Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла Предлагаемый метод был опробован на сильных геомагнитных бурях, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. Эти данные сравнивались статистически и индивидуально с солнечными, гелиосферными и магнитосферными параметрами [http://dbserv.sinp.msu.ru/apev/] с целью изучения общих и специфических свойств рассматриваемых событий. Результат показал, что события имеют как общие черты, так и широкое разнообразие особенностей.

Таким образом, был разработан инструментарий для одновременного анализа всей совокупности данных ИНТЕРМАГНЕТ с целью индивидуального распознавания магнитной активности на каждой записи отдельно. В основе инструментария лежат принципы дискретного математического анализа.

Работа метода была опробована на двух сильных геомагнитных бурях. В первом случае рассматривалась сложная буря 8-11 ноября 2004 г., состоящая из двух частей. Во втором случае рассматривалась изолированная буря 15 мая 2005 г. Перед применением разработанного метода выбранные бури были детально изучены. Исходным материалом служили данные сети ИНТЕРМАГНЕТ, значения индекса Dxt (исправленная версия Dst) [Mursula et al., 2008], параметры солнечного ветра и межпланетного магнитного поля и данные по солнечным событиям.

5.3.1. Анализ бури 8-11 ноября 2004 г.

Первая буря состоит из двух частей в связи с тем, что имели место два корональных выброса массы. Первая часть бури проявилась 8 ноября 2004 г., вторая – ноября 2004 г. В первой части бури наблюдалось традиционное симметричное развитие геомагнитных возмущений в экваториальных регионах (рис. 5.4). Максимальное отклонение Dxt-индекса составило -372.823 нТл в 06:00:00 8 ноября 2004 г.

Рис. 5.4. Первая часть бури, 8 ноября 2004 г. Справа сверху на карту нанесены четыре низкоширотные обсерватории, чьи данные использовались для расчета индекса Dxt:



Pages:     | 1 |   ...   | 3 | 4 || 6 | 7 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.