авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
-- [ Страница 1 ] --

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ

ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК

На правах рукописи

Соловьев Анатолий Александрович

МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА

ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ

Специальность 25.00.10

Геофизика, геофизические методы поисков полезных ископаемых

Диссертация на соискание ученой степени доктора физико-математических наук

Научный консультант академик РАН, доктор физико математических наук, профессор Гвишиани Алексей Джерменович Москва – 2013 ОГЛАВЛЕНИЕ ВВЕДЕНИЕ................................................................................................................................... ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи........................................................................................................................................... 1.1. Распознавание аномальных событий на временных рядах.......................................... 1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей 1.1.2. Действующие системы обнаружения аномалий в сейсмологии........................... 1.1.3. Статистические методы выделения аномалий на временных рядах.................... 1.1.4. Распознавание аномалий временных рядов на основе вейвлет-анализа.............. 1.1.5. Нейросетевой подход к анализу временных рядов................................................ 1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ......... 1.2.1. Общее описание......................................................................................................... 1.2.2. Принципы работы и взаимодействия геомагнитного оборудования................... 1.2.3. Подготовительные работы по созданию геомагнитной обсерватории................ 1.2.4. Абсолютные измерения офсетным методом.......................................................... 1.2.5. Расчет базовой линии и временная привязка.......................................................... 1.2.6. Квазиокончательные данные.................................................................................... 1.2.7. Регистрация секундных данных............................................................................... 1.3. Источники и методы оценки геомагнитной активности.............................................. 1.3.1. Воздействие солнечного ветра на геомагнитное поле........................................... 1.3.2. Магнитосферные явления......................................................................................... 1.3.3. Солнечносуточная вариация.................................................................................... 1.3.4. Индексы геомагнитной активности......................................................................... 1.4. Наблюдения и исследование цунами............................................................................. 1.4.1. Общее описание......................................................................................................... 1.4.2. Механизмы образования цунами............................................................................. 1.4.3. Наблюдения цунами. Российская служба предупреждения о цунами................. 1.4.4. Система DART........................................................................................................... 1.4.5. Прогноз цунами......................................................................................................... 1.5. Обоснование и постановка задачи диссертации........................................................... ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных......................................................................................................................................... 2.1. Базовые элементы теории нечетких множеств.............................................................. 2.1.1. Основные определения............................................................................................. 2.1.2. Операции над нечеткими множествами.................................................................. 2.1.3. Нечеткие бинарные отношения................................................................................ 2.2. Общие принципы дискретного математического анализа........................................... 2.2.1. Алгоритмический подход ДМА............................................................................... 2.2.2. Выпрямления и их примеры................................................................................... 2.2.3. Нечеткие сравнения................................................................................................. 2.3. Алгоритм распознавания выбросов на минутных данных SP (SPIKE)..................... 2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond)....... 2.5. Алгоритм распознавания скачков JM (JUMP)............................................................. 2.5.1. Неформальная логика.............................................................................................. 2.5.2. Нечеткие грани........................................................................................................ 2.5.3. Нечеткая мера скачкообразности........................................................................... 2.6. Мера аномальности........................................................................................................ 2.7. Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic)........................................................................................... 2.8. Выводы............................................................................................................................ ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа........................ 3.1. Техногенные сбои на магнитограммах......................................................................... 3.2. Автоматизированное распознавание выбросов на минутных магнитограммах...... 3.2.1. Постановка задачи распознавания выбросов на минутных магнитограммах (1/ Гц) ИНТЕРМАГНЕТ......................................................................................................... 3.2.2. Обучение алгоритма SP. Формальная схема........................................................ 3.2.3. Обучение алгоритма SP в период пониженной магнитной активности............ 3.2.4. Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен)........................................................................................................ 3.2.5. Обсуждение результатов обучения........................................................................ 3.2.6. Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен).............................................................................................................................. 3.2.7. Экзамен алгоритма SP в период повышенной магнитной активности.............. 3.2.8. Обсуждение результатов экзаменов...................................................................... 3.3. Автоматизированное распознавание выбросов на секундных магнитограммах..... 3.3.1. Постановка задачи распознавания выбросов на секундных магнитограммах ( Гц) ИНТЕРМАГНЕТ......................................................................................................... 3.3.2. Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания.................................................................................................................... 3.3.3. Обучение алгоритма SPs......................................................................................... 3.3.4. Устойчивость обучения относительно выбора свободных параметров............ 3.3.5. Оценка результатов обучения................................................................................ 3.3.6. Экзамен алгоритма SPs........................................................................................... 3.3.7. Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания.................................................................................................................... 3.3.8. Анализ ложных тревог............................................................................................ 3.3.9. Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов............................................................................................................................. 3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах 3.4.1. Описание магнитных данных спутника GOES (2 Гц) и постановка задачи...... 3.4.2. Распознавание скачков базовой линии на спутниковых магнитограммах........ 3.5. Выводы............................................................................................................................ ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных.................................................................................................................. 4.1. Обоснование и постановка задачи................................................................................ 4.2. Общее описание работы российско-украинского центра геомагнитных данных.... 4.3. База геомагнитных данных.......................................................................

..................... 4.4. Веб-приложения для удаленной работы с геомагнитными данными....................... 4.4.1. Ввод абсолютных измерений................................................................................. 4.4.2. Веб-сервисы для интерактивного доступа к данным........................................... 4.5. Доступ к данным и их визуализация............................................................................ 4.5.1. Веб-портал центра геомагнитных данных............................................................ 4.5.2. Видео-стенд для отображения геомагнитных данных......................................... 4.6. Сравнение распознавания выбросов методом F и алгоритмической системой, внедренной в центре.............................................................................................................. 4.7. Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени......................................................................................... 4.8. Выводы............................................................................................................................ ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа...................................................................................................... 5.1. Постановка задачи и ее обоснование............................................................................ 5.2. Апробация меры (t) оценки геомагнитной активности в реальном времени......... 5.3. Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла................................................................................................................... 5.3.1. Анализ бури 8-11 ноября 2004 г............................................................................. 5.3.2. Анализ бури 15 мая 2005 г...................................................................................... 5.3.3. Обсуждение результатов анализа.......................................................................... 5.4. Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ.. 5.5. Выводы............................................................................................................................ ГЛАВА 6. Применение метода дискретного математического анализа к распознаванию аномалий на данных о цунами................................................................. 6.1. Обоснование и постановка задачи................................................................................ 6.2. Автоматизированное распознавание алгоритмом RTFL сигналов P-волн и волн цунами на данных системы DART-2................................................................................... 6.3. Выводы............................................................................................................................ ЗАКЛЮЧЕНИЕ....................................................................................................................... БЛАГОДАРНОСТИ................................................................................................................ ПРИЛОЖЕНИЯ....................................................................................................................... ПРИЛОЖЕНИЕ 1. Магнитометрические измерения......................................................... ПРИЛОЖЕНИЕ 2. Индексы ретроспективной оценки геомагнитной активности......... ПРИЛОЖЕНИЕ 3. Моделирование и картографирование магнитного поля Земли...... ПРИЛОЖЕНИЕ 4. Основные публикации и доклады автора по теме диссертации...... СПИСОК ЛИТЕРАТУРЫ..................................................................................................... ВВЕДЕНИЕ Актуальность темы исследования Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно.

Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки.

Статистика показывает, что не менее стремительно растет и количество запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно.

Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации.

Актуальной является задача распознавания и классификации различных форм сигнала на временных рядах. Эта непростая задача требует соответствующих алгоритмов детального анализа исходных данных и большого числа свободных параметров, подгоняемых в процессе настройки. Например, проблема выделения таких аномалий на временных рядах, как «спайки» (выбросы), до сих пор остается нерешенной. Помимо геофизики, эта проблема актуальна в целом ряде других дисциплин, включая медицину, радиофизику и др. Выбросы могут носить как техногенный, так и природный характер.

Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме.

Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. Моделирование деятельности и логики интерпретатора (эксперта) может быть достигнуто путем применения методов на базе нечеткой логики, которые были разработаны в последнее время.

Одной из актуальных проблем анализа геофизических данных является распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/д автоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.

Кроме того, при стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Методы, предлагаемые в данной работе, служат решению этой задачи. Их использование автоматизирует и существенным образом ускоряет обработку и анализ данных.

Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли.

В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются:

1. развитие пунктов геомагнитных наблюдений в России;

2. создание национального центра геомагнитных данных, который будет служить ядром российского сегмента ИНТЕРМАГНЕТ;

3. преобразование результатов наблюдений российских обсерваторий в окончательные данные, предоставляемые научной общественности, вместо передачи «сырых» данных в различные зарубежные центры.

Диссертационная работа направлена на решение этих актуальных задач.

Целью работы является развитие математических методов автоматизированной обработки данных и их применение к анализу дискретных временных рядов геомагнитных и других геофизических наблюдений. В рамках диссертации анализ временных рядов направлен на распознавание таких природных явлений, как магнитные бури, землетрясения и цунами, а также явлений, носящих техногенный характер. Кроме того, в работе решаются задачи разработки систем сбора геомагнитных данных.

Методология работы основана на новом подходе, заключающемся в моделировании дискретных аналогов фундаментальных понятий математического анализа, таких как связность и монотонность, экстремум, перегиб, выпуклость и т.д. Этот подход носит название «Дискретный математический анализ» (ДМА). Диссертационная работа направлена на его применение к распознаванию и изучению аномалий на временных рядах геофизических наблюдений. Математической базой для этого являются элементы ДМА. Диссертация продолжает цикл работ школы исследователей, возглавляемой академиком А.Д. Гвишиани, к которой причисляет себя и автор.

Отправной точкой такого математического моделирования служит достаточно «мягкий», в смысле создателя «нечеткой» математики Л. Заде, характер восприятия человеком свойств дискретности. Действительно, опытный исследователь, как правило, интуитивно и эффективно кластеризует, выделяет сгущения, трассирует, находит аномалии в двух- и трехмерных массивах и на временных рядах небольших объемов.

Использование ДМА позволяет перенести это умение на большие размерности и большие объемы обрабатываемых данных.

Основные задачи

исследования 1. Создание на базе ДМА алгоритмической системы автоматизированного, адаптивного распознавания аномальных событий произвольной природы на длительных временных рядах различных геофизических наблюдений.

2. Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и математическая формализация критериев эффективности разработанного метода.

Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности.

3. Программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений;

доведение качества распознавания до уровня, сравнимого с работой эксперта вручную;

сравнение созданного метода с классическими статистическими методами распознавания.

4. Разработка модели и технологической схемы функционирования межрегионального центра геомагнитных данных по обслуживанию российско украинского сегмента сети ИНТЕРМАГНЕТ.

5. Создание нового метода распознавания и мониторинга геомагнитной активности на основе данных всей глобальной сети наземных наблюдений с использованием ДМА и ГИС-технологий для возможности изучения динамики распространения магнитных бурь по земному шару в режиме реального времени;

разработка меры, дающей оценку геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ.

6. Реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане;

применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами;

оценка работы системы с работой эксперта.

Научная новизна 1. Разработан новый подход к распознаванию и изучению аномальных событий на больших временных рядах различных геофизических данных. Подход отличается универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в его основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий.

2. Впервые создана автоматизированная алгоритмическая система для распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ.

3. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитограммах и выработаны критерии качества, применимые к секундным и полусекундным данным.

4. Применение алгоритмической системы распознавания техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо годовой задержки более года.

5. Разработанные алгоритмы впервые позволяют распознавать и изучать низкоамплитудные магнитные пульсации диапазона 5-45 секунд (Pc3) по совокупности секундных данных, зарегистрированных целым кластером обсерваторий на приэкваториальных широтах.

6. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ.

Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах. Распознавание возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой, поскольку обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к.

открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени.

7. Впервые разработан метод распознавания и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли с использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет следить за динамикой распространения магнитных бурь в режиме реального времени.

Оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

8. На базе ДМА разработана новая мера аномальности, которая дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельных регионов. На высоких широтах, где измеряемое магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, такое региональное изучение динамики активности становится еще более интересным.

9. Разработанный алгоритмический метод ДМА реализован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Созданная система впервые позволяет обнаруживать в накопленных данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами в силу их небольшой магнитуды.

10. Впервые создан и опубликован в электронном виде Атлас магнитного поля Земли (МПЗ) за 1500-2010 гг. Атлас представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать МПЗ с 1500 по 2010 гг. Он представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления – геомагнетизма. Он содержит научные результаты как исторического, так и современного состояния изучения МПЗ. Атлас не имеет ни отечественных, ни зарубежных аналогов.

Основные защищаемые положения 1. Разработанное на основе математической теории ДМА новое направление в распознавании и изучении аномалий на временных рядах геофизических наблюдений позволяет создать инструментарий для решения широкого круга задач анализа геофизических временных рядов. Достоверность этого нового направления подтверждается апробацией методов на данных наблюдений МПЗ и цунами.

2. Разработанная на базе конструкции нечетких сравнений строгая формализация понятий, необходимых для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности.

3. Развитие и реализация метода ДМА для распознавания и анализа аномальных событий на наземных и спутниковых магнитных данных, формализованные критерии его эффективности и оценка достоверности результатов распознавания.

4. Новый метод определения и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли. Метод базируется на ДМА и ГИС-технологиях. Он позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

5. Развитие и реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане.

Научная и практическая значимость полученных результатов В рамках алгоритмического подхода ДМА построена конструкция нечетких сравнений, позволяющая сравнивать различные характеристики объектов с учетом их относительных шкал изменений, тем самым, формализуя экспертную оценку. Такая конструкция дает нормированное представление сравнений, что позволяет в дальнейшем агрегировать их в единой шкале при помощи аппарата нечеткой логики. Иными словами, в нормированном виде появляется возможность соединять методами нечеткой логики разные точки зрения экспертов в единую, агрегированную точку зрения. На базе конструкции нечетких сравнений в рамках диссертации строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая степень значительности перепада базового уровня.

Созданные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения (значениях свободных параметров). Все это делает алгоритмы универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий.

Разработанная алгоритмическая система распознавания аномалий техногенной природы позволяет повысить достоверность очищенных от техногенных аномалий магнитограмм, в частности, сети ИНТЕРМАГНЕТ и получать их из предварительных минутных, секундных и полусекундных записей практически без участия человека.

Система дает также возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU). Таким образом, улучшая качество и повышая достоверность как вновь поступающих, так и исторических исходных данных, она вносит вклад в развитие геомагнетизма.

Применение созданной системы в непрерывном режиме для контроля качества магнитных данных позволяет сократить время подготовки окончательных данных с года до месяца. Основные задачи, которые требуют наличия таких данных, включают в себя краткосрочное моделирование геомагнитного поля, расчет оперативных версий индексов геомагнитной активности, оперативная оценка геомагнитной обстановки, краткосрочный прогноз магнитных бурь и др.

На базе ГЦ РАН создан межрегиональный геомагнитный информационный центр по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ, налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В центре внедрена автоматизированная система, предназначенная для формализованного и единообразного распознавания техногенных аномалий на магнитограммах по мере их поступления. В центре реализовано хранение данных в реляционной СУБД, обеспечивающее широкие возможности поиска данных, гибкость и быстрое выполнение запросов любой сложности.

Внедрение автоматизированной системы распознавания техногенных возмущений в непрерывном режиме в российско-украинском центре магнитных данных дает возможность доступа к очищенным магнитным данным с минимальной задержкой, по мере их поступления в центр. Наряду с обработкой наземных наблюдений, созданный алгоритмический комплекс в настоящий момент также внедряется в систему спутниковых геофизических наблюдений, которую разрабатывает Институт прикладной геофизики имени академика Е. К. Федорова РОСГИДРОМЕТ.

На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.

Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. В отличие от существующих индексов магнитной активности, предложенный метод осуществляет оценку геомагнитной возмущенности на основе всей совокупности наземных наблюдений магнитного поля Земли. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

Разработанные алгоритмы, примененные к секундным магнитным данным, открывают новые возможности по решению научных задач космической физики. К ним относятся оперативное распознавание и оценка солнечной активности, распознавание и изучение магнитных пульсаций в диапазоне от нескольких секунд до нескольких минут.

Разработанный на базе ДМА алгоритмический комплекс RTFL (Recognition of Tsunamis based on Fuzzy Logic) успешно применен для решения задачи распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами. Комплекс может быть использован для мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами и моделирования систем предупреждения о цунами. Кроме того, его компоненты в значительной степени гибки и адаптивны к другим задачам распознавания аномальных событий на временных рядах.

Созданный Атлас магнитного поля Земли, включающий обширный материал, предназначен для широкого круга пользователей, представляющих различные научные и прикладные области знания. Атлас представляет собой оригинальный фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками МПЗ за период с 1500 по 2010 гг. Его преимуществом является картографическое представление материалов по геомагнетизму.

Научная и практическая значимость выполненных автором исследований подтверждается тем, что часть работ, вошедших в диссертацию, проводилась при поддержке Программы фундаментальных исследований ОНЗ РАН № 7, РФФИ (гранты 12-05-90428-Укр_а, 12-05-00583-а, 11-05-06000-г, 11-05-05024-б, 10-05-90441-Укр_а, 09 07-91051-НЦНИ_а, 09-05-00789-а), Программы сотрудничества между ИФЗ РАН и Парижским институтом физики Земли, Программы сотрудничества между NOAA, NESDIS, NGDC, ИФЗ РАН, ГЦ РАН и ИКИ РАН под эгидой GEOSS и Благотворительного Кауффман-Фонда.

Личный вклад Все результаты, представленные в диссертации, получены автором самостоятельно или при его непосредственном участии в коллективе соавторов. В большинстве публикаций, относящихся к теме диссертации, автору принадлежала ведущая роль в постановке задачи, поиске путей решения, выполнении соответствующих расчетов и интерпретации результатов.

Апробация работы Результаты работы докладывались и обсуждались на научных семинарах ГЦ РАН, ИФЗ РАН, ИЗМИРАН, ИПГ им. академика Е.К. Федорова, ААНИИ, Парижского института физики Земли (Франция), Национального центра геофизических данных НОАА (США). Основные положения работы были также доложены на отечественных и международных семинарах и конференциях (более 30 докладов). Автор являлся приглашенным докладчиком на конференции POLAR-2011 в ИЗМИРАН (г. Троицк) и Генеральной Ассамблее Международного Союза Геодезии и Геофизики (IUGG) 2011 г. в г. Мельбурне (Австралия). Автор был награжден за лучший стендовый доклад на международной конференции CODATA Международного совета по науке (ICSU) 2012 г. в г. Тайбэе (Тайвань). Полный список семинаров и конференций включает: 9-я международная конференция INFOBALT “Информационное общество: инновационные технологии для бизнеса и образования” октября 2007 г. (Вильнюс, Литва);

Всероссийский съезд геологов 2008 г. (Москва, Россия);

Международная конференция «Итоги Электронного Геофизического Года» 2009 г. (Переславль-Залесский, Россия);

IAGA 11th Scientific Assembly 2009 (Sopron, Hungary);

IV Фестиваль науки 2009 г. (Москва, Россия);

Всероссийский семинар «Современные информационные технологии для фундаментальных научных исследований РАН в области наук о Земле» 2010 г.

(Владивосток, Россия);

International Workshop “Artificial Intelligence in the Earth’s Magnetic Field Study. INTERMAGNET Russian Segment” 2011 (Uglich, Russia);

Первая и Вторая научные конференции «Базы данных, инструменты и информационные основы полярных геофизических исследований» (POLAR-2011, POLAR-2012) 2011-2012 гг. (Троицк, Россия);

XXV IUGG General Assembly “Earth on the Edge: Science for a Sustainable Planet” 2011 (Melbourne, Australia);

The 1st ICSU World Data System Conference “Global Data for Global Science” 2011 (Kyoto, Japan);

European Seismological Commission 33-rd General Assembly 2012 (Moscow, Russia);

23rd CODATA International Conference "Open Data and Information for a Changing Planet" 2012 (Taipei, Taiwan);

IAGA 12th Scientific Assembly 2013 (Merida, Yucatan, Mexico);

Partnership Conference "Geophysical observatories, multifunctional GIS and data mining" 2013 (Kaluga, Russia).

В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян С.М., Соловьев А.А.

«Кристалл». Свидетельство № 2010616341 от 24.9.2010;

(2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство № 2011616021, от 3.8.2011;

(3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство № 2012619415 от 18.10.2012.

Публикации По теме диссертации опубликованы 30 научных работ, из которых 20 статей в изданиях, рекомендованных ВАК РФ для публикации материалов докторских и кандидатских диссертаций, а также получены 3 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем работы Диссертация состоит из введения, шести глав, четырех приложений и заключения;

содержит 310 страниц машинописного текста, в том числе 146 рисунков, 31 таблицу и формулы (пронумерованные);

список использованной литературы составляет наименования. Главы, посвященные геофизическим приложениям разработанных методов, предваряются постановкой задачи. В конце каждой главы, начиная со второй, приведены выводы.

ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи 1.1. Распознавание аномальных событий на временных рядах 1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей В истории развития подходов к поиску и распознаванию аномалий на временных рядах можно выделить ряд этапов, характеризующихся как актуальностью текущих задач и доминирующей концепцией подхода к обработке данных, так и развитием вычислительной техники, ЭВМ. В целом зарождение основных принципов обработки данных и поиска аномалий в геофизике началось примерно в 1930-х гг.

Первый этап (1930—1950 гг.) характеризуется исключительно детерминированным подходом к обработке данных. В детерминированном подходе предполагается, что данные являются точно измеренными и учтёнными, и решение задачи поиска аномалий определяется полностью системой исходных значений измеренного физического поля [Никитин, 1979]. При этом неизбежными искажениями исходной информации за счет различного рода помех обычно пренебрегают. К таким методам в интерпретации геофизических данных относились графические методы (палеточные методы, метод касательных, метод характерных точек [Логачев, Захаров, 1979]), методы подбора, и по сей день применяющиеся в прикладных программах интерпретации данных.

Второй этап (1950—1962 гг.), начало которого было обусловлено пониманием некоторых исследователей необходимости исключения помех из измеренных данных, являлся развитием детерминированного подхода. В это время, в частности, начинают использовать приемы аналитического продолжения гравимагнитных полей в верхнее и нижнее полупространства, интенсивно развиваются методы частотного анализа, которые подготовили базу для разработки аналоговых счетно-решающих устройств. Именно на этом этапе в работах некоторых исследователей начинается формирование принципиально нового подхода к обработке геофизических данных — вероятностно статистического, основанного на представлении полей в виде случайных функций.

Такое представление в значительной степени приближает нас к реальным ситуациям, когда источники естественных физических полей варьируют зачастую в достаточно широких пределах, а сигналы, являющиеся объектом поиска (полезные сигналы) осложнены помехами и погрешностями наблюдений. Действительно, в случае магнитного поля мы имеем в общем виде сложное наложение главного магнитного поля, аномального поля, солнечно-суточных вариаций и т.д., т.е. сочетание как постоянных, так и случайных составляющих. Таким образом, при вероятностно-статистическом подходе исходные данные считаются известными только частично, либо их значения недостаточно точны, результатом решения задачи здесь является уже не число и не функция, а распределение вероятностей, заданное над возможными значениями результата.

Третий этап — с 1963 г. по настоящее время. Характеризуется внедрением аналоговых устройств и ЭВМ в практику геофизических работ. С 1970 г. происходит отмирание аналоговой техники и повсеместное распространение получают методы цифровой обработки данных на ЭВМ. Наряду с функционально-аналитическим направлением широкое развитие приобретают вероятностно-статистические методы обработки и интерпретации геофизических данных.

Проблема выделения сигналов [Никитин, 1979] включает в себя несколько задач:

обнаружение, под которым понимается установление наличия сигнала, собственно выделение или измерение, состоящее в оценке параметров сигнала, в частности его местоположения, и различение нескольких сигналов. Все эти задачи неразрывно связаны и их, как правило, решают одновременно.

При решении задачи выделения сигнала на фоне помех наиболее распространенной является аддитивная модель поля. Сигнал может быть представлен либо детерминированной, т. е. известной по форме и параметрам функцией, либо случайным процессом с известными или неизвестными статистическими характеристиками. Помеха вследствие многообразия создающих ее факторов, как правило, описывается случайным процесом. Анализ методов выделения геофизических аномалий указывает на большое разнообразие используемых в настоящее время приемов обработки исходных данных.

Поэтому возникает необходимость в их систематизации, которая позволила бы ориентироваться при выборе того или иного приема в зависимости: 1) от характера поставленной задачи;

2) от наличия априорных сведений об изучаемых объектах;

3) от возможности использования определенного математического аппарата.

1.1.2. Действующие системы обнаружения аномалий в сейсмологии Воспользовавшись [Кедров, 2005], дадим краткий обзор реально действующих (в основном в сейсмологии) систем обнаружения аномалий. Цель этого отнюдь не исчерпывающего обзора – позиционирование по отношению к включенным в обзор системам алгоритмов, построенных на базе ДМА.

Согласно [Кедров, 2005], полный цикл процедуры обнаружения аномалий на записи подразделяется на три этапа: предобнаружение, обнаружение (детектирование) и обработка обнаруженной аномалии. При этом алгоритмы выделения аномалий преимущественно основываются на сочетании статистического подхода и спектрально временного анализа СВАН - раздела статистического анализа, целью которого является исследование частотных характеристик стационарного случайного процесса с дискретным временем или временного ряда. СВАН основывается на разнородной спектральной, асимптотической и функциональной технике, которая во многих ситуациях жестко привязана к физической сущности изучаемых явлений и тем самым весьма наглядна [Прохоров, 1999]. Остановимся, кратко, на некоторых их этих систем.

Система SESMO1 [Кедров и др., 2000] предназначена для обнаружения короткопериодных сейсмических аномалий в режиме реального времени во временной и частотной областях. Алгоритм использует восемь полосовых фильтров Баттеруорта, охватывающих с перекрытием всю полосу частотной характеристики аномалии. В этом алгоритме используется трехкомпонентный поляризационный анализ.

АРСС-модели [Кушнир и Мостовой, 1990]. Этот тип алгоритмов обнаружения аномалий основан на использовании адаптивных и согласующих фильтров. Алгоритм такого детектора строится на основе авторегрессионного описания (АРСС-модели) сейсмических аномалий и помех. Фильтрация состоит в непрерывном анализе шума.

Соответственно делается прогноз характера данных, которые должны быть зарегистрированы в последующий момент. Если накопленный на текущий момент времени прогноз о шумах не сбывается, то делается предположение, что зарегистрирована полезная аномалия.

Максимальное правдоподобие [Кушнир и Мостовой, 1990]. Сложными для использования в режиме реального времени являются методы обнаружения аномалий, основанные на использовании фильтров максимального правдоподобия. В этом случае обнаружение проводится с учетом непрерывного оценивания в режиме реального времени спектральных свойств шума. При этом накладывается условие, что параметры аномалии либо неизвестны, либо известны, но недостаточно полно.


Распознавание с обучением [Harjes and Joswig, 1985]. Для обнаружения локальных и региональных аномалий малой амплитуды из интересующего района производится СВАН-анализ аномалий, и по их совокупности составлялся набор характерных “масок”.

Обнаружение новой аномалии из данного района производится путем ее сопоставления с имеющимися “масками”. Делается это по величине когерентности на нескольких уровнях по мощности сигналов.

Нейронные сети [Romeo, 1994]. Другой подход - моделирование возможностей исследователя с помощью специально построенной нейронной сети. Сеть представляет собой многослойный перцентрон. В качестве входных параметров в нем использовались средние абсолютные значения спектральных амплитуд сейсмических колебаний в девяти частотных полосах. На выходе обнаруженные аномалии классифицируются на локальные, региональные, телесейсмические и помехи двух типов [Гвишиани и др., 2008а].

1.1.3. Статистические методы выделения аномалий на временных рядах В разведочной геофизике [Никитин, 1979;

Никитин, 1986] зачастую процесс поиска аномалий на данных имеет место уже после предварительных процедур обработки, позволяющих их выделение. Наиболее успешно выделяются аномалии, отличающиеся от фонового значения поля по частотным или корреляционным свойствам.

Так, например, в достаточно часто встречающейся задаче выделения локальных составляющих поля используется фильтрация. Методы поиска аномалий в рамках вероятностно-статистического подхода, основанные на фильтрации, обычно реализуются при наличии априорной информации о форме самих аномалий и об их корреляционных характеристиках (закон распределения поля, дисперсия).

К концу 60-х годов прошлого века была разработана компьютерная технология извлечения дисперсионных кривых и других характеристик поверхностных волн из цифровых сейсмограмм, получившая название Многоканальная фильтрация. Но эта методика грешила систематическими ошибками в измерениях дисперсии в условиях, когда амплитудный спектр сигнала быстро изменялся с частотой. В работах А.В. Ландера, А.Л. Левшина и В.Ф. Писаренко [Ландер и др., 1973;

Levshin et al., 1972] были предложены методы преодоления этих недостатков и создана новая процедура – Спектрально-временной анализ (СВАН). Различные варианты методов СВАН успешно применяются в геофизике, например, [Dzienovski, 1969;

Ландер и др., 1973;

Кедров и др., 1998;

Кедров и Кедров, 2006].

С целью выделения скрытых периодичностей из наблюдений сейсмичности и других геофизических полей В.Ф. Писаренко предложил регулярный метод оценки параметров гармоник (амплитуды, фазы, частоты), не связанный с поиском минимума в многомерном пространстве [Писаренко, 1973, 1974;

Pisarenko, 1972]. Методика спектрального анализа высокой разрешающей способности, предложенная в этих работах, была в дальнейшем обобщена и усовершенствована и способствовала появлению новых методов высокой разрешающей способности.

Одним из наиболее простых методов выделения аномалий на основе фильтрации является осреднение сигнала и последующий вычет осредненного поля из исходного.

Данный метод требует сведений о частотном составе выделяемых аномалий.

Применение сглаживающего фильтра Колмогорова-Винера связано с представлением аномалий в виде случайных процессов. Реализация этого фильтра требует задания автокорреляционной функции аномалии и помехи или их энергетических спектров [Аронов, 1970;

Никитин, 1979]. Весовая функция такого сглаживающего фильтра определяется либо путем решения системы линейных уравнений h R (m i) Raf (m) i f где hi - весовая функция фильтра;

R f (m i) — корреляционная матрица исходных значений поля, построенная для соответствующей автокорреляционной функции;

Raf (m) — функция взаимной корреляции желаемого сигнала, описываемого случайным процессом, с исходным полем [Никитин, 1979], либо путем преобразования Фурье частотной характеристики фильтра, равной отношению энергетических спектров и имеющей вид:

Ws ( ) H ( ) Ws ( ) Wn ( ) где Ws ( ) и Wn ( ) – соответственно, энергетические спектры сигнала и помехи.

Выбор автокорреляционных функций аномалии и помехи зависит от конкретного типа данных и общей формы аномалий. Так, в гравиразведке в качестве автокорреляционных функций использовались кривые гауссова типа. Оценка качества фильтра Колмогорова— Винера характеризуется величиной среднеквадратической погрешности, вычисляемой либо через автокорреляционные функции аномалии и исходного поля, либо через энергетические спектры аномалии и помехи.

Фильтрация эффективна при выделении сильных аномалий (т.е., таких, наличие которых не вызывает сомнений), однако широко распространённым явлением является трудность визуального обнаружения аномалии (в этом случае аномалию можно называть слабой). Наиболее эффективно задача выделения слабых аномалий может быть решена на базе математического аппарата теории статистических решений, обеспечивающей максимальное извлечение полезной информации путем вычисления апостериорных вероятностей наличия аномалии. Результаты наблюдений некоторого физического поля вдоль профиля (либо на временной оси) F = {f( х 1 ), …, f( х n ) } представляют сумму аномалии а ( х ) и помехи n ( х ). Помеху считаем эргодическим, стационарным процессом нормального типа с нулевым средним и дисперсией 2. Требуется установить наличие аномалии, т.е. определить, является ли поле суммой аномалии и помехи, т.е. f( х ) = а ( х ) + n ( х ), и л и н е т, т. е. f( х ) = n ( х ). Т а к и м о б р а з о м, с р а в н и в а ю т с я д в е с т а т и с т и ч е с к и е г и п о т е з ы H1 и H 0 : при наличии аномалии выполняется гипотеза H1, при ее отсутствии — гипотеза H 0. Задача обнаружения аномалии в указанной формулировке состоит в нахождении функции правдоподобия наблюдаемых значений поля соответственно при наличии (гипотеза H1 ) и отсутствии (гипотеза H 0 ) аномалий.

Функции правдоподобия (условные плотности вероятностей [Вентцель Е.С., 1969]) имеют вид, соответственно, p( F H1 ) и p( F H 0 ). Далее по ним находится коэффициент правдоподобия p ( F H1 ).

p( F H 0 ) Е с л и 1, принимается решение о наличии аномалии, если 1, то об отсутствии аномалии, т. е. порог принятия решения 0 1. П о ф о р м у л е Б е й е с а от коэффициента правдоподобия можно перейти к вычислению вероятности гипотезы о наличии аномалии. При равных априорных вероятностях гипотез H1 и H 0 p1 p0 0, имеем p( H1 F ) / ( 1), и правило принятия решения будет таковым: при p( H1 F ) 0,5 есть аномалия, в противоположном случае — нет.

В случае некоррелированной помехи нормального типа с нулевым средним и дисперсией коэффициент правдоподобия будет представлять собой сумму энергетического отношения сигнал/помеха и свёртки, обеспечивающей фильтрацию исходных данных. При вычислении коэффициента правдоподобия для каждого наблюденного значения поля можно получить его распределение на временной оси или на линии наблюдений. Так строится алгоритм обнаружения, описанный А.Г. Тарховым и проанализированный в [Никитин, 1979]. В этом алгоритме обнаружения аномалии, полученном на основе применения теории статистических решений, с одной стороны, обеспечивается оптимальная фильтрация исходных данных, т. е. процесс выделения аномалии, с другой стороны — возможность вычисления апостериорной вероятности наличия аномалии, т. е. извлечение максимума информации. Однако следует иметь в виду, что при этом требуется наличие априорной информации как о форме и параметрах аномалии, так и о дисперсии помех. Форма и протяженность аномалии, подлежащей обнаружению, могут быть выбраны либо исходя из теоретических представлений об аномальном объекте, либо по расчетным данным. Таким образом, алгоритм обнаружения работает на детерминированных аномалиях.

Используя критерий правдоподобия, можно построить и алгоритм обнаружения аномалии с неизвестными параметрами аномалии (амплитудой, протяженностью и местоположением) [Никитин, 1979;

Никитин, 1986].

Вышеописанные методы выделения возмущений являются эффективными при наличии априорной информации. Однако в практике анализа обсерваторских магнитограмм (как и практике выделения возмущений на временных рядах любой природы вообще) задача выделения возмущений имеет несколько иную специфику, поскольку объектом поиска в первую очередь являются возмущения искусственного (техногенного) происхождения [Богоутдинов и др., 2010]. При этом выделение выбросов производится экспертами вручную. Характеристики того или иного возмущения при этом определены только на основе общих представлений о данной разновидности возмущений (см. определение выброса в [Богоутдинов и др., 2010]). Таким образом, здесь, в отличие от разведочной геофизики, исследующей аномалии физических полей, источниками которых являются неоднородности геологической среды, мы имеем весьма ограниченную априорную информацию об искомых возмущениях, касающуюся только общих представлений об их форме. Таким образом, в этом отношении данная задача аналогична задаче выделения аномалий в условиях минимума априорной информации о них. В работе [Никитин, 1979] под термином «минимум априорной информации» понимается отсутствие сведений о форме аномалии и ее корреляционных свойствах. В данном случае форма аномалии (т.е., форма выброса) является достаточно нечётким понятием, а корреляционные свойства её неизвестны. Поэтому требуется такой алгоритм анализа поля, который бы позволял решать задачи выявления аномалий в самом общем случае.

Здесь перспективными для обнаружения и классификации аномалий следует считать самонастраивающиеся (адаптивные) процедуры обработки. Под самонастройкой понимается «приспособляемость» алгоритма обработки к изменению свойств аномалий (их формы и параметров) и помех (дисперсии, корреляционные свойства) непосредственно в процессе обработки.


С точки зрения теории обработки сигналов в различных областях техники важное место занимает задача разладки сигнала. Если считать сигнал случайным процессом, то под разладкой случайного процесса будем понимать скачкообразное изменение его свойств (обычно описываемых какими-либо параметрами), происходящее в неизвестный момент времени или не происходящий вовсе [Курбаналиев, Ташлинский, 2011]. Задачей обнаружения разладки является установление факта разладки, и если считается, что разладка произошла, то также оценивание момента разладки. Часто ввиду полного отсутствия априорной информации статистического характера и наличия только некоторой оценки самого сигнала применение классических статистических алгоритмов поиска разладки затруднительно. Возникает вопрос, как с помощью этих оценок восстановить незашумленную форму сигнала и возможно ли такое сделать.

Будем считать, что исследуемый сигнал сильно зашумлен. Тогда в нашем выборка L2 (0, 2 ), распоряжении имеется конечная которую можно считать последовательностью гауссовских случайных величин с одинаковой дисперсией 20 и средними i 0 при i 1 и i 1 при i, где - неизвестный момент времени изменения средних случайных величин yi. Пусть имеются в распоряжении две оценки сигнала, полученные посредством псевдоградиентной адаптации [Цыпкин, 1995]. одна оценка получена при оценивании сигнала слева направо (от начала сигнала до его конца), а другая – справа налево (от конца к началу). Алгоритмы оценивания при использовании релейных процедур принимают вид:

yil yil1 sgn yi yil1, yir yir1 sgn yi yil1, где параметр подбирается экспериментально. На рис.1.1, а, показаны три графика: исходная выборка, оценки от начала к концу и от конца к началу. Рассмотрим сечение выборки в некоторый произвольный момент времени. Для непрерывного сигнала в выбранном сечении возможно бесконечное множество значений его уровня. Поэтому выберем дискретные значения с некоторым шагом, определяемым требуемой точностью оценивания. Тогда набор значений данного сечения ys j j 1, где ys1 соответствует n нижнему значению сечения, а ysn – верхнему. В каждом сечении найдем псевдоградиент целевой функции, например, среднего квадрата или модуля разности. Оценку исходного сигнала в данной точке выберем по минимуму модуля псевдоградиента. Для уменьшения объема вычислений верхний и нижний предел сечения целесообразно связать с оценками сигнала, выполненными слева направо и справа налево. В приведенном примере нижняя граница соответствует оценке слева направо, а верхняя – справа налево. Обработав указанным способом все сечения, получим оценку неизвестного процесса yt (рис.1.1, б).

Таким образом, предложенный способ позволяет обнаружить не только факт и момент разладки высокочастотного сильно зашумленного сигнала, но и с высокой степенью достоверности оценить его форму. Стоит отметить, что подобного рода возмущения характерны для магнитограмм и являются скачками базовой линии.

Рис. 1.1. Реализация случайного процесса (а) и его оценка (б) (1 – исходная выборка, 2 – оценка от начала к концу, 3 – оценка от конца к началу).

1.1.4. Распознавание аномалий временных рядов на основе вейвлет анализа Рассматривая современный этап развития методов распознавания образов на временных рядах, нельзя не упомянуть возможности вейвлет-анализа сигналов, подхода, развивающегося с середины 1980-х гг. [Астафьева, 1996] и нашедшего применение в самых разных задачах распознавания образов – от радиотехники и геофизики до медицины (например, [Jouck, 2004]) и биологии. Вейвлет-преобразование было рассмотрено Гроссманом и Морле как альтернатива [Grossman, Morlet, 1984] преобразованию Фурье для исследования временных и пространственных рядов с выраженной неоднородностью. В отличие от преобразования Фурье, локализующего частоты, но не дающего временного разрешения процесса, вейвлет-преобразование, обладающее самонастраивающимся подвижным частотно-временным окном, одинаково хорошо выявляет как низкочастотные, так и высокочастотные характеристики сигнала на разных временных масштабах. По этой причине вейвлет-анализ часто сравнивают с "математическим микроскопом", вскрывающим внутреннюю структуру существенно неоднородных объектов [Козлов, Чен, 2002]. Вейвлет-преобразования позволяют выявлять все локальные особенности функций, сигналов и изображений с привязкой их ко времени или координатам пространства. Указанная универсальность и обеспечила вейвлет-анализу широкое использование в самых различных областях знаний, включая геофизику (напр., [Баранов, 2007]).

Подобно тому, как в основе аппарата преобразований Фурье лежит единственная функция w(t ) eit порождающая ортонормированный базис пространства L2 (0, 2 ) путем масштабного преобразования, так и вейвлет-преобразование строится на основе единственной базисной функции (t ), принадлежащей пространству L2 ( ), т.е. всей числовой оси.

Базис одномерного дискретного вейвлет-преобразования (ДВП) [Грибунин, 2007] строится на основе вейвлета (t ) посредством операций сдвигов и растяжений вдоль оси t. Т.о., вейвлет-преобразования заключаются в разложении сигнала s(t) по базису, сконструированному из обладающей определенными свойствами функции (вейвлета) k (t ) посредством масштабных изменений и переносов:

s(t ) Ck k (t ).

k Каждая из функций этого базиса характеризует как определенную пространственную (временную) частоту, так и ее локализацию в физическом пространстве (времени).

(t ) должны При конструировании базисной анализирующей функции выполняться следующие необходимые условия:

1) локализация базисной функции вблизи нуля аргумента и во временном, и в частотном пространстве;

( (t )dt 0, 2) нулевое среднее как следствие, вейвлет должен быть знакопеременной функцией);

(t ) dt ). Вейвлет должен быть достаточно быстро 3) ограниченность ( убывающей функцией временной (пространственной) переменной.

Непрерывное вейвлет-преобразование (НВП) строится аналогичным образом с помощью непрерывных масштабных преобразований и переносов вейвлета (t ) с произвольными значениями масштабного коэффициента a и параметра сдвига b. Вейвлет преобразование обратимо для функций пространства L2 ( ).

В основе непрерывного вейвлет-преобразования лежит использование двух непрерывных и интегрируемых по всей оси t (или х) функций:

(t )dt 0, ­ вейвлет-функции (t ) с нулевым значением интеграла определяющей детали сигнала и порождающей детализирующие коэффициенты;

(t ) ­ аппроксимирующей функции с единичным значением интеграла (t )dt 1, определяющей грубое приближение сигнала и порождающей коэффициенты аппроксимации.

Функции (t ) и (t ) уточняются итерационным методом, каждый шаг которого соответствует определенному уровню декомпозиции и реставрации сигнала.

Аппроксимирующие функции (t ) присущи не всем вейвлетам, а только тем, которые относятся к ортогональным. Детализирующая функция (t ) создается на основе базисной функции 0 (t ), которая также определяет тип вейвлета. Базисная функция должна обеспечивать выполнение двух основных операций:

­ смещение по оси времени t : 0 (t b) при b ;

t ­ масштабирование: a 2 0 при a 0, a где a – параметр, определяющий ширину этого пакета;

b – его положение.

Следующее выражение задает оба этих свойства вейвлет-функции (t ) :

t b (t ) (a, b, t ) a 2 0.

a В общем случае вейвлет-коррекция для выбранного базиса (например, вейвлетов Хаара, Добеши, симлетов и др.) включает:

1) выбор уровня аппроксимации j;

2) выбор глубины разложения N и нахождение коэффициентов разложения cAN, cDN, cDN 1,, cD1, определяющих приближение функции в f ( x) заданном масштабе;

3) восстановление исходной функции f ( x) при помощи обратного дискретного вейвлет-преобразования с использованием полученных коэффициентов разложения:

f ( x) a j N,k j N,k ( x) d j N,k j N,k ( x) d j 1,k j 1,k ( x).

k k k Высокочастотная (детальная) часть характеризует высокочастотную в вертикальном направлении составляющую. Низкочастотная часть (приближение или аппроксимация) содержит информацию о низких в вертикальном направлении частотах [Смоленцов, 2005].

Выбор того или иного класса анализирующих функций диктуется спецификой задачи, тем, какую информацию нужно извлечь из сигнала. В ряде случаев с помощью различных вейвлетов можно более полно выявить особенности анализируемого сигнала.

Спектр вейвлет-преобразования одномерного сигнала представляет поверхность в трехмерном пространстве. Обычно изображение спектра выполняется путем проектирования линий постоянного уровня поверхности на плоскость с переменными:

параметрами сдвига (по оси абсцисс) и масштабом (по оси ординат), с градиентной заливкой оттенками серого цвета между линиями (см. рис. 1.2).

Рис. 1.2. Пример результата вейвлет-преобразования сигнала. Сигнал - сумма синусоиды и случайных данных.

В работе [Любушин, 2007] методы вейвлет-анализа применяются к исследованию геофизических временных данных различной природы и различных временных масштабов. Сейсмические, электротеллурические, климатические, метеорологические данные были изучены автором с применением разработанных им методик совместного анализа данных. Созданные методы имеют многофункциональный характер и применяются для решения достаточно широкого круга задач – в частности, задач поиска новых предвестников сильных землетрясений.

Широко используемым вейвлет-методом выделения «спайков» и скачков базового уровня является WTMM – Wavelet Transform Maxima Modulus [Mallat, Hwang, 1992].

Например, в [Jouck, 2004] он используется для анализа кардиограмм. Также в качестве приложений вейвлет-анализа в распознавании сигналов можно привести анализ рядов событий течения Эль-Ниньо и изменений индекса Южного колебания, где вейвлет-анализ позволил выявить периодические компоненты процессов и временные масштабы, на которых данные имеют автомодельную структуру [Астафьева, 1996]. Исследование временных рядов отклонений температуры от среднемесячных значений по результатам измерений на метеорологической станции Фрунзе (Бишкек) за период 1931-1998 гг.

[Козлов, 2002] позволяет высказать предположение, что динамическим системам, какой, в частности, является климатическая, присущи скрытые внутренние характеристики, статистически воспроизводимые на различных временных масштабах. Следует отметить эффективность выявления аномалий на временных рядах методами вейвлет-анализа на временных промежутках различной длины.

1.1.5. Нейросетевой подход к анализу временных рядов В связи с ростом хранимых, упорядоченных во времени, данных о характеристиках объектов, процессов и систем в промышленности, экономике, медицине, образовании, социологии расширяются возможности анализа и прогнозирования количественных и качественных изменений этих характеристик, а также их носителей. Систематическое и комплексное исследование тенденций развития процессов на основе анализа временных рядов, извлеченных из хранилищ и баз данных, является сферой профессиональной деятельности специалистов различного профиля. Технологии баз данных создают новые возможности извлечения знаний из временных рядов баз данных для специалистов при решении задач анализа процессов: 1) по качественной оценке текущего и будущего состояния исследуемого процесса, 2) по обнаружению типичных и аномальных типов событий, 3) по выявлению имевших место качественных изменений.

Одним из направлений, обеспечивающим «интеллектуальную» поддержку специалистов по решению новых задач анализа временных рядов баз данных, являются методы анализа временных рядов с применением нейронных сетей. В нейросетевом подходе задача прогнозирования временных рядов формулируется как задача распознавания образов, для решения которой формируется обучающая последовательность данных временного ряда, и нейронная сеть обучается распознавать соответствующие образы [Ярушкина и др., 2010].

Искусственные нейронные сети (ИНС) – это вычислительные модели, построенные по принципу организации и функционирования биологических нейронных сетей. ИНС представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Важная особенность ИНС состоит в возможности параллельной обработки информации и способности к обучению и обобщению накопленных знаний. Широкое распространение нейронных сетей в разных областях объясняется тем, что во многих случаях формализация процедур решения сложных задач в экономике, медицине, технике, военном деле зачастую оказывается очень трудоемкой, либо невозможной.

Основной элемент нейронной сети – это формальный нейрон, осуществляющий операцию нелинейного преобразования суммы произведений входных сигналов на весовые коэффициенты:

n y F ( wi xi ) F (WX ), i где X ( x1, x2,..., xn )T – вектор входного сигнала, W (w1, w2,..., wn ) – вектор весовых коэффициентов, F – функция нелинейного преобразования.

Способности нейронной сети к прогнозированию ВР напрямую следуют из ее способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение уровня временного ряда на основе нескольких предыдущих значений. Моделирование временного ряда в рамках нейросетевого подхода сводится к задаче наилучшей аппроксимации нелинейной функции от многих переменных по набору примеров, заданных историей временного ряда.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными численными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами при минимизации среднеквадратичного отклонения ошибки. В процессе обучения нейронная сеть способна выявлять сложные нелинейные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.

Нейронные сети используются как для классификации сигналов и изображений, для обнаружения объектов определённого типа. Кроме того, что любая обученная МНС в некоторой мере может определять принадлежность образов к “своим” классам, её можно специально обучить надёжному детектированию определённых классов. В этом случае выходными классами будут классы принадлежащие и не принадлежащие к заданному типу образов. Нейронные сети применяются так же для извлечения ключевых характеристик изображения, которые затем используются для последующей классификации.

Основная область применения нейронных сетей – исследование двумерных и трёхмерных объектов, однако их успешно можно применять и для анализа временных рядов, где нейросетевой подход практически не имеет недостатков, в отличие от анализа изображений и трёхмерных объектов Старовойтов, 2006]. Примеры [Брилюк, использования искусственных нейронных сетей для решения задач моделирования и прогнозирования временных рядов рассмотрены в работе [Козадаев, 2008].

Итак, нейронные сети являются результативным инструментом моделирования и прогнозирования временных рядов, распознавания возмущений заданной формы на временных рядах, позволяющим снизить требования к квалификации пользователя.

Стоит отметить, что поэтапное развитие методов поиска и распознавания аномалий заданной морфологии на временных рядах обусловлено не только успехами математической теории обработки сигналов, методов распознавания образов, развитием вейвлет-анализа и нейронных сетей совместно с развитием вычислительной техники, но и сменой подходов исследователей к описанию моделей сигнала. От детерминированного подхода, применимого только в случае точного определения искомых возмущения на временных рядах, в дальнейшем был совершен переход к более реалистичному вероятностно-статистическому подходу, позволяющему считать исходные данные неточными, рассматривать их как случайные процессы, что позволило применять к обработке данных статистические алгоритмы анализа сигналов.

В настоящее время большое развитие получили методы с использованием нечёткой логики, направленные уже на моделирование деятельности интерпретатора (эксперта) и являющиеся весьма эффективным подходом, позволяющим учесть его логику.

1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ 1.2.1. Общее описание Наиболее точную и оперативную информацию о магнитном поле Земли предоставляет международная сеть наземных обсерваторий ИНТЕРМАГНЕТ ((INTERMAGNET — International Real-time Magnetic Observatory Network) [Kerridge, 2001] (рис. 1.3). Сеть обсерваторий ИНТЕРМАГНЕТ, осуществляющих наблюдения магнитного поля Земли, была основана в 1987 г. и функционирует под эгидой Международной ассоциации по геомагнетизму и аэрономии [http://www.iugg.org/IAGA/]. Впервые за историю создания подобных глобальных сетей основополагающей идеей была регистрация геомагнитных наблюдений в непрерывном режиме и на постоянной основе [Kerridge, 2001]. Прежде организация всемирных геофизических наблюдений всегда носила временный характер. Например, множество геофизических обсерваторий, созданных в рамках Международного геофизического года МГГ в конце 50-х гг.

[Chapman, 1959] (рис. 1.4), просуществовало всего 2–3 года. Основное назначение сети включает производство наблюдений, а также сбор, хранение, распространение и научный анализ данных о геомагнитном поле в оперативном режиме. Мировая сеть ИНТЕРМАГНЕТ непрерывно растет, на данный момент она включает в себя более обсерваторий [http://www.intermagnet.org/] (рис. 1.3).

Рис. 1.3. Карта обсерваторий ИНТЕРМАГНЕТ с указанием их кодов по состоянию на август 2010 г.

Рис. 1.4. Карта обсерваторий МГГ с 1957 по 1959 гг. [Allen et al, 1985].

На рис. 1.5 графически приведена динамика роста числа обсерваторий сети ИНТЕРМАГНЕТ и динамика роста объема базы данных, измеренного в данных за сутки.

Рис. 1.5. Динамика роста обсерваторий и накопленных данных ИНТЕРМАГНЕТ. По горизонтальной оси – года, по вертикальной – количество обсерваторий ИНЕТРМАГНЕТ (слева) и объем суточных данных 105 (справа).

Динамика территориального покрытия сети ИНТЕРМАГНЕТ по частям света показана на рис. 1.6.

Рис. 1.6. Динамика территориального покрытия сети ИНТЕРМАГНЕТ (слева) и территориальная принадлежность обсерваторий на 2011 г. (справа) по частям света.

По сути, ИНТЕРМАГНЕТ представляет собой свод стандартов, охватывающих все этапы обсерваторских наблюдений и позволяющих получать измерения высочайшего качества. К ним относятся требования к конструкции павильонов, векторным и скалярным магнитометрам, изменчивости базовой линии (не более 5 нТл в год), нормам работы на обсерватории (напр., минимум одно абсолютное измерение в неделю) и многое другое.

Работоспособность большинства обсерваторий обеспечивается национальными правительствами, некоторые функционируют при поддержке университетов, и лишь немногие – при поддержке частных компаний [Love, 2008]. Предварительные (preliminary), необработанные данные геомагнитных наблюдений из обсерваторий в течение 72 часов поступают в 5 узлов сбора данных (Geomagnetic Information Node – GIN), расположенных в городах Эдинбург (Великобритания), Голден (шт. Колорадо, США), Киото (Япония), Оттава (Канада) и Париж (Франция) [St-Louis, 2008]. На рис. 1. приведена динамика запросов к базам данных ИНТЕРМАГНЕТ. Из графика видно, что со временем наблюдается рост интереса к предварительным, необработанным данным.

Рис. 1.7. Динамика запросов к базам данных ИНТЕРМАГНЕТ в количестве загруженных суточных данных за год. Предварительные данные отображены красным, окончательные – синим, все данные – черным.



Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.