авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
-- [ Страница 1 ] --

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ВОРОНЕЖСКИЙ ИНСТИТУТ МВД РОССИИ

На правах рукописи

Мельников Александр Владимирович

КЛАСТЕРНО-ИЕРАРХИЧЕСКИЕ МЕТОДЫ ЭКСПЕРТИЗЫ

ТЕХНИЧЕСКИХ И ЭКОНОМИЧЕСКИХ ОБЪЕКТОВ

05.13.18 – Математическое моделирование, численные методы и комплексы

программ

Диссертация на соискание ученой степени доктора технических наук

Научный консультант:

д.т.н., профессор Бухарин С.В.

Воронеж – 2013 ОГЛАВЛЕНИЕ Введение.................................................................................................................. Глава 1. Современное состояние и перспективы развития экспертных систем.............................................................................................. 1.1. Вводные замечания.............................................................................. 1.2. Основные направления развития экспертных систем...................... 1.3. Актуальные проблемы теории экспертных систем.......................... 1.4. Методы экспертных систем в экономике.......................................... Глава 2. Кластеризация объектов экспертизы............................................. 2.1. Исходные положения........................................................................... 2.2. Кластерно-иерархические методы экспертизы................................. 2.3. Кластеризация по категориальным признакам................................. 2.4. Установление однородности объектов кластер................................ 2.5. Нечетко-множественная кластеризация............................................ Глава 3. Кластеризация и иерархия признаков объекта экспертизы............................................................................................................ 3.1. Функционал взвешенного суммирования в нормированных пространствах............................................................................................. 3.2. Основные формы комплексного показателя качество-цена.......... 3.3. Расширенный метод анализа иерархий.

.......................................... 3.4. Нечетко-множественный нелинейный показатель качества......... 3.5. Метод анализа иерархий разделяющихся признаков..................... Глава 4. Теоретическое обоснование экспертно-статистического подхода................................................................................................................. 4.1. Статистическая обработка векторов оценок экспертов................. 4.2. Комбинированный метод последовательного анализа.................. 4.3. L-критерий согласованности группы экспертов............................. 4.4. Технология экспертизы технических и экономических объектов..................................................................................................... Глава 5. Математические модели экспертизы технических объектов.............................................................................................................. 5.1. Специфика экспертизы товаров и готовой продукции.................. 5.2. Статистическая обработка экспертных оценок высокотехнологичных электронных устройств..................................... 5.3. Нечетко-множественная экспертиза ERP-систем........................... 5.4. Экспертиза готовой продукции химического производства........ 5.5. Экспертиза готовой продукции пищевого производства.............. 5.6 Экспертиза технических средств вневедомственной охраны........ Глава 6. Математические модели экспертизы финансового состояния предприятий.................................................................................. 6.1. Интегральные оценки финансового состояния предприятий....... 6.2. Обобщенный показатель ликвидности и платежеспособности................................................................................. 6.3. Обобщенный показатель структуры капитала................................ 6.4. Объединение систем коэффициентов Бивера и структуры капитала...................................................................................................... 6.5. Нечетко-множественный скоринговый анализ............................... Заключение......................................................................................................... Литература.......................................................................................................... Приложения Приложение 1. Снижение размерности признакового пространства и выбор наиболее информативных показателей Приложение 2. Характеристика высокотехнологичных электронных устройств Приложение 3. Статистическая обработка векторов оценок экспертов Приложение 4. Основные характеристики и распространенность ERP-систем Приложение 5. Сравнительная экспертиза нескольких ERP-систем ВВЕДЕНИЕ Актуальность темы исследования. Экспертные системы (ЭС) широко используются в различных областях науки благодаря универсальности обще го методологического подхода к представлению и обработке знаний и дан ных самого различного характера.

Общим проблемам теории и практики экспертных систем посвящены публикации отечественных ученых С.А. Айвазяна [2], А.А. Башлыкова [10], С.Д. Бешелева [12], Н.К. Бохуа [15], К.В. Воронцова [30], Т.А. Гавриловой [36], А.Н. Горбаня [205], Н.В. Дилигенского [47], В.С. Мхитаряна [49], Б.Г.

Литвака [85], А.О. Недосекина [107], А.И. Орлова [117], Д.А. Поспелова [131] и др. Среди публикаций зарубежных специалистов известны работы А.

Брукинга [186], Д. Джарратано [44], П. Джексона [45], М. Исудзуки [64], М.

Кендэла [67], Д. Лената [84], Д. Лорьера [86], С. Осуги [119], Т. Саати [142], К. Таунсенда [153], С. Хайкина [167], Л. Терстоуна [222] и др. уче ных.

Анализируя теоретические принципы построения экспертных систем, можно выделить два альтернативных направления их развития: 1) эксперт ные системы, основанные на концепции искусственного интеллекта [53, 62, 63, 139, 194 и др.];

2) экспертные системы, использующие методы математи ческой статистики [66, 117, 151, 163, 192 и др.].

В силу принципиальных недостатков систем искусственного интеллек та (процессы разработки и обучения интеллектуальных систем длительны и дорогостоящи;

необходимость использования очень большого количества экспертов;

узкая направленность) в последнее время все большее внимание привлекают системы статистической обработки информации.

В основу теории таких экспертных систем положены методы матема тической статистики, развитые в фундаментальных работах А.Н. Колмого рова, Г. Крамера, М.Дж. Кендалла, А.Стьюарта, С. Уилкса, Б.В. Гнеденко, А.Т. Талдыкина и других авторов. Прикладной многомерной статистике по священы работы ряда авторов: К. Эсбенсен [192], К. Фукунага [165], М.

Жамбю [55], А.И. Орлов [117], П.К. Фишберн [163], A.K. Jain, M.N. Murty, P.J. Flynn [213], Muresan D.D [130] и др.

В экономике применению статистических методов посвящены работы ряда специалистов, среди которых С.Д. Бешелев, Ф.Г. Гурвич [12], А.М.

Дубров, В.С. Мхитарян, Л.И.Трошин [49], С.А. Поттосина, В.А. Журавлев [132], Т.Дж.Уотшем, К. Паррамоу [161], К. Эсбенсен [192].

Теория статистических экспертных систем интенсивно развивается все последние годы, и на современном этапе ее развития остается актуальным целый ряд недостаточно исследованных проблем: поиск оперативных мето дов проверки согласованности группы экспертов [8, 9, 67, 102 и др.], опреде ление оптимальных методов кластеризации объектов экспертизы [11, 34, 43, 52, 55, 204], повышение объективности экспертизы на базе кластеризации признаков [8, 19, 20, 90 и др.], обоснование применимости и эффективности метода парных сравнений Терстоуна [17, 100, 222, 227], анализ и преодоле ние вычислительных ошибок метода анализа иерархий Саати [6, 47, 81, 142, 143, 197], обоснование применимости нейронных сетей [110, 167, 193, 211], оценка применимости метода главных компонент и многомерного шкалиро вания [49, 124, 196, 205, 220], построение уточняющих процедур проверки согласованности на базе решения L-проблемы моментов [8, 149, 155 и др.], разработка действенных приемов технологии экспертизы [8, 10, 33, 85, 134] и др.

Одним из основных направлений многомерного статистического ана лиза является кластерный анализ. Теоретическим аспектам кластеризации посвящен ряд работ известных авторов: И.Д. Мандель [88], М.С. Олдендер фер, Р.К. Блэшфилд. [115], М. Жамбю [55], С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин [2], Л.Х. Гитис [38], К.В. Воронцов [30], А.И.

Орлов [11] и др. Приложения кластерного анализа рассматриваются в рабо тах [43, 52, 137, 174, 203, 221 и др.].

Однако применение кластерного анализа в теории экспертных систем ограничивается в настоящее время нерешенностью ряда важных теоретиче ских проблем: 1) решение задачи кластеризации принципиально неоднознач но: 2) число кластеров неизвестно заранее и устанавливается в соответствии с некоторым субъективным критерием;

3) выбор метрики, как правило, также субъективен и определяется экспертом;

4) не существует однозначно наи лучшего критерия качества кластеризации;

5) практически отсутствует мето дика применения в задачах кластеризации регулярных алгоритмов метода анализа иерархий;

6) слабо развито нечетко-множественное направление кла стерного анализа и др.

Основные результаты, достижения и проблемы в области нечеткой многокритериальной оптимизации и принятия решений изложены рядом ав торов: А.И. Орлов [117], Н.В Дилигенский [47], Д.А. Вятченин [34], А.

Кофман [74], С.Л. Блюмин [110], Г.Э. Яхьяева [193], А. Г. Корченко [72] и др. В работах [47, 142, 226] для построения моделей принятия решений в ус ловиях неопределенности используется лингвистический подход, позволяю щий формализовать задачу при наличии критериев и ограничений, описан ных на естественном языке. В работах Т. Саати [141, 142] проведено фунда ментальное исследование задач многокритериальной оптимизации при нали чии нечетких коэффициентов (рангов) относительной важности критериев.

В теории и практике развития экспертных систем статистической обра ботки информации можно выделить две крупные проблемы. Одна из них но сит теоретический характер. Несмотря на разработку множества эффектив ных методов и алгоритмов кластерного анализа и иерархических методов ис следования, оба этих важных направлений остаются слабо связанными. Вме сте с тем представляется, что кластеризация и анализ иерархий должны в процессе экспертизы проводиться неоднократно, а экспертиза должна носить адаптивный характер.

Вторая проблема относится к практике экспертизы. В литературе име ются многочисленные случаи экспертизы отдельных объектов различной природы, в основном, в области техники, однако такие исследования носят разрозненный характер. Практически отсутствуют попытки разработки дос таточно универсальной детальной технологии экспертизы.

В целом, актуальным представляется решение научной проблемы – создание основ единой теории экспертизы технических и экономических объектов на основе предложенного кластерно-иерархического подхода.

Цель и задачи исследования. Целью работы является разработка кла стерно-иерархических подхода, математических моделей, методов и алго ритмов экспертизы, обеспечивающих экспертное исследование технических и экономических объектов с единых позиций.

Для достижения поставленной цели в работе необходимо решить сле дующие основные задачи:

1. Сформировать концепцию единого кластерно-иерархического и ста тистического подхода к экспертизе технических и экономических объектов, применяемого последовательно на всех этапах экспертизы – от первой ста дии (подбор и согласование группы экспертов) до последней стадии (интер претация и визуализация результатов экспертизы).

2. Разработка комплекса методов кластеризации, обеспечивающих по следовательное разбиение множества объектов экспертизы на отдельные кла стеры согласно различным критериям с целью всестороннего исследования множества сравниваемых объектов. Обоснование методики неоднократного и последовательного осуществления кластеризации на протяжении всего про цесса экспертизы с адаптацией результатов на каждом этапе.

3. Теоретическое обоснование принципа разделения признаков и прин ципа идеального наблюдателя. Формирование обобщенного показателя каче ства в линейных нормированных и гильбертовых пространствах. Формиро вание нелинейного нечетко-множественного обобщенного показателя каче ства в матрично-операторной форме. Разработка методики учета стоимостно внедренческих признаков и построение математических моделей комплекс ного показателя «качество-цена».

4. Разработать 2 модификации (РМАИ и МАИ РП) метода анализа ие рархий (МАИ), обеспечивающие устранение имеющихся недостатков тради ционного метода (трудности учета признаков психофизиологической приро ды, заведомое занижение весовых коэффициентов признаков с высокими рангами, излишняя расплывчатость лингвистической шкалы, учет принципа разделения признаков).

Разработать и апробировать методику двойного применения нечетко множественных представлений – к построению вектора приоритетов разде ляющихся признаков и к введению единой функции принадлежности множе ству допустимых значений.

5. Ввести понятие экспертного пространства, сформулировать и обос новать принцип идеального наблюдателя, расширяющий область применения статистических методов к задачам экспертизы, исследовать статистические свойства экспертных оценок. Разработать и апробировать методику стати стической обработки векторов оценок экспертов, алгоритм промежуточной кластеризации объектов экспертизы и процедуру адаптации экспертной группы.

Обобщить метод последовательного анализа Вальда на случай провер ки статистических гипотез экспертных систем за счет введения понятия за щитного интервала и адаптации группы экспертов.

6. Разработать двухэтапный алгоритм проверки согласованности груп пы экспертов. Первый этап основывается на построении корреляционной матрицы векторов оценок экспертов с дальнейшей уточненной проверкой на базе понятий частной и множественной корреляции. По результатам этого этапа эксперты, не удовлетворяющие требованию согласованности, должны исключаться из экспертной группы.

Второй, уточняющий этап основывается на определении в гильберто вом пространстве вектора с минимальной нормой, удовлетворяющего задан ным ограничениям на скалярные произведения векторов оценок экспертов (метод L проблемы моментов).

7. Для реализации предлагаемого кластерно-иерархического подход к экспертизе необходимо разработать два варианта технологии экспертизы: 1) полный вариант – для экспертизы сложных и дорогостоящих объектов;

2) упрощенный вариант – для экспертизы простых и недорогих объектов.

Сформулируем основные требования к разрабатываемой технологии экспертизы: высокая степень универсальности;

идентифицируемость этапов экспертизы;

взаимосвязанность методов кластеризации, анализа иерархий и статистической обработки информации;

адаптивный характер процесса экс пертизы.

8. Апробировать разработанные методы и технологию экспертизы на множестве технических и экономических объектов различной природы: сис темы планирования финансовых ресурсов предприятий (ERP- системы), при боры электронной промышленности, продукция химических производств, продукция пищевой промышленности, приемно-контрольные приборы вне ведомственной охраны МВД России, системы оценки финансового состояния предприятий и степени вероятности банкротства.

Объектом исследования является теория и практика экспертного оце нивания широкого класса технических и экономических объектов.

Предметом исследования являются методы и алгоритмы кластерного анализа, методы анализа иерархий, статистические методы обработки экс пертной информации, способы разработки эффективной технологии экспер тизы.

Методы исследования. В диссертационной работе использованы ме тоды теории экспертных систем, теории вероятностей и математической ста тистики, функционального анализа, современной теории управления, кла стерного анализа, методы анализа иерархий, теории нечетких множеств.

Научная новизна заключается в разработке единой теории экспертно го исследования технических и экономических объектов, являющейся ком плексом кластерно-иерархических методов экспертизы и статистической об работки данных экспертов, включающей ряд новых положений:

1. Предложен и обоснован расширенный кластерно-иерархический подход к последовательному решению задач экспертизы и кластерного ана лиза, элементами которого являются: выбор и согласованность группы экс пертов, уточнение целей экспертизы методом анализа иерархий, категориза ция данных, установление однородности кластеров, принцип разделения признаков, определение приоритетов на основе метода анализа иерархий, статистическая обработка векторов оценок экспертов, определение детерми нированного и нечетко-множественного обобщенных показателей качества.

Установлено, что при экспертизе сложных объектов процедура кластериза ции и метод анализа иерархий (МАИ) должны применяться неоднократно на различных этапах экспертизы.

2. Разработана методика последовательного использования нескольких методов кластеризации, имеющих различные области применения (процеду ра «кластерного сита»): метод категоризации данных, критерий знаков, кри терий Вилкоксона, нечетко-множественная кластеризация, статистическая обработка данных экспертизы. Разработана модификация критерия знаков на основе метрики Хемминга, предложен метод категориальной иерархии.

Предложен адаптивный подход к кластеризации объектов, предполагающий возможность возврата к предыдущим этапам.

3. Для достижения объективности экспертизы предложен принцип раз деления признаков на следующие группы: количественные признаки, при знаки наличия, признаки отклонений, качественные признаки, признаки пси хофизиологической природы, признаки положительного эффекта (ППЭ) и отрицательного эффекта (ПОЭ), стоимостные и внедренческие признаки. Для установления приоритета признаков предложен метод анализа иерархий с разделяющимися признаками (МАИ РП) и разработана методика его приме нения.

4. Исследованы свойства функционала взвешенного суммирования в нормированных пространствах. Установлено, что для построения адекватно го обобщенного показателя качества необходимо последовательное приме нение нормировки в трех различных пространствах R 0, R1m, R E. На основе m k общего вида функционалов в гильбертовом пространстве предложены раз личные формы детерминированного и нечетко-множественного обобщенного показателя качества. Разработаны различные варианты комплексного показа теля «Качество-цена» в аддитивной и мультипликативной форме.

5. Разработан расширенный метод анализа иерархий (РМАИ). Для пре одоления трудностей оценки приоритетов качественных признаков и призна ков психофизиологической природы предложено модификация метода МАИ на основе метода Терстоуна. Для устранения ошибок вычислений приорите тов менее значимых признаков предложена сокращенная лингвистическая шкала определения рангов признаков, введена коррекция весовых коэффици ентов с учетом результатов прямого ранжирования.

6. Введена операторная форма нелинейного нечетко-множественного показателя качества, являющегося обобщением обычного функционала взвешенного суммирования. Предложено при экспертизе нечетко множественный подход применять в двух различных ситуациях: 1) при опре делении векторов приоритетов признаков методами РМАИ или МАИ РП;

2) при оценке принадлежности значений нормированных признаков множеству допустимых значений на основе введения единой функции принадлежности.

7. Для обоснования используемых методов статистической обработки экспертных данных по аналогии с вероятностным пространством введено экспертное пространство. С использованием результатов Чебышева и Мар кова обоснован принцип идеального наблюдателя, исследованы статистиче ские свойства экспертных оценок. Обобщен критерий согласованности груп пы экспертов на основе анализа корреляционной матрицы векторов оценок с использованием понятий частной и множественной корреляции.

8. В отличие от обычной модели различения двух статистических гипо тез при балльном оценивании признаков экспертизы предложено использо вать перспективный метод последовательного анализа Вальда, позволяющий сократить требуемое количество экспертов в 2–2,4 раза. Для дальнейшего снижения требуемого количества экспертов разработан комбинированный метод последовательного анализа на основе понятия защитного объема вы борки и адаптации группы экспертов за счет установления корреляционных связей между векторами их оценок.

9. Предложен и обоснован L критерий согласованности группы экс пертов, обеспечивающий решение двух важных задач: 1) получение более надежных результатов, чем при оценке согласованности только по корреля ционной матрице векторов оценок;

2) уменьшение дисперсии случайной ошибки экспертизы при использовании принципа идеального наблюдателя.

Сущность L критерия согласованности заключается в поиске вектора с ми нимальной нормой, удовлетворяющего заданным ограничениям (моментам) на вклад в обобщенный показатель качества как от векторов оценок экспер тов, входящих в согласованную группу, так и не входящих (нежелательных) экспертов.

10. На основании предложенного кластерно-иерархического подхода к единому экспертному исследованию как технических, так и экономических объектов разработаны основные этапы технологии экспертизы (выбор груп пы экспертов и проверка их согласованности;

формирование и уточнение це лей экспертизы методом анализа иерархий;

иерархическая категоризация данных;

проверка однородности кластеров;

принцип разделения признаков и кластеризация признаков на его основе;

определение нечетко множественного вектора весовых коэффициентов на основе метода анализа иерархий;

статистическая обработка векторов оценок экспертов;

определение детерминированного и нечетко-множественного показателя качества;

оценка детерминированного и нечетко-множественного комплексного показателя качество – стоимостно-внедренческие характеристики и др.).

11. На основе разработанной технологии экспертизы проведено экс пертное исследование совершенно различных технических объектов: распро страненных программных комплексов финансового планирования ( ERP – систем);

продукции химических производств;

продукции пищевых произ водств;

приемно-контрольных приборов охранно-пожарной сигнализации вневедомственной охраны МВД России. Установлено, что при экспертизе перечисленных объектов ключевыми вопросами являются следующие: инди видуальный выбор признаков объекта, количество уровней иерархии, де тальная статистическая обработка оценок, адаптация группы экспертов, сравнение результатов детерминированного и нечетко-множественного ана лиза.

12. Предложенный кластерно-иерархический подход впервые применен к экспертизе финансового состояния конкретных предприятий. В отличие от экспертизы технических объектов количественные признаки финансового состояния подвергнуты двухуровневой кластеризации: платежеспособность, ликвидность, финансовая устойчивость, вероятность банкротства, рентабель ность, деловая активность. Введены новые понятия: обобщенный показатель ликвидности, обобщенный показатель структуры капитала. Предложен метод расширения системы показателей Бивера и метод анализа корреляционных связей векторов активов и пассивов сравниваемых предприятий. Проведен нечетко-множественный скоринговый анализ и осуществлена кластеризация финансового состояния предприятий.

Практическая значимость определяется высокой степенью универ сальности двух разработанных вариантов технологии экспертизы, оба из ко торых обеспечивают возможность экспертизы как технических, так и эконо мических объектов.

Первый вариант предназначен для экспертизы сложных и дорогостоя щих систем, проектов, финансового состояния предприятий и содержит этапов. Второй, сокращенный вариант, предназначен для экспертизы прибо ров, устройств, готовой продукции и содержит 10 этапов. Для автоматизации процесса экспертизы на различных предприятиях может использоваться раз работанный программный комплекс (свидетельства государственной регист рации в ФГАНУ «Центр информационных технологий и систем органов ис полнительной власти» № 502012500677 от 16.05.2012 г., № 50201251003 от 17.07.2012 г., Федеральная служба по интеллектуальной собственности» № 20113611374 от 09.01.2013 г.).

Разработанные методы и технология экспертизы успешно апробирова ны на множестве различных объектов: системы планирования финансовых ресурсов предприятий (ERP–системы), IT-производства, продукция химиче ских производств, продукция пищевой промышленности, технические сред ства охраны вневедомственной охраны МВД России, системы оценки финан сового состояния предприятий и степени вероятности банкротства.

Апробация. Основные положения диссертации докладывались и обсу ждались на Международных и Всероссийских научно-технических конферен циях, таких как: Х Международная научная конференция «Информатизация правоохранительных систем» (Москва, 2001), Международной конференции «Системные проблемы качества, математического моделирования, информа ционных, электронных и лазерных технологий (Воронеж: ВГТУ, 2001.),1 ме ждународная научно-практическая интернет конференция «Моделирование энергоинформационных процессов» (Воронеж, 2012 г.), Всероссийская науч но-практическая конференция “Охрана, безопасность и связь” (Воронеж, 2012), III Международная заочная научно-практическая конференция «На учная дискуссия: вопросы математики, физики, химии, биологии» (Москва, 2013 г.), Международная (заочная) научно-практическая конференция «Тех ника и технологии: роль в развитии современного общества» (Краснодар, 2013 г.), IV Международная научно-практическая конференция «Приоритет ные научные направления: от теории к практике» (Новосибирск, 2013 г.), XII Международная научно-практическая конференция «Перспективы развития информационных технологий» (Новосибирск, 2013 г.), IX Международная научно-практическая конференция «Актуальные вопросы науки» (Москва, 2013 г.), III Международная заочная научно-практическая конференция «Ре шение проблем развития предприятий: роль научных исследований» (Крас нодар, 2013 г.), Международная конференция «Современные методы и про блемы теории операторов и гармонического анализа и их приложения – III»

(Ростов-на-Дону, 2013 г.).

Публикации. Основное содержание работы

изложено в 49 работах, из них: 3 монографии, 21 в реферируемых журналах из списка ВАК РФ, 3 сви детельства на программный продукт.

Структура и объем. Диссертация состоит из введения, шести глав, списка литературы и приложения. Материал изложен на 300 страницах и со держит 29 рисунков и 44 таблиц.

Глава 1. СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ РАЗВИТИЯ ЭКСПЕРТНЫХ СИСТЕМ 1.1 Вводные замечания Экспертные системы (ЭС) широко используются в различных областях науки, техники и экономики благодаря универсальности общего методологи ческого подхода к представлению и обработке знаний самого различного ха рактера. Так, известен ряд работ, посвященных разработке и применению ЭС в приборостроении и машиностроении [101, 120, 150, 158, 179], в автомати зации проектирования радиоэлектронных устройств [37, 51, 59, 94, 180], в химических технологиях [13, 41, 70, 95, 125, 134], в авиационно космических комплексах [40, 172, 178], в энергетике [10, 111], в формализа ции знаний [36, 46, 168, 182, 184, 185], в управленческой деятельности [1, 5, 154], в экономике [9, 19, 47, 122, 132, 138, 166, 177], в социологии [14, 17, 100, 131], в психологии [50, 218, 222, 227] и других областях.

Обычно ЭС – это сложная компьютерная программа, содержащая зна ния специалистов в определенной предметной области и способная выраба тывать рекомендации, какие бы дал эксперт-человек, запрашивая при необ ходимости дополнительную информацию [36, 53, 108, 126 и др.]. Существу ют как узкоспециализированные ЭС, так и «оболочки», пользуясь которыми, можно, не будучи программистом, создавать свои ЭС. Знания о предметной области, необходимые для работы ЭС, определенным образом формализова ны и представлены в памяти компьютера в виде базы знаний, которая может изменяться и дополняться в процессе развития системы. Главным достоинст вом экспертных систем является возможность накопления знаний и сохране ние их длительное время.

Процесс создания экспертных систем отличается от классических под ходов традиционного программирования и является интерактивным итераци онным процессом. Пополнение знаний в базе знаний (БЗ) и построение сис темы тесно взаимосвязаны. Вначале определяют, какие знания необходимо приобретать в первую очередь и как их организовывать. Со временем БЗ расширяется, и появляются дополнительные возможности, которые плохо укладываются в исходную базу знаний. Иногда возникают неприятные си туации по изменению или расширению баз знаний. Поэтому процесс конст руирования экспертных систем требует нескольких итераций проектирования [35, 80, 86, 95, 101 и др.].

Проблемам теории и практики экспертных систем посвящены публика ции отечественных ученых С.А. Айвазяна [2], А.А. Башлыкова [10], С.Д.

Бешелева [12], Н.К. Бохуа [15], К.В. Воронцова [30], Т.А. Гавриловой [36], А.Н. Горбаня [205], Н.В. Дилигенского [47], В.С. Мхитаряна [49], Б.Г. Лит вака [85], А.О. Недосекина [107], А.И. Орлова [117], Д.А. Поспелова [131] и др. Среди публикаций зарубежных специалистов известны работы А. Бру кинга [186], Д. Джарратано [44], П. Джексона [45], М. Исудзуки [64], М.

Кендэла [67], Д. Лената [84], Д. Лорьера [86], С. Осуги [ 119], Т. Саати [142], К. Таунсенда [153], С. Хайкина [167], Л. Терстоуна [222] и др. уче ных.

При проведении экспертизы должен быть учтен целый ряд свойств (ха рактеристик, показателей, признаков, факторов, критериев) сравниваемых объектов. Несмотря на то, что в русском литературном языке упомянутые выражения «характеристики», «показатели», «признаки», «факторы», «кри терии» имеют различное смысловое значение, в теории экспертных систем они играют роль синонимов [10, 12, 46, 47, 85 и др.]. Уточним терминологию, принятую в теории экспертных систем, применительно к материалу данной работы. В дальнейшем, будем использовать выражение «признаки» для от дельных, частных свойств объекта экспертизы, а выражение «показатели» – для обобщающих, агрегированных свойств.

Общепринято делить все множество признаков на количественные и качественные признаки. Количественные признаки определяются либо до кументально из прайс-листов, технических описаний, инструкций, бухгал терской отчетности (дальность связи, диапазон частот, разрешение дисплея, величина основных средств, уставный капитал и т.д.), либо путем измерений – инструментальным методом. Поэтому они носят объективный характер. и принимаются к учету по факту, без предварительной оценки экспертами. Ка чественные признаки носят расплывчатый, оценочный характер (внешний вид, страна изготовления, фирма-производитель, цвет, вкус пищевых изделий и т.д.) и требуют тщательной оценки экспертами. Однако и для тех, и для других групп признаков должен быть разработан адекватный механизм включения в обобщающий показатель качества объекта экспертизы.

Особое место занимает стоимостная характеристика. Для простых объектов экспертизы это может быть просто функция цены P. В качестве та f P, убы кой функции может быть выбрана, в принципе, любая функция вающая с ростом цены. Однако для сложных объектов экспертизы требуется учитывать не только цену приобретения, но и ряд других признаков (стои мость лицензии, стоимость внедрения, срок внедрения, время и стоимость самой экспертизы и т.д.). Таким образом, всегда речь идет не только об оцен ке качества сравниваемых объектов, но о комплексной технико экономической экспертизе.

Все сказанное выше относится к экспертизе объектов любой природы:

технических, экономических, экологических и т.д. Применительно к темати ке данной работы остановимся на особенностях экспертизы экономических объектов.

Экономические объекты экспертизы весьма разнородны (основные средства, нематериальные активы, товары, готовая продукция, финансовое состояние предприятия, обеспеченность кредитов и займов, риск неплатежей, условия контракта, риск банкротства и т.д.). Поэтому можно сделать вывод о необходимости строго индивидуального подхода к выбору множества срав ниваемых признаков и соответствующей методике оценивания. Охарактери зуем далее особенности оценки товаров, готовой продукции, финансового состояния предприятия.

Экспертиза товаров, как правило, основывается на их технических ха рактеристиках, представленных в прайс-листах, технических описаниях, ин струкциях и других документах. Например, для изделий электронной про мышленности (сотовых телефонов, компьютеров, телевизоров и т.д.) имеют ся очень подробные прайс-листы. В частности, для сотовых телефонов (см.

приложение 2) приводится множество характеристик, среди которых сле дующие количественные и качественные признаки: разрешение дисплея, раз решение камеры, объем встроенной памяти, страна изготовления, вид корпу са, наличие видеозаписи и др.

Экспертиза готовой продукции производится, в основном, по данным заводов-производителей, а также ГОСТам и ТУ. При этом соотношение ко личественных и качественных признаков существенно зависит от вида про изводства. Так, для химических производств преобладают количественные признаки [70, 95, 134, 176], для оценки которых могут использоваться мето ды квалиметрии [1,108], а для пищевых производств – качественные призна ки (органолептические и физико-химические свойства) [13, 125].

Экспертиза сложных товаров иностранных фирм проводится, в основ ном, по данным прайс-листов и доступных рекламных материалов. При этом большую часть признаков составляют качественные признаки описательного характера. Например, обширный прайс-лист ERP-систем финансового пла нирования [114, 23] (см. приложение 4) содержит всего несколько количест венных признаков.

Экспертиза финансового состояния предприятий, напротив, в основ ном проводится на основе количественных признаков, определяемых доку ментально – из бухгалтерской финансовой отчетности [4, 23, 25, 28]. Основ ными документами являются: «Бухгалтерский баланс», «Отчет о прибылях и убытках». Некоторые качественные признаки могут быть добавлены экспер тами на основе анализа аудиторского заключения и пояснительной записки.

Вместе с тем, для оценки столь разнородных экономических объектов и столь различных целей желательно разработать единую методику и техно логию экспертизы. Основой разработки единого подхода является построе ние обобщенного показателя качества J кач, позволяющего адекватно учиты вать как количественные, так и качественные признаки. Для учета стоимост но-внедренческих характеристик необходимо ввести обобщенную функцию цены J цены. Некоторые формы детерминированного и нечетко множественного комплексного показателя качество-цена J, учитывающего как J кач, так и J цены, приведены в работах [20, 23, 25, 90, 91 и др.].

Для получения заключения экспертизы требуется определение значе ние комплексного показателя качество-цена J для каждого из сравниваемых объектов экспертизы. Однако предварительно необходимо решить целый комплекс задач, относящихся к выбранной методике экспертного экспери мента. Перечислим некоторые из этих задач, обсуждавшихся в известной ли тературе.

Выбор экспертов и оценка их согласованности [9, 67, 85, 104], выбор признаков объекта экспертизы [1, 2, 108, 173], многомерное шкалирование [9, 30, 85, 94, 174], снижение размерности пространства признаков [2, 124, 206, 214], кластеризация объектов [11, 38, 43, 55, 115], иерархия признаков [6, 47, 61, 142], метод парных сравнений [47, 142, 163, 222], учет нечетко множественной природы качественных признаков [58, 71, 74], статистиче ская обработка оценок экспертов [49, 60, 66, 117] и др.

Приведенный выше перечень задач определяет последовательности их решений лишь в определенной мере, поскольку для достижения эффек тивности экспертизы разрабатываемая система должна быть адаптивной. Так, для решения вопроса о согласованности группы экспертов необходимо вна чале определить векторы их оценок, определить статистические связи между этими векторами и скорректировать состав экспертной группы;

точно также окончательная, «тонкая» кластеризация объектов экспертизы проводится по результатам статистической обработки векторов оценок и определения ком плексного показателя качество-цена и т.д. [155]. Таким образом, между от дельными стадиями (этапами) экспертизы существует множество обратных связей, а сама экспертиза должна носить адаптивный характер.

1.2. Основные направления развития экспертных систем Исследуя области применения и теоретические принципы построения экспертных систем, можно выделить два основных альтернативных направ ления их развития: 1) экспертные системы, основанные на концепции искус ственного интеллекта [53, 62, 63, 139, 194, 200, 201 и др.];

2) экспертные системы, использующие методы математической статистики [66,117, 151, 163, 192, 212, 220 и др.]. Охарактеризуем последовательно оба этих направ ления.

Экспертные системы искусственного интеллекта. С развитием принципов и методологии создания систем искусственного интеллекта свя заны имена отечественных и иностранных ученых Дж. Айкинса, Д. Лорьера, Д.А. Поспелова, Г.С. Поспелова, В.Н. Ручкина, П. Хармона, А. Эндрью [194, 86, 131, 130, 140, 208, 191] и др.

При создании экспертных систем искусственного интеллекта область информационных технологий, целью которой является накопление и приме нение знания не как объекта обработки их человеком, но как объекта обра ботки их на компьютере, называется «инженерия знаний» (knowledge engi neering) [46, 82, 119, 200, 201, 202, 210 и др.]. Для обработки знаний на ком пьютере необходимо проанализировать знания и особенности их обработки компьютером, а также разработать их машинное представление. Технологии накопления, суммирования и использования знаний являются составными частями общей технологии обработки знаний [57, 98, 133, 182, 195, 207 и др.].

Как было отмечено выше, экспертная система – это программа, которая ведет себя подобно эксперту в некоторой, обычно узкой, прикладной области [169]. Экспертная система должна уметь объяснять свои решения пользова телю, примерно так же, как это делает эксперт-человек. Это особенно необ ходимо в областях, для которых характерна неопределенность, неточность информации (например, в медицинской диагностике, маркетинге, менедж менте, диагностике неисправностей технических устройств и т.д.). В этих случаях способность к объяснению нужна для того, чтобы повысить степень доверия пользователя к советам системы, а также для того, чтобы дать воз можность пользователю обнаружить возможный дефект в «рассуждениях»

системы.

Компьютерные системы, основанные на концепции логического выво да и не обладающие способностью к самообучению, принято относить к экс пертным системам первого поколения. Объем знаний, необходимых для эф фективного практического применения упомянутых систем, обычно очень велик. Это означает, что для создания полноценной базы знаний требуется длительное время и большое количество экспертов, наполняющих эту базу.

Действительно, любой новый специалист в рассматриваемой предметной об ласти может добавить в базу новые утверждения или новые правила вывода, т.е. теоретически количество возможных экспертов стремится к бесконечно сти.

Экспертным системам первого поколения присущи следующие основ ные недостатки [15, 16, 29, 89, 102, 126 и др.]:

– функционирование системы осуществляется только на основе знаний, полученных от эксперта;

опыт, приобретаемый ею в процессе эксплуатации, не накапливается и не применяется;

– используется какая-либо одна модель представления знаний: продук ции, семантические сети или фреймы;

– методы представления знаний позволяют описывать лишь статиче ские предметные области;

– модели представления знаний ориентированы на относительно про стые и хорошо структурированные области;

– отсутствуют сведения о границах области компетентности системы, за пределами которой система оказывается неработоспособной;

– существует большое количество не выраженных явно сведений, «скрытых» в структурах представления знаний;

– пополнение знаний системы и контроль их непротиворечивости осу ществляется экспертом «вручную»;

– отсутствие способности к обучению и др.

Экспертные системы второго поколения основаны на идее превраще ния их в активных интеллектуальных партнеров пользователя, т. е. в динами ческие системы, получившие название партнерских [21]. Принципиальным недостатком экспертных систем искусственного интеллекта является незамк нутость пространства знаний, представленных в информационной базе [155].

Суммируем принципиальные недостатки систем искусственного ин теллекта:

1. Пространство знаний являются неполными и незамкнутыми.

2. Процессы разработки, программирования и «обучения» длительны и дорогостоящи.

3. Требуется привлечение очень большого (теоретически – бесконеч ного) количества экспертов.

4. Созданные системы имеют весьма ограниченную сферу примене ния.

Экспертные системы статистической обработки информации. В целях устранения указанных недостатков систем искусственного интеллекта представляется перспективным объединение экспертных систем искусствен ного интеллекта и экспертных систем, использующих вероятностно статистические методы обработки оценок экспертов [19]. Для этого в состав динамической экспертной системы необходимо ввести, кроме базы знаний и правил вывода, базу данных [82, 202, 135, 136, 140, 155 и др.]. В последней должны накапливаться оценки экспертов по количественным и качественным признакам сравниваемых экономических объектов [8, 102].

Представляется, что комбинированная экспертная система (система третьего поколения), сочетающая принципы искусственного интеллекта и методы математической статистики, может эффективно использоваться в экономике для оценки качества товаров, определения рыночной цены гото вой продукции, экспертизы финансового состояния предприятий, при экс пертизе экономических проектов, при испытании больших промышленных объектов и т.д. Однако, по-прежнему, у системы сохраняются ее главные не достатки: дороговизна и очень длительный срок разработки, обучения и вне дрения.

Для оценки объектов во многих стремительно развивающихся отраслях промышленности, а также для решения экономических задач необходимы программы, которые создаются за срок до одного года и требуют для своего функционирования небольшой группы экспертов. Поэтому, в подавляющем большинстве случаев целесообразно ограничиться лишь второй составляю щей охарактеризованных выше комбинированных систем, а именно, систе мами статистической обработки компьютерной информации [65, 67, 85, 102, 163 и др.].

Теоретической основой создания таких систем является многомерный статистический анализ [66, 152, 160, 164, 165 и др.]. Применению статисти ческих методов в экономике посвящены работы ряда специалистов, среди которых С.Д. Бешелев, Ф.Г. Гурвич [12], А.М. Дубров, В.С. Мхитарян, Л.И.Трошин [49], С.А. Поттосина, В.А. Журавлев [132], Т.Дж.Уотшем, К.

Паррамоу [161], К. Эсбенсен [192] и др.

Методы получения экспертных оценок достаточно многочисленны и разнообразны [12, 19, 85]. В том случае, если характер анализируемой ин формации таков, что целесообразнее получать численные оценки сравни тельной предпочтительности альтернатив1, то используют тот или иной ме тод численной оценки. Если оправданы лишь качественные оценки предпоч В математической статистике чаще используют термин «гипотеза» [66, 75].

тительности альтернатив, то используют такие методы, как ранжирование, парные и множественные сравнения и т.д. Однако на практике почти всегда возникает задача совместного оценивания количественных и качественных признаков.

Процесс экспертизы является достаточно сложным и состоит из не скольких этапов: подбор группы экспертов, выбор шкалы оценивания, выде ление значимых признаков исследуемого класса объектов (изделий), разра ботка плана экспертного эксперимента, получение экспертных оценок, их статистическая обработка, формирование заключения экспертизы и т.д. По скольку эти этапы достаточно четко идентифицируются, определены условия начала каждого этапа и охарактеризованы требования к его завершению и вид предоставляемой информации, в настоящее время уже можно говорить о необходимости создания подлинной технологии экспертизы.

Подбор группы экспертов является очень ответственным этапом тех нологии экспертизы, обеспечивающим получение надежных оценок харак теристик исследуемых объектов. На сегодняшний день не существует регу лярных методов подбора экспертов, наверняка обеспечивающих успех экс пертизы [12, 85].

Выбор значимых признаков объекта экспертизы во многом является эв ристическим и затем уточняется, во-первых, на основе мнения созданной экспертной группы и, во-вторых, уже по данным предварительной эксперти зы. Некоторые из признаков могут быть коррелированными, и тогда размер ность пространства признаков уменьшается. Некоторые из признаков при сутствуют во всех сравниваемых объектах и исключаются из рассмотрения.

Шкала оценок. Проблема многомерного шкалирования представляется весьма сложной [9, 30, 85, 94, 174]. В методе парных сравнений объекты (признаки) сопоставляются попарно экспертом (экспертами), а затем выбира ется один из них. Дадим краткую характеристику лишь двух из них, осно ванных на идеях Терстоуна (L.Thurstone) и Саати (T. Saaty).

Л. Терстоун является основоположником психометрии и автором зна менитой статьи «A law of Comparative Judgement». Совершенно удивительно, что в области психологии появилось направление, которое позволило приме нить методы теории вероятностей к сопоставлению человеческих суждений и даже введению понятия корреляционной матрицы2.

В законе «о сравнительных суждениях» [222] предполагается, что при знаки (стимулы) являются элементами пространства обсуждения Q и что ос новной психологический континуум (F-множество), где F – нечеткое понятие (высокий, длинный и т.д.). Теперь предположим, что представляем последо вательно эксперту пары оценок (x, y). При каждом опыте (презентации) вы является единственная дискриминантная величина (точка на психологиче ском континууме) из распределения каждого стимула. Каждый раз, когда предъявляются два стимула, требуется. чтобы эксперт оценил, какой из них «выше» на психологическом континууме (требуется, чтобы эксперт оценил отношение F оценок (x, y)).

Используется основное предположение о том, что дискриминантные процессы могут быть представлены нормальными распределениями вероят ностей. Стимулы x и y формируют два нормальных различающих процесса X и Y со средними mX и mY и средне-квадратическими отклонениями X и Y. Если два признака неоднократно совместно оцениваются, можно соста вить систему дискриминантных уравнений и оценить степень их предпочте ний [227].

Большое признание получил метод анализа иерархий Т. Саати [142, 143, 47, 81, 118, 197-199 и др.]. Для сравнительной оценки признаков исполь зуется лингвистическая шкала, содержащая 9 градаций предпочтительности основного (опорного признака) перед другими: одинаковая значимость, сла бая значимость, существенная значимость, сильная значимость, очевидная Thurstone, L. L. The Vectors of Mind / L. L. Thurstone // Psychological Review. — 1933. — V. 41. — P.

1-32.

значимость, которым присваиваются, соответственно, ранги 1, 3, 5, 7, [142]. Промежуточные значения предпочтительности имеют ранги 2, 4, 6, 8.

На основе определенных экспертов рангов строится матрица парных сравнений относительной значимости признаков Wс элементами wij Vi V j. Заметим, что при этом используется шкала отношений, т.е. оп ределяющим фактором является не абсолютное значение признака, а степень предпочтительности Vi перед V j. При таком определении wij должно вы полняться соотношение w ji 1 / wij, т.е. матрица парных сравнений W долж на быть обратно-симметрической:

1..... w1m w12 w 1 w12..... w2 m 1 w W 1 w13..... w3m. (1.2.1) w32.........................

1 w1m wm 2 wm3.....

Искомый вектор коэффициентов относительной важности признаков (вектор приоритетов) имеет вид V V1,V 2,...,V m. (1.2.2) В идеальном случае V является собственным вектором матрицы W и может быть найден как решение уравнения WV V, (1.2.3) где - собственное значение матрицы W.

Как видим из приведенной выше лингвистической шкалы, сравнение значимости признаков является нечетким, расплывчатым и в определенной мере субъективным. Для математического описания подобных ситуаций бы ла разработана теория нечетких множеств, основоположником которой счи тается Л. Заде (L. Zadeh) [58].

До появления и развития аппарата теории нечетких множеств [34, 71, 72, 74, 110, 226 и др.] любая неопределенность, появляющаяся при решении практических задач, отождествлялась со случайностью. В то же время в практике экспертизы мы часто используются такие понятия, как большой, малый, хороший, простой, сложный, горячий и т. д., которые являются не четкими и расплывчатыми, однако эта неопределенность не носит вероятно стного характера. Теория нечетких множеств оперирует именно с такого рода объектами. Понятие же нечеткости относится к классам, в которых имеются различные градации степени принадлежности, промежуточные между пол ной принадлежностью и не принадлежностью объектов к данному классу.


Иными словами, нечеткое множество есть класс объектов, в котором нет рез кой границы между теми объектами, которые входят в этот класс, и теми, ко торые в него не входят.

Одним из основных понятий теории нечетких множеств является функция принадлежности. Пусть Х = x i – множество (конечное или беско нечное), которое будем называть множеством признаков. Тогда нечеткое множество А в X есть совокупность упорядоченных пар А = x, A x, где A x – функция, представляющая собой степень принадлежности х к A;

на зываемая функцией принадлежности A x и определяющая отображение A x : Х[0,1]. Применительно к практике экспертизы основное значение имеют функции принадлежности признаков соответствующим областям до пустимых значении. В работах [34, 47, 72, 110, 171] приведены многочислен ные примеры применения теории нечетких множеств.

Планирование экспертного эксперимента осуществляется в соответст вии с общими принципами планирования эксперимента [8, 67, 173]. Наибо лее перспективным представляется пообъектный план (рис. 1.2.1), при кото ром полная группа экспертов последовательно оценивает K объектов, фор мируя таблицы экспертных оценок x ijk каждого j го признака i ым экс пертом.

Рис. 1.2.1 Пообъектный план эксперимента Однако в ряде случаев с организационных или экономических сообра жений могут использоваться и иные планы эксперимента. Например, поэкс пертный план – вся совокупность объектов оценивается последовательно ка ждым экспертом ( i 1, 2, …, n ).

Совокупность представленных в K таблицах размерности (n m) оце k нок математически представляет собой тензор x ij третьего ранга (трехмерное обобщение понятия матрицы) [18], который мы назовем «параллелепипед статистического экспертного эксперимента» (ПСЭ). Выбирая движение по различным «ребрам» этого параллелепипеда, мы принимаем тот или иной план эксперимента.

При создании статистических экспертных систем в последнее время особенно интенсивно развиваются два направления: кластеризация объектов экспертизы и метод главных компонент. Кластерный анализ (Data clustering) – задача разбиения заданной выборки объектов на подмножества, называе мые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Этой тематике посвя щен ряд публикаций [30, 38, 55, 88, 115, 137 и др.], а работы [11, 97] содер жат обзор методов и алгоритмов кластеризации.

Метод главных компонент (Principal component analysis, PCA) – один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Теории и практике применения метода главных компонент (МГК) посвящен ряд работ [2, 124, 196, 205, 212, 220 и др.], а в работе [206] отмечается плодотворность применения этого метода – от моле кулярной биологии до теории динамических систем.

В экономике и управлении предприятиями в настоящее время расши ряется использование теории нечетких множеств. Об этом свидетельствует интенсивный рост числа публикаций, появление монографий (краткий обзор см. раздел 1.4), выпуск специализированного международного журнала «Fuzzy Economic Review», создание международной организации «International Association for Fuzzy-Set Management and Economy».

Таким образом, сейчас уже невозможно говорить о чисто статистиче ских экспертных системах. Как использование вероятностных представле ний, так и использование теории нечетких множеств являются способами преодоления неопределенности в решении экспертных задач. Проблему со отношения этих двух альтернативных подходов рассматривал Л. Заде в своей статье «Possibility theory versus probability theory in decision analysis» [225].

Поэтому можно сделать вывод о том, что для создания эффективных экс пертных систем необходимо сочетание этих методов.

1.3. Актуальные проблемы теории экспертных систем Теория экспертных систем интенсивно развивается все последние го ды, однако на современном этапе ее развития остается недостаточно разре шенным целый ряд проблем: согласованность группы экспертов [8, 9, 67, и др.], кластеризация объектов экспертизы [11, 34, 43, 52, 55, 204], класте ризация признаков [8, 19, 20, 90 и др.], метод парных сравнений Терстоуна [17, 100, 222, 227], метод анализа иерархий Саати [6, 47, 81, 142, 143, 197], нейронные сети [110, 167, 193, 211, 217], метод главных компонент [49, 124, 196, 205, 220], L-проблема моментов [8, 149, 155 и др.], разработка техноло гии экспертизы [8, 10, 33, 85, 134] и др.

Дадим краткую характеристику лишь некоторых из этих актуальных проблем.

Согласованность группы экспертов. Для выявления групп экспертов, внутри которых согласованность мнений высока и экспертов с оригинальной точкой зрения существует большое количество методов [9, 67, 102]. Отметим три основных: 1) перебор коэффициентов конкордации путем последова тельного исключения из совокупности отдельных экспертов;

2) вычисление коэффициентов парной ранговой корреляции;

3) графический метод, осно ванный на построении и анализе поверхности в m 1 -мерном пространстве, рельеф которой отражает распределение мнений всех экспертов.

Коэффициент конкордации рассчитывается по формуле [67]:

W m 12 d j j W, (1.3.1) n n 2 (m 3 m) n Ti i где m – количество (объектов) направлений исследований;

d j – фактически встречающееся отклонение суммы рангов по j -му направлению исследова ний от среднего арифметического сумм рангов по m направлениям исследо L ваний;

Ti – показатель равных (связанных) рангов: Ti (tl3 tl ) ;

L – число l групп равных рангов в оценках i -го эксперта;

i 1,2,..., n ;

l 1,2,..., L ;

tl – число равных рангов в l -ой группе.

Степень достоверности результатов расчета и значимости W при больших m устанавливают при помощи критерия 2 (критерий Пирсона).

Более распространена [9] следующая форма коэффициента конкорда ции, как общего коэффициента ранговой корреляции для группы, состоящей 12 S из n экспертов W, где S - сумма квадратов фактически встре n m3 m чающихся отклонений суммы рангов по j-му объекту (направлению иссле дований) от среднего арифметического сумм рангов по направлениям иссле дований.

Коэффициент конкордации может принимать значения в пределах от до 1. Изменение W от 0 до 1 соответствует увеличению степени согласован ности мнений экспертов. Если W 1, то это говорит о полной согласованно сти мнений экспертов (что на практике почти невозможно).

Серьезным недостатком коэффициента конкордации W является то, что он не удовлетворяет аксиомам метрики, и поэтому не позволяет восполь зоваться мощными методами функционального анализа. Поэтому изложим далее основы альтернативного подхода к оценке согласованности группы экспертов, предложенного в работе [103].

Представим мнение i - го эксперта вектором его оценок xi xi1, xi 2,..., xim, (1.3.2) паре векторов xl, xs (l,s=1,…,n) поставим в соответствие евклидову метрику m ( xlj xsj ) ( xl, xs ). (1.3.3) j Нашей задачей является оценка согласованности всего коллектива экс пертов (совокупности) экспертов. Будем исследовать тесноту связи, опираясь на матрицу, состоящую из метрик (1.3.3) для различных пар экспертов. Эта матрица симметричная, т.к. ( xl, xs ) ( xs, xl ), она характеризует тесноту связи всех экспертов и имеет вид:

( x1, x 2 )... ( x1, x n ) ( x 2, x1 ).

. (1.3.4)..

..

..

( x, x )...... n Введенную матрицу будем использовать для определения новых харак теристик согласованности групп экспертов. Для этой будем использовать норму матрицы, определяя ее различным образом:

( xl, x s ) ls, (1.3.5) n( n 1 ) max ( x l, x s ) l,s 2 ( x l, x s ) l s, (1.3.6) 2 n 2 n xk k 1 max ( xl, x s ) 2 max x k, (1.3.7) k m где xk и xr нормы соответствующих векторов в пространстве l2 :

m ( xkj )2.

xk (1.3.8) j Несложно доказать, что 1 1. Из неравенства Коши и неравенства тре угольника имеем 1 и 1. Действительно 2 1 1 1 2 2 2 2 ( ( xl, x s )) ( xl x s ) ( xl ) ( x s ) l s l s l s l s n 1 2 n n 1.3. n ( xl ) 2 ( x s ) 2 2 n ( x k ) 2.

l 1 s 1 k 1 Полученные неравенства обосновывают принципиальную возможность использовать их в качестве инструментов исследования структуры и одно родности множества мнений группы экспертов. Формулы (1.3.5) и (1.3.6) бу дут сравниваться с традиционным коэффициентом М.Кендалла. Формула (1.3.7) может быть использована для выявления «крайних» мнений среди экспертов.

Кластеризация объектов экспертизы. Теоретические аспекты кла стерного анализа рассматриваются в работах таких ученых, как Жамбю М.

[55], Мандель И.Д. [88], Олдендерфер М.С., Блэшфилд Р.К. [115], Воронцов К.В. [30], Fern X.Z. [203], Strehl A. [221] и др. Вопросам практического ис пользования посвящены работы таких специалистов, как Гитис Л. Х. [38], Демидова Л.А. [43], Елизаров С. И. [52], Lu Y. [217], Hong Y. [211] и др.

Кластерный анализ (data clustering) – способ разбиения заданного множества (выборки) объектов на подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Обычно задача кластеризации относится к статистической обработке. Такие задачи относят к классу задач обучения без учителя.

В случае статистической обработки данных кластерный анализ – это многомерная статистическая процедура, выполняющая сбор данных, содер жащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы (кластеры). Поэтому проблемам класте ризации посвящен и ряд работ в области многомерного статистического ана лиза А.М. Дуброва, В.С. Мхитаряна, Л.И.Трошина [49], М. Кендалла, А.


Стьюарта [66], С. Уилкса [160], К.Фукунаги [165], Эсбенсена [192].

Базисным понятием для математической статистики является статисти ческая однородность. Общепринято, что какую-либо обработку статистиче ских данных (усреднение, установление корреляционных связей и т. д.) надо производить только в однородных группах наблюдений. Охарактеризуем не которые подходы к выделению однородных совокупностей.

Традиционно проблема выделения однородных групп рассматривается в статистике как задача группировки исходных данных. При этом выделяют ся два вида группировок: типологические и структурные [88]. Типологиче ской группировкой называется разбиение совокупности на качественно од нородные группы, характеризующие некоторые типы (классы) явлений, на пример группировка людей по полу, населения по социально-экономическим классам и др. Структурной группировкой называется расчленение качест венно однородной совокупности на группы, характеризующие строение со вокупности, ее структуру.

Независимо от предметной области применение кластерного анализа предполагает следующие этапы [38,55]:

1) получение множества исходных данных (выборки) для кластериза ции;

2) выбор множества переменных (признаков), по которым будут оцени ваться объекты в выборке;

3) вычисление значений той или иной меры сход ства (или метрики) между объектами;

4) применение выбранного метода кла стерного анализа для создания групп сходных объектов;

5) проверка досто верности и интерпретация результатов кластерного решения;

6) возврат, при необходимости, к упомянутым выше п.п. 2 или 3. Итак, по своей природе кластерный анализ является адаптивным.

Обычно кластерный анализ предъявляет следующие требования к множеству данных [30, 38]: во-первых, показатели не должны явно коррели ровать между собой;

во-вторых, показатели должны быть безразмерными;

в третьих, их распределение должно быть близко к нормальному или, по край ней мере, должно быть унимодальным;

в-четвёртых, выборка должна быть однородна, не содержать «выбросов».

Одним из главных этапов кластерного анализа является выбор метри ки, наиболее подходящей для целей конкретного исследования. Метрика оп ределяет расстояние или степень близости между отдельными объектами и их группами (кластерами) [57, 157].

В кластерном анализе объекты отождествляются с их векторами при знаков (характеристическими векторами) [30, 43, 38, 115 и др.]. Обозначим вектор признаков l -го объекта l 1,2,..., k в m - мерном пространстве при знаков X l xl1, xl 2,..., xlm. (1.3.10) При решении задач кластеризации наиболее употребительны [88, 55, 115] следующие определения расстояния или близости (табл. 1.3.1).

Таблица 1.3. Определение близости объектов по набору признаков Показатели Формулы Для количественных шкал (расстояния) Линейное расстояние m xlj ls x sj L j Евклидово расстояние m ls xlj x sj E j 1 Расстояние Минковского m p p ls xlj x sj P j 1 Чебышевское расстояние C max xlj x sj ls 1 j m T C 1 ~i ~ j Расстояние Махаланобиса ~i ~ j ls M x x x x Для номинальных шкал (меры близости) Коэффициент Рао n ls ls R m Коэффициент Хемминга p ls ls H m В таблице следующие обозначения: x lj, x sj – значения j -го признака у l, s -ых объектов, l, s 1,2,..., k ;

~l – вектор-столбец значений всех признаков x l -го объекта;

С 1 – матрица, обратная ковариационной матрице;

p ls – общее число совпадающих значений свойств у признаков наличия ( нулевых и еди ничных, где 1 – наличие свойства, 0 – отсутствие);

nls – число совпадающих единичных свойств.

При задании вектора признаков объекта в виде (1.3.10) множество дан ных обо всех сравниваемых объектах можно представить в виде x11... x1m X x... x 2 m X 2.

X x 21 x 22 (1.3.11).........

......

x... xlm X l l1 xl Расстояния между парами векторов признаков могут быть представле ны симметрической матрицей расстояний, которые рассчитываются с ис пользованием одной из метрик, представленных выше (см. табл. 1.3.1).

12... 1k... 2 k.

21 0 (1.3.12)......

......

... kk k k1 Понятием, противоположным метрике, является понятие сходства (близости в m -мерном пространстве) между объектами X l и X r. Неотрица тельная вещественная функция S : X X R называется мерой сходства, если:

1) 0 S X l, X r 1 для любых X l X r ;

2) S X l, X l 1 ;

3) S X l, X s S X s, X l. (1.3.13) Обозначим, для краткости записи, коэффициент близости (сходства) S ls S X l, X s и сформируем матрицу сходства 1... s1k s... s 2 k S s 21 1 (1.3.14)......

......

s... s kk k1 sk Анализ матрицы расстояний (1.3.12) или матрицы сходства (1.3.14) приводит к предварительному выявлению кластерной структуры. Разбиение выборки на группы схожих объектов позволяет упростить дальнейшую обра ботку данных и принятия решений, применяя к каждому кластеру свой метод анализа.

В литературе [55, 88, 115, 30, 38 и др.] известно множество методов кластеризации. Во всех этих случаях может применяться иерархическая кла стеризация, когда крупные кластеры дробятся на более мелкие, те в свою очередь дробятся ещё мельче, и т. д. Такие задачи называются задачами так сономии. Результатом таксономии является древообразная иерархическая структура (рис. 1.3.1). При этом каждый объект характеризуется перечисле нием всех кластеров, которым он принадлежит, обычно от крупного к мел кому.

Рис.1.3.1 Пример дендрограммы для 5 объектов Дендрограмма показывает степень близости отдельных объектов и кла стеров, а также наглядно демонстрирует в графическом виде последователь ность их объединения или разделения. Количество уровней дендрограммы соответствует числу шагов слияния или разделения кластеров. Визуальный анализ дендрограммы предполагает «обрезание» дерева на оптимальном уровне сходства элементов выборки [115].

Решение задачи кластеризации принципиально неоднозначно, что объ ясняется несколькими причинами. Во-первых, результат кластеризации су щественно зависит от метрики, выбор которой, как правило, субъективен и определяется экспертом. Во-вторых, число кластеров, как правило, неизвест но заранее и устанавливается в соответствии с некоторым субъективным критерием. В-третьих, не существует однозначно наилучшего критерия каче ства кластеризации. Известен целый ряд достаточно разумных критериев, а также ряд алгоритмов, не имеющих чётко выраженного критерия, но осуще ствляющих достаточно разумную кластеризацию «по построению» и все они могут давать разные результаты.

Выше были рассмотрены две, на первый взгляд, не связанные пробле мы: согласованность группы экспертов и кластеризация объектов эксперти зы. Однако, как следует из краткого обзора, в постановке и решении обеих этих задач есть много общего. Поэтому можно сделать важный вывод о том, что кластеризации должны быть подвергнуты не только объекты, но и экс перты.

Метод анализа иерархий. При экспертизе сложных объектов необхо димо установить относительную важность (приоритет) признаков. Такие за дачи традиционно относят к классу многокритериальных задач с использова нием несколько иной терминологии: вместо используемой в теории эксперт ных систем термина «признак» употребляют термин «критерий». В настоя щее время наиболее совершенным способом решения таких задач считается метод анализа иерархий (МАИ) [142, 143, 223, 198, 6, 81 и др.]. В свою оче редь, МАИ основан на теории нечетких множеств и понятии лингвистиче ской переменной [58, 74, 226, 117, 71].

Широкий круг многокритериальных задач связан с необходимостью агрегирования признаков (критериев). Эффективность функционирования сложных реальных объектов или процессов, характеризуется совокупностью частных критериев, находящихся зачастую во взаимном противоречии друг с другом, когда улучшение по одному из показателей ведет к ухудшению по другому и наоборот, и одновременное удовлетворение требованиям всех критериев невозможно. Кроме того, критерии, а также ограничения, обычно сформулированы весьма неточно. В этих условиях отыскание эффективных решений невозможно без учета неточной, качественной информации о пред почтениях различных критериев. По мере усложнения задачи роль такого ро да неточной качественной информации возрастает и во многих случаях ста новится определяющей. В определенной степени подобные трудности могут быть устранены путем упрощения постановки задачи. Например, можно вы делить какой-либо один главный критерий качества, а остальные рассматри вать как ограничения [47].

Другой подход к методам формализации описания нечетких, качест венных характеристик был предложен Л.А.Заде [58]. Теория нечетких мно жеств, особенно ее концептуальная основа и математический аппарат для ра боты с объектами лингвистической природы, оказались плодотворными средствами постановки и решения задач многокритериальной оптимизации при наличии неопределенностей нестатистического характера [34, 71, 72, 74, 117, 226 и др.] Основные результаты, достижения и проблемы в области нечеткой многокритериальной оптимизации и принятия решений изложены в литера туре [34, 74, 110, 117, 193 и др.]. В работах [47, 142, 226] для построения мо делей принятия решений в условиях неопределенности используется лин гвистический подход, позволяющий формализовать задачу при наличии кри териев и ограничений, описанных на естественном языке. В [47, 141, 142, 93] задачи многокритериальной оптимизации решены при наличии нечетких ко эффициентов (рангов) относительной важности критериев.

Специфической чертой нечетких задач является симметрия между це лями и ограничениями, задаваемыми в виде множеств, которая устраняет различия между ними с точки зрения их вклада в методику решения задач [47]. Пусть G – нечеткая цель, С – нечеткое ограничение в пространстве Х.

Тогда нечеткое множество D = G С является единственным, полным кри терием оптимальности. Множество D характеризуется функцией принад лежности D x G x C x, x X. (1.3.15) При наличии r целей и m ограничений имеем D G1... Gr C1... C m D x G1 x... Gr x C1 x... Cm x (1.3.16) Последний результат означает, что в отличие от классических задач оптими зации, подход, основанный на использовании нечетких множеств, не делает различий между целями и ограничениями.

При постановке многокритериальных задач, чаще всего встречаются ситуации, когда цели заданы в пространстве Y, отличном от пространства признаков. При этом, однако, всегда существует отображение, переводящее Х в Y, f : XY, т.е. Y = f(X). В этом случае можно перевести рассмотрение задачи в пространство на основе следующего отображения X G x G f x.

Выражение (1.3.16) можно рассматривать как нечетко сформулирован ную инструкцию, реализация которой обеспечивает достижение расплывча той цели. В этом случае остается неопределенность, связанная со способом реализации подобной нечеткой инструкции, т.е. с тем, какую альтернативу выбрать. Наиболее распространенным способом является выбор альтернатив, максимизирующих D и отвечающих задаче max D x max min G x, C x, (1.3.17) xX xX где функции принадлежности G (x), C (x) отвечают пересечению всех це лей и всех ограничений, соответственно.

Для случаев, когда цели и ограничения различаются по важности, обобщенный критерий D можно сформировать как выпуклую комбинацию с весовыми коэффициентами, характеризующими их относительную значи мость [47]:

r m D ( x ) a i ( x ) Gi ( x ) b j ( x ) Cj ( x ), (1.3.18) i 1 j где n m ai ( x) b j ( x) 1. (1.3.19) i 1 j Выражение (1.3.18), в сущности, сводит векторный критерий к скаляр ному показателю с помощью образования линейной комбинации компонент векторной функции цели.

Метод анализа иерархий (МАИ) был предложен Т.Саати [141,142] и иногда называется «методом аналитического планирования» [141, 81]. Даль нейшие исследования показали высокую эффективность этого метода [143, 47, 223, 6, 198 и др.]. Общую схему МАИ можно охарактеризовать как «цель – задачи – альтернативы».

Построение иерархии начинается с формулирования проблемы иссле дования. Далее строится собственно иерархия, включая цель, расположенную в ее вершине, промежуточные уровни (признаки, показатели, критерии) и альтернативы, формирующие самый нижний иерархический уровень.

Рис. 1.3.2 Общий вид иерархии На рис.1.3.2. приведен общий вид иерархии, где H – элементы иерар хии (от англ. hierarchy), А – альтернативы. Верхний индекс у элементов ука зывает уровень иерархии, а нижний индекс – их порядковый номер.

На каждом уровне иерархии оценивается множество признаков (част ных критериев), взвешенная сумма которых формирует показатель качества данного уровня. В свою очередь, этот показатель служит одним из признаков более высокого уровня иерархии. Таким образом, иерархическое дерево строится сверху-вниз, а оценки признаков и показателей, наоборот, произво дятся снизу-вверх.

Общее количество уровней иерархии определяется, в основном, двумя факторами: сложностью решаемой проблемы и наличием (или отсутствием) эффективной методики исследования. Так, в экономике для оценки инвести ционной деятельности или в маркетинговых исследованиях требуется боль шое число уровней иерархии. При оценке финансового состояния предпри ятий можно ограничиться всего тремя уровнями, поскольку методика анализа финансовой (бухгалтерской) отчетности и характеристики финансового со стояния весьма тщательно разработана [4, 28, 48, 145, 175 и др.].

Рис. 1.3.3 Иерархия экспертизы финансового состояния предприятий На рис.1.3.3 приведена иерархия экспертизы финансового состояния конкретных предприятий, которые и считаются альтернативами. В качестве второго уровня иерархии приняты основные характеристики финансового состояния: платежеспособность и ликвидность, анализ структуры капитала, оценка степени покрытия запасов источниками их формирования, оценка ве роятности банкротства по системе показателей Бивера или с помощью ско рингового анализа, рентабельность, деловая активность.

Однако использование метода МАИ требует изменений в традицион ную методику анализа финансового состояния, приведенную в упомянутых работах. По существу данного метода, результаты исследования каждой из упомянутых характеристик должны быть представлены в виде одного числа.

На рисунке (см. рис.1.3.3) представлен пример элементов третьего уровня иерархии для анализа структуры капитала (коэффициенты капитализации, обеспеченности СОС, автономии, финансирования, финансовой устойчиво сти). Согласно методу МАИ требуется вместо этих разрозненных коэффици ентов единый обобщенный показатель структуры капитала. Примеры анализа иерархий для оценки финансового состояний предприятий приведены в шес той главе данной работы.

Для установления относительной важности элементов иерархии ис пользуется лингвистическая шкала отношений (табл. 1.3.6). Данная шкала позволяет лицу, принимающему решение, ставить в соответствие степеням предпочтения одного сравниваемого объекта перед другим некоторые числа.

Правомочность этой шкалы доказана теоретически при сравнении со многими другими шкалами. При использовании данной шкалы эксперт, сравнивая два объекта в смысле достижения цели, расположенной на выше лежащем уровне иерархии, должен поставить в соответствие этому сравне нию число (ранг) в интервале от 1 до 9 или обратное дробное значение чисел (табл.1.3.6). Некоторый элемент Vi выбирается в качестве основного (опор j 1,2,..., m, j 1 считаются менее значимыми.

ного), а остальные V j, Недостатком данной шкалы является ее расплывчатость. Сравним оп ределения предпочтительности, данные разными авторами [47, 142] (см.

табл.1.3.2). Поэтому актуальной остается проблема поиска более устойчивой шкалы с меньшим числом градаций, например, пятью.

Таблица 1.3. Лингвистические оценки относительной важности Степень значи- Определение по Определение по мости (ранги) Т. Саати [142] Н.В. Дилигенскому [47] Строго эквивалентны Одинаковая значимость (одинаково значимы) Некоторое преобладание Слабо предпочтительнее значимости одного действия над другим (слабая значи мость) Существенная или сильная Несколько предпочти значимость тельнее Очевидная или очень силь- Значительно предпочти ная значимость тельнее Строго предпочтитель Абсолютная значимость нее Промежуточные значения Промежуточные значе между двумя соседними су- ния важности 2, 4, 6, ждениями Обратные вели- Действию j при сравнении с Оценка сравнения эле чины приведен- действием i приписывается мента j с элементом i ных выше вели- обратное дробное значение имеет обратное значение чин На основе определенных экспертами рангов строится матрица парных сравнений относительной значимости признаков Wс элементами wij Vi V j. При таком определении wij должно выполняться соотношение w ji 1 / wij, т.е. матрица парных сравнений W должна быть обратно симметрической:

1..... w1m w12 w w21..... w2 m 1 w W w31..... w3m. (1.3.20) w32.........................

wm1..... wm 2 wm Вектор коэффициентов относительной важности признаков (вектор приоритетов) имеет вид V V1,V2,...,Vm T и является первым собственным вектором матрицы W, т.е. может быть найден как решение уравнения WV V, где – собственное значение матрицы W [142].

Поскольку человеческие ощущения нельзя выразить точной формулой, то при сравнении нескольких объектов транзитивная (порядковая) и карди нальная (количественная) согласованность могут быть нарушены. Для оцен ки однородности суждений в методе попарных сравнений используется ин декс согласованности ИС или отношение согласованности (однородности суждений) ОС, которым соответствуют следующие выражения:

max 1 ИС ИС ОС ;

, (1.3.21) m 1 СИ где СИ – математическое ожидание индекса согласованности случайным об разом составленной матрицы попарных сравнений W (табл. 1.3.3), max – максимальное собственное значение матрицы W.

Таблица 1.3. Математическое ожидание ИС в зависимости от порядка матрицы Порядок СИ Порядок СИ Порядок СИ матрицы матрицы матрицы 1 0,00 6 1,24 11 1, 2 0,00 7 1,32 12 1, 3 0,58 8 1,41 13 1, 4 0,90 9 1,45 14 1, 5 1,12 10 1,49 15 1, Критерий проверки однородности суждений: ОС 0,10. Если крите рий не выполняется, то это свидетельствует о существенном нарушении ло гичности суждений, допущенных экспертом при заполнении матрицы, по этому эксперту предлагается пересмотреть данные, использованные для по строения матрицы, чтобы улучшить согласованность.

При практическом применении метода анализа иерархий возникает ряд проблем. Во-первых, отмеченная выше расплывчатость лингвистической шкалы, содержащей девять градаций. Необходимо устранить этот недоста ток, возможно, с одновременным переходом к шкале из пяти градаций пред почтений.

Во-вторых, матрица парных сравнений при числе признаков более 5- оказывается плохо согласованной. Дело в том, что в распоряжении эксперта лишь целочисленные оценки рангов (1,3,5,7,9 и их промежуточные значе ния). Для точного согласования требовалось бы применить формулу [142] wij wik wkj, (1.3.22) однако это противоречит «разрешенным» значениям рангов.

Проблема согласованности настолько актуальна, что в отличие от обычного подхода к определению собственных значений и собственных век торов матрицы W, предложенного Т.Саати, имеет место поиск альтернатив ных подходов. В частности, в работах [47, 197, 199, 198] предлагается мини мизировать квадратичную форму, содержащую wij и отношения Vi V j. Бо лее того в работе [198] предлагается целых 18 вариантов упомянутого подхо да.



Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.