авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 |   ...   | 2 | 3 || 5 | 6 |   ...   | 8 |

«Содержание РОССИЙСКАЯ СОЦИОЛОГИЯ В ПОИСКАХ СВОЕЙ ИДЕНТИЧНОСТИ Автор: В. В. РАДАЕВ....................... 2 О СТРАТЕГИИ РАЗВИТИЯ СИСТЕМЫ АТТЕСТАЦИИ КАДРОВ В РОССИИ Автор: В. Ф. ЛЕВИЧЕВА ...»

-- [ Страница 4 ] --

Но, с другой стороны, любая математическая формула, будучи введенной и тем самым "застолбившей" некую до тех пор "расплывающуюся", неоднозначно понимаемую на предшествующем этапе развития науки ситуацию, сразу же становится неким тормозом на пути развития науки. Любое явление бесконечно, а какой бы то ни было любой формализм всегда фиксирует лишь конечную ситуацию. И именно в статье Орженцкого явно говорится о подобной ограниченности коэффициента корреляции, обусловливающей необходимость соблюдения определенной осторожности при его использовании в социологии. И совершенно прав был Кауфман, реагируя на выступ Орженцкий Роман Михайлович (1863 - 1923) - статистик, академик АН УССР. Написал учебник математической статистики (Ярославль: Тип. Губ. правл., 1914. - 165 с), защитив перед этим (в декабре 1912 года) диссертацию на степень доктора политической экономии и статистики "Элементарная теория статистических величин и вычислений" (опубликовано: Киев, 1921) в Петербургском университете. В диссертации Орженцкий рассмотрел применение математических методов при исследовании массовых общественных явлений.

Коффициент, который мы сейчас связываем с именем Пирсона, был введен в науку генетиком (евгеником) Френсисом Гальтоном (1822 - 1911), двоюродным братом Чарльза Дарвина (1809 - 1882), старшим товарищем и учителем Карла Пирсона (1857 - 1936).

Мы полагаем, что математика имеет две ипостаси: "формалистскую" как наука о том, как изучать формальные объекты по четким логическим правилам, и "философскую" как наука о том, как в реальных объектах находить нечто общее, строго его выражать и далее изучать соответствующий формальный конструкт. Правила того, как математика должна реализовывать свою гносеологическую роль, в идеале должна представлять теория измерений.

стр. ление авторов, пропагандирующих рассматриваемый им метод измерения корреляции:

"...Думаю только, что пропагандистам этого метода следовало сначала проработать его критически, наметить и выяснить для самих себя его возможности и пределы рационального его применения, и уже потом выступать со своею пропагандою" [Кауфман, 1916], и можно согласиться с тем, что "ему удалось развить и, может быть, улучшить математическую сторону теоретической части" поиска связей [Маслов, 1921].

Что же происходит с применением методов изучения связи в наше время? Кажется, бытовавшее в среде русских статистиков начала XX в. добросовестное отношение к делу должно многократно возрасти в наше время, благодаря неизмеримо возросшим техническим возможностям "опробовать" ту или иную идею (имеется в виду, конечно, использование социологами компьютеров). Однако... Критицизм в адрес предлагаемых математиками формул среди современных социологов не наблюдается. И еще надо подумать, чего больше в процессе т.н. "информатизации-компьютеризации" общества:

пользы или вреда.

Существует огромное количество реализованных в известных пакетах формул измерения связи. Более того, созданы методы, позволяющие сравнительно близко подойти к анализу "запутанных", сложных причинных структур. Большинство из них или вообще не применяются на практике, или применяются механически, на основе "кнопочной" психологии. Где социологи, подобные А. А. Кауфману, способные с содержательной точки зрения критиковать математические формулы? Где математики, подобные Чупрову, способные профессионально откликаться на запросы социологии? Вероятно, они существуют. Но их очень мало. Это не соответствует тому росту возможностей методного арсенала социолога, который имел место в XX в. Правда, можно возразить, что содержательный анализ моделей, заложенных в простейших коэффициентах корреляции, дело более простое, чем такой же анализ моделей, которые отвечают современным сложным методам. Но, на наш взгляд, это не может служить оправданием. Модели усложнились вследствие того, что современные методы позволяют анализировать более сложные каузальные структуры. И социолог должен научиться в них разбираться. Но профессиональная подготовка социологов обычно не позволяет это делать.

Чем же может объясняться различие уровня методической добросовестности социологов-эмпириков разных поколений? Мы можем высказать только некоторые гипотезы. Они подлежат проверке. А это - своя работа, довольно сложная и мкая. Автор занималась этим в малой степени14. Прежде всего, в наше время огромную негативную роль играет бездумное использование компьютера (мы имеем в виду т.н. "кнопочную психологию": недобросовестность, выражающуюся в бездумном нажимании кнопок на компьютере). Здесь мы видим яркий пример того, как явные плюсы новаций при неадекватном внедрении последних в практику могут переходить в минусы.

Компьютеризация сыграла с использованием в социологии математического языка злую шутку: бытовавшая сто лет назад необычайная добросовестность социологов сменилась гигантским ростом халтуры.

Хотелось бы отметить и еще одно обстоятельство: в среде земских статистиков (а, как мы отмечали, именно эта среда была "законодательницей мод" в смысле разработки методологии статистических исследований) господствовало желание "служить народу".

Это желание естественным образом определяло повышенную добросовестность в проведении исследования. И это тесно коррелировало с общим высоким моральным обликом ученых: они нередко выступали на темы, не одобряемые высшим руководством страны;

весьма щепетильно относились к качеству собственных публикаций.

Надо сказать, что отечественной эмпирической социологии конца XIX - начала XX в. в нашей литературе уделяется крайне мало внимания. Даже в книгах, специально посвященных рассмотрению эмпирических исследований, речь идет только о западной социологии. По поводу земской статистики, насколько нам известно, вообще опубликовано крайне мало работ (нам известны лишь несколько статей в журнале "Социологические исследования").

стр. Вот что сказал о работе земских статистиков Н. А. Каблуков: "...Собранный материал является результатом не просто формального исполнения принятых обязанностей, не результатом простого заполнения отдельных параграфов опросного листа. Нет, это есть обыкновенно результат исследования, за которое статистик брался для того, чтобы самому себе выяснить то, что происходит в недрах народной жизни;

в материал этот, так сказать, вложена была частица жизни самого исследователя. Собирание его, впечатления, полученные и пережитые при этом, - все это стоило многих бессонных ночей и тех неудобств, понятие о которых может иметь только тот, кому приходилось сплошь недели, а иногда и месяцы ночевать в избах, где вместе с людьми спали телята, овцы, коровы, питаться, чем придется и, так сказать, на самом себе пережить, перечувствовать всю неприглядность условий жизни населения, несущего эти тяготы не недели и месяцы, а всю жизнь" [Каблуков, 1918: 249 - 250].

О высоком моральном облике ведущих земских статистиков говорит целый ряд фактов.

Так, Ю. Э. Янсон [Янсон, 1877] пришел к выводу о том, что полученный крестьянами надел не обеспечивает быта крестьян;

платежи и повинности за землю в среднем гораздо выше дохода, получаемого от наделов, и т.д. Эта работа была предназначена для прочтения на акте Санкт-Петербургского университета 8 февраля 1877 г., но прочитана не была, так как найдена не совсем удобной "по своей обширности и по самому характеру выводов". Подобные инциденты встречались довольно часто. Несмотря на это, земские статистики продолжали добросовестно работать, что, естественно, вызывает уважение.

Косвенным подтверждением добросовестности работы русских земских статистиков, их высокого морального уровня может служить отношение к публикации собственных трудов. Нередки примеры того, что работы, получившие в конце концов высокую оценку у специалистов, их авторы долго не решаются опубликовать из-за критического отношения к своим результатам (публикуют только через несколько лет после написания и маленьким тиражом, а широкая публикация иногда осуществляется уже после того, как автор уходит из жизни);

несмотря на уговоры научной общественности и студентов, категорически возражают против переиздания без исправления наличествующих в уже изданном варианте опечаток и т.д. (Ю. А. Янсон, А. И. Чупров, Н. А. Каблуков). Всегда ли мы следуем этим принципам?

СПИСОК ЛИТЕРАТУРЫ:

Блюм А., Меспуле М. Бюрократическая анархия: статистики и власть при Сталине. М.:

Российская политическая энциклопедия, 2008.

Гурьев А. А. Происхождение выборочного исследования и первые его опыты в России // Вестник статистики. 1921. N 1 - 4.

Давыдов Ю. Н. Макс Вебер и современная теоретическая социология. М.: Мартис, 1998.

Каблуков Н. А. Статистика. Теории и методы статистики. Основные моменты ее развития.

Краткий очерк народонаселения. М., 1918.

Кауфман А. А. Корреляционные формулы как орудие статистического анализа // Статистический вестник. Кн. 3. 1914 - 1915.

Кауфман А. А. Еще к вопросу о значении корреляционных формул как орудия статистического анализа: (По поводу статей проф. А. В. Леонтовича, проф. Р. М.

Орженцкого и И. А. Сабанеева). М.: Т-во печатня СП. Яковлева, 1916.

Кауфман А. А. Автобиография // Вестник статистики. 1921. N 5 - 8.

Ленин В. И. Новые хозяйственные движения в крестьянской жизни // ПСС. Т. 1. М.: ОГИЗ, гос. изд-во политич. литературы, 1941. С. 3 - 58.

Мамин-Сибиряк Д. Н. Письмо А. С. Маминой // Собр. соч. в восьми томах. Т. 8. М.: Гос.

изд-во художественной литературы, 1955.

Макаров И. Предисловие к автобиографии А. А. Кауфмана. URL:

http://demoscope.ru/week-ly/2004/0179/nauka02.php Миллс Ч. Р. Социологическое воображение. М.: ИД NOTA BENE, 2001.

Пешехонов А. В. Статистическое описание Калужской губернии. Калуга, 1898.

Постников В. Е. Южно-русское крестьянское хозяйство. М., 1891.

стр. Сорокин П. А. Русская социология в XX веке // Социология в России XIX - начала XX вв.

Вып. 1. С. 139 - 148. Перевод статьи: Sorokin P.A. Russian sociology in the twentieth century // American Journal of Sociology. 1927. Vol. 31. P. 57 - 69.

Толстова Ю. Н. Вероятностные и невероятностные модели порождения данных в социологии// Математическое моделирование социальных процессов. Вып. 12 - 13. М.:

Спутник+, 2012. С. 139 - 153.

Чупров А. А. Нравственная статистика // Брокгауз Ф. А. (Лейпциг), Ефрон И. А. (СПб.).

Энциклопедический словарь. Т. XXI. С. - Петербург: Типолитография И. А. Ефрона, 1897.

С. 403 - 408.

Чупров А. А. О приемах группировки статистических наблюдений // Известия Санкт Петербургского политехнического института. 1904. Т. 1. Вып. 1 - 2.

Чупров А. А. Выборочное исследование в ЦСУ СССР // Вопросы статистики. М.:

Госстатиздат, 1960. С. 258 - 270.

Янсон Ю. Э. Опыт статистического исследования о крестьянских наделах и платежах. С. Петербург: Тип. М. Стасюлевича, 1877.

Science in Context. 2002. V. 15. N 3.

Zarkovitch S.S. Note on the history of sampling methods in Russia // Journal of the Royal statistical of society. Series A. 1956. Vol. 119. P. 336 - 338.

стр. ВЗАИМОДЕЙСТВИЕ СОЦИОЛОГИИ И МАТЕМАТИКИ:

Заглавие статьи ЭПИСТЕМОЛОГИЧЕСКИЕ ПЕРСПЕКТИВЫ Автор(ы) А. К. КОЛЕСНИКОВ, И. П. ЛЕБЕДЕВА Источник Социологические исследования, № 7, Июль 2013, C. 69- Методология и методы социологических исследований Рубрика Место издания Москва, Россия Объем 36.2 Kbytes Количество слов Постоянный адрес http://ebiblioteka.ru/browse/doc/ статьи ВЗАИМОДЕЙСТВИЕ СОЦИОЛОГИИ И МАТЕМАТИКИ:

ЭПИСТЕМОЛОГИЧЕСКИЕ ПЕРСПЕКТИВЫ Автор: А. К. КОЛЕСНИКОВ, И. П.

ЛЕБЕДЕВА КОЛЕСНИКОВ Андрей Константинович - кандидат физ. - мат. наук, профессор, ректор Пермского государственного гуманитарно-педагогического университета (E-mail:

andrei.kolesnikov2013@yandex.ru);

ЛЕБЕДЕВА Ирина Павловна - доктор педагогических наук, профессор философско-социологического факультета Пермского национального исследовательского университета (E-mail: kafmos2011@yandex.ru).

Аннотация. Обсуждаются проблемы методологии социального исследования с применением математического аппарата. В качестве основы предлагается использовать взаимосвязь эмпирической и теоретической социологии с целью обеспечения интеграции содержательного (качественного) и формального (количественного) подходов. В роли средства такой интеграции рассматривается структурно-количественный анализ предмета исследования, который предполагает иерархическое упорядочение социальных связей и отношений и их теоретически обоснованное представление в количественной форме с учетом многомерности и многоуровневости социологического знания. Предложена схема комплексного анализа эмпирических данных с помощью статистических методов, ориентированная на выявление причинно-следственных отношений между социальными процессами.

Ключевые слова: статистические методы * структурно-количественный анализ * моделирование * социальное исследование Постановка проблемы. Одной из характерных тенденций развития современной науки является математизация, которая имеет следующие формы (уровни): количественный анализ и количественная формулировка качественно установленных фактов, обобщений и законов конкретных наук;

построение специальных математических моделей и создание особых разделов математизируемой науки;

использование логических и математических методов для построения и анализа конкретных научных теорий, в частности, их языка.

стр. Каждая из этих форм предполагает определенную степень слияния языка предметной области знания и математического языка, создавая возможность конструктивного взаимодействия математики с другими науками. В социальных науках это взаимодействие значительно скромнее, чем в естественных, в силу слабой формализуемости изучаемых процессов. Действительно, явления общественной жизни настолько сложны и разнообразны, что выделить в них нечто общее, позволяющее перейти от эмпирического к теоретическому уровню осмысления, достаточно трудно. Однако рассмотрение социологического исследования с этой позиции актуализирует проблему не только описания явлений общественной жизни, но и их объяснения и предсказания [Tacq, 2011].

В результате расширяется круг социологических задач и повышается их сложность. Они становятся комплексными и многоаспектными, отражая с разных сторон специфику предмета социологии как науки. Успешность их решения в значительной мере определяется целесообразностью сочетания содержательного (качественного) и формального (количественного) подходов на каждом этапе социологического исследования.

Поскольку в настоящее время социология представляет собой сложную совокупность идей, гипотез, концепций, методов исследования и способов описания социальных реалий, то поиск оптимального сочетания указанных подходов неразрывно связан с разработкой методологии социологического исследования, раскрывающей пути эффективного применения математического аппарата. В ее рамках выделяются:

методология математической формализации, методология анализа данных и методология математического моделирования [Татарова, 1998;

Толстова, 1990].

Содержательным началом разработки такой методологии могут служить идеи, которые включаются в качестве активного элемента в любое социологическое исследование, преломляя в себе взаимосвязь эмпирической и теоретической социологии. В соответствии с принципами эмпирической социологии, формирование которой часто рассматривают как естественно-научную ориентацию в структуре социологического знания, его получение должно быть доказательно и последовательно построено на основе использования эмпирических данных.

Теоретическая социология, в частности структурно-функциональная теория (Т. Парсонс, Р. Мертон), предлагает обобщенные концептуальные схемы, ориентированные на причинное объяснение имевших место конкретных явлений или процессов и предсказание будущих событий;

получение обобщенного аналитического знания законов (закономерностей), которые могут быть приложены к бесконечному ряду конкретных случаев с использованием знания о фактах.

Таким образом, интеграция содержательного и формального подходов в социологическом исследовании индуцируется отношениями эмпирической и теоретической социологии. В этой связи представляется перспективным в качестве методологического инструментария интеграции данных подходов использовать структурно-количественный анализ, поскольку он играет важную роль в поиске закономерностей развития социальных явлений и предполагает теоретически обоснованное использование математико статистических методов с учетом логики научного исследования, многомерности и многоуровневости социологического знания. В соответствии с ним на каждом этапе исследования необходимо иерархическое упорядочение основных связей и отношений социальной системы и их целесообразное представление в количественной форме.

Понятие о структурно-количественном анализе в социальном исследовании.

Выделим основные элементы структурно-количественного анализа.

1. Построение структурной модели предмета познания как основы его формализации. В качестве формальной модели часто рассматривают функциональные (метрические) модели, фиксирующие определенные количественные отношения между параметрами изучаемой системы. Методы структурного моделирования позволяют упростить этот переход за счет исследования внутренней структуры рассматриваемого объекта, изучения свойств отдельных элементов и связей между ними. В ре стр. зультате раскрывается качественная сторона исследуемых явлении на основе сравнения, упорядочения, выбора или предпочтения и т.д. их структурных характеристик. Сложность социальных явлений приводит к многоуровневым структурным моделям с различной иерархией элементов, которую необходимо учитывать в процессе количественного анализа данных и построения функциональных моделей.

2. Комплексное применение математических методов в соответствии с разработанной стратегией. Для решения социологической задачи, как правило, допустимо применение различных математических методов, каждый из которых раскрывает различные аспекты интерпретации полученных результатов. Это приводит к неоднозначности их обоснований и возникновению проблемы определения условий, обеспечивающих истинность полученного знания.

3. Установление непротиворечивости интерпретаций результатов анализа эмпирических данных с использованием математических методов и их согласованности с социальной реальностью.

Роль структурно-количественного анализа в выявлении причинно-следственных отношений. Наибольший теоретический и практический интерес структурно количественный анализ представляет с позиции возможности установления причинно следственных отношений между социальными явлениями. Рассматривая их, важно иметь в виду, что множество случайных факторов, действующих на социальную систему, создают значительную неопределенность в ее функционировании и являются нелинейными и сложными. Стохастическая природа этих факторов и слабая формализуемость социальных явлений вынуждают учитывать эпистемологические аспекты их изучения, относящиеся к корректности применения математического аппарата, оценке адекватности полученных моделей, однозначности интерпретаций и т.д.

Возникает необходимость обеспечения условий получения объективного знания. В частности, они могут быть связаны с применением комплекса статистических методов, последовательно реализующих выбранную или специально разработанную стратегию исследования. Ее полезно зафиксировать в виде схемы, отражающей последовательность обработки эмпирических данных и возможности их вариации с учетом предшествующих результатов анализа.

В процессе реализации подобной схемы обращают на себя внимание следующие проблемы: выполнение сложной группировки объектов по совокупности количественных (или качественных) признаков или их типологизация;

выявление иерархии связей между ними;

обоснование причинно-следственных отношений для факторов и результативных признаков.

Способ решения указанных проблем с помощью математических методов в значительной мере определяется характером данных и экспериментальным планом: типом шкалы, в которой измерены показатели;

видом распределения признака (при выборе параметрических или непараметрических методов), количеством сравниваемых групп и объемом выборки. Специфика многих социальных явлений предполагает широкое применение непараметрических методов. А это означает, что построение метрических моделей или проведение многомерного анализа данных с целью объяснения причинно следственных отношений становится практически невозможным в силу математических ограничений. Поэтому, формируя комплекс показателей и определяя способы их измерения, важно изначально представлять возможности применения математических методов, их роль в решении поставленных задач и проверке гипотез.

Сохраняя общую логику применения математического аппарата, можно допускать определенные вариации в процессе применения конкретного математического метода в зависимости от структуры данных и специфики решаемых задач. Так, на начальном этапе исследования, как правило, проводится структурирование полученной информации (как наблюдений, так и переменных) с помощью специальных методов группировки и классификации (кластерного, дискриминантного, факторного анализа и т.д.). Огромное количество соответствующих алгоритмов неизбежно приводит к неод стр. нозначности результата, о непротиворечивости которого трудно судить на начальном этапе исследования. Осуществляя выбор варианта классификации, можно надеяться на получение фактов, представляющих научную и практическую ценность. Например, естественно предположить, что в процессе анализа будет получена полезная информация о различиях в значениях показателей или структуре их взаимосвязей в разных группах.

Если различия в определенных показателях (средних значениях, дисперсии, процентной доли и т.д.) могут быть установлены с помощью статистических критериев, то для их объяснения необходимо соотнести полученные результаты с условиями проведения эксперимента или продолжить анализ данных.

При рассмотрении трех и больше выборок целесообразно применение дисперсионного анализа, который предусматривает оценку влияния качественных признаков на количественные переменные. С помощью дисперсионного анализа изучают изменчивость признака (например, мнений) под влиянием контролируемых факторов (ценностных ориентации, категорий социальных групп, форм их взаимодействия и т.д.). Наиболее интересен вариант многофакторного дисперсионного анализа, позволяющий учитывать влияние не только отдельных факторов на зависимую переменную, но и оценивать эффект их взаимодействия. Влияние факторов, как правило, связывают с организацией эксперимента (или делают допущение о причинно-следственных отношениях), а интерпретацию этого влияния - с экспериментальным планом.

Однако социологические данные могут не позволить применять данный метод. Тогда возможно применение непараметрических методов (критериев), с помощью которых информацию о характере влияния фактора уже не удастся получить. Это не позволяет рассматривать результаты исследования как окончательные. Они могут служить основой для формирования более конструктивных научных гипотез.

Дальнейший анализ данных может быть связан с установлением меры связи между переменными. Речь идет о корреляционном анализе, на основании результатов которого можно выдвинуть гипотезы о причинно-следственных отношениях. Они формулируются не только в процессе анализа парных связей, но и всей совокупности взаимосвязей между показателями, в соответствии с которыми может быть скорректирован следующий этап математической обработки данных. Установление меры связи является необходимым, но не достаточным условием для формирования гипотезы о причинно-следственных отношениях, поскольку необходимо учесть множество факторов, определяющих данную связь. А это возможно только в рамках реализации содержательного подхода, в частности с учетом характеристик различных классов (групп), выделенных на предыдущем этапе исследования. Выдвинуть гипотезы о причинно-следственных отношениях помогает построение корреляционных плеяд, структура которых соотносится с определенным типом связи. Учитывая его, можно выбрать целесообразный метод дальнейшего анализа данных. Например, в случае связи типа "сетка" (все переменные тесно связаны друг с другом) применяют факторный анализ с целью поиска латентных факторов (формирование новой гипотезы или подтверждение существующей). Большая субъективность в выборе методов факторного анализа и интерпретации выделенных факторов вынуждает последовательно проводить эксплораторный и конфирматорный факторный анализ с проверкой устойчивости выявленных факторных структур.

Указанные виды анализа данных связаны с простейшей формой математизации научного знания, которая не соответствует уровню развития современной социологической науки, стремящейся не только к описанию и фиксированию количественных отношений в социальных процессах, но и проникновению в их глубинную сущность, прогнозированию развития социальных систем.

Математическое моделирование и структурно-количественный анализ. Более сложным и перспективным в плане структурно-количественного анализа предмета исследования является построение математических моделей. Очевидно, что класс социальных задач, для которых целесообразно их получение, ограничен. Однако если такие задачи поставлены, то для их решения может подходить применение регрес стр. сионного анализа. Регрессионные модели представляют собой аналитическую форму представления причинно-следственных отношений. При построении модели делают ряд статистических предположений. Их истинность часто остается под вопросом. Поэтому уместным вопросом будет не "идеально ли модель согласуется с данными", а "согласуется ли она достаточно хорошо, чтобы получить новую информацию об объекте исследования, объяснить структуру данных и быть полезной для практического применения"? Идеальное соответствие модели данным не означает, что она верна. Можно построить другие модели, так же хорошо согласуемые с исходными данными. Возникает проблема правильной интерпретации, определения научной и практической ценности полученной модели и возможностей прогнозирования на ее основе.

Учитывая сложную взаимообусловленность использования математических методов, необходимость их адекватного соотнесения с условиями эксперимента или наблюдения, схема комплексного анализа данных по своей сути является иерархической. Обозначим некоторые подходы к построению этой иерархии. 1. В процессе проведения регрессионного анализа использование в качестве зависимой переменной или независимых переменных факторов, выделенных в результате факторного анализа.

Причем смысл этих факторов может быть разный: интегрированные или латентные переменные. 2. Построение систем регрессионных уравнений, отражающих многоаспектность исследуемого объекта. 3. Сопоставление регрессионных уравнений одного и того же вида в разных выборках или для разных условий. При этом сравниваются не сами коэффициенты регрессии, а их соотношения. 4. Получение факторов второго порядка с помощью факторного анализа. 5. Учет иерархии взаимодействия факторов в многофакторном дисперсионном анализе и т.д.

Анализ иерархии структуры исследуемого явления и многоуровневое моделирование с целью поиска причинно-следственных отношений относится к предпосылкам использования техники моделирования структурными уравнениями. Одной из ключевых идей, положенных в основу такого моделирования, является изучение эффекта аддитивных и мультипликативных преобразований. Смысл заключается в том, что можно проверить, связаны ли переменные линейной зависимостью, изучая их дисперсии и ковариации. Латентный аспект таких переменных учитывают структурные уравнения, которые позволяют не только получить информацию о степени эмпирической связи между переменными, но и провести исследование причинных связей при данном эмпирическом объединении. Предварительно проводят анализ причинных связей с помощью диаграмм путей. При выполнении определенных условий для их аналитического выражения используются линейные уравнения регрессии. Однако требует обоснования целесообразность применения линейных моделей.

Если полезной для исследователя информации в результате использования комплекса математических методов получить не удалось, то нужно вернуться к анализу данных.

Проблема может сводиться к их структурированию, которое не является однозначным. На начальном этапе исследования возникающая из-за этого субъективность классификаций сказывается на результатах, полученных на последующих этапах анализа. Тогда разумно реализовать их повторно для альтернативного варианта структурирования эмпирических данных.

Таким образом, структурное моделирование в научном исследовании выполняет разные функции: 1. Представление иерархии связей в концептуальной модели;

2. Упрощение перехода от содержательной к математической постановке задачи;

3. Выявление смысла количественных соотношений;

4. Фиксирование и упорядочение причинно-следственных отношений.

Эти функции рассматриваются в комплексе, и в зависимости от этапа применения математико-статистических методов приоритетной является одна из них. Так, на начальном этапе представление концептуальной модели в виде структурной модели может служить основой для разработки схемы математической обработки эмпирических данных. Причем в ней важно в полной мере отразить иерархию связей, зафиксированную в структурной модели. На следующих этапах применения этой схемы стр. структурно-количественный анализ при разумной интеграции с различными методами социологического исследования является эффективным инструментом реализации содержательных идей, проверки научных гипотез и поиска научных фактов, "не лежащих на поверхности".

Пример выполнения структурно-количественного анализа в социальном исследовании. Приведем пример предпринятого исследования [Колесников, 2012] удовлетворенности потребителей образовательной услугой как составной части исследования проблемы измерения ее качества. Базовая модель европейского индекса удовлетворенности потребителя (ECSI) представляет собой структурную модель с латентными переменными. В результате подсчитывается индекс удовлетворенности, значения которого находятся в пределах от - 1 до + 1.

Данный подход к измерению удовлетворенности потребителей может быть реализован по отношению к образовательной услуге. Ее свойства, представляющие интерес для обучаемого, выделены отдельно для условий, процесса и результата оказания услуги и представлены в виде 11 блоков 40 вопросов. Они соотнесены со всеми основными компонентами образовательного процесса: целевым, содержательным, стимулирующе мотивационным, операционально-деятельностным, контрольно-регулировочным, рефлексивным. Тем самым достигается полнота описания образовательной услуги, которое в рамках данного исследования рассматривается как элемент общей концептуальной модели измерения ее качества. Целостное представление об этой концепции дают две построенные нами структурные модели, отражающие иерархию взаимосвязей показателей качества образовательной услуги между собой и с ее эффективностью, а также динамику их формирования (т.е. временной фактор).

Учитывая данные модели, можно сделать более обоснованные предположения о характере причинно-следственных отношений между показателями качества образовательной услуги. В отношении удовлетворенности потребителей образовательной услугой поиск причинных связей предусматривается общей схемой анализа эмпирических данных. В ней выделены три этапа.

I. Установление различий. 1) Типологизация потребителей. 2) Вычисление индекса удовлетворенности для каждого типа потребителей. 3) Сравнение средних значений показателей по отдельным факторам удовлетворенности и по их отдельным блокам, характеризующим "условия", "процесс", "результат". 4) Сравнительный анализ показателей удовлетворенности по отдельным группам потребителей.

II. Выявление связи. 5) Оценка степени согласованности мнений потребителей в целом по исследуемой совокупности и по отдельным группам. 6) Оценка степени согласованности показателей удовлетворенности исполнением услуги и оценок ее важности. 7) Соотнесение показателей удовлетворенности исполнения услуги с оценками лояльности потребителя.

III. Причинный анализ. 8) Факторный анализ показателей удовлетворенности с целью выявления латентных факторов, определяющих их взаимосвязи. 9) Многофакторный дисперсионный анализ для оценки влияния характеристик потребителей на показатели их удовлетворенности (или выделенные латентные факторы с помощью факторного анализа).

Углубить представления о причинно-следственных отношениях можно было бы с помощью техники моделирования структурными уравнениями в процессе сопоставления выявленных факторов с различными характеристиками качества образовательной услуги.

В результате анализа данных анкетирования можно сделать выводы о: 1. Достоинствах и недостатках конкретной образовательной программы или их комплекса. 2. Особенностях предпочтений разных групп потребителей. 3. Роли выявленных латентных факторов удовлетворенности в целом по совокупности и по отдельным группам потребителей. 4.

Влиянии разных факторов на показатели удовлетворенности. 5. Факторах, определяющих лояльность потребителя.

стр. Для некоторых видов обучения, например, повышения квалификации, предполагающей изучение программы конкретной учебной дисциплины, необходим анализ одной (простой) образовательной услуги. При обучении в вузе, как правило, студент получает комплекс простых образовательных услуг. Тогда целесообразно проведение однофакторного дисперсионного анализа для установления влияния фактора "Учебная дисциплина" на характеристики, отражающие свойства образовательной услуги.

Приведем в качестве примера результаты анкетирования студентов первого курса психологического факультета одного из вузов г. Перми. После сдачи экзамена им предлагалось оценить по указанной шкале исполнение услуги (соответствие ожиданиям) и ее важность для трех учебных дисциплин: "Математика", "Физиология", "Общая психология". Для каждой из них подсчитывался индекс удовлетворенности. Он оказался положительным для всех учебных дисциплин, однако от нуля отличается мало, и его значения для разных дисциплин также мало отличаются. Это означает, что в целом исполнение образовательной услуги чуть выше ожидаемого.

Если рассматривать отдельную образовательную услугу, то представляет интерес ее анализ по факторам. Для указанных трех образовательных услуг такое сравнение выполнено с помощью однофакторного дисперсионного анализа для средних значений указанных факторов. По всем факторам в этих показателях для данных дисциплин различия не выявлены. Заметим, что в случае их обнаружения необходимо проведение дальнейшего анализа результатов, поскольку различия в средних могут быть связаны либо с положительным, либо с отрицательным эффектом оказания образовательной услуги (если учесть знак индекса удовлетворенности).

Кроме того, представляют интерес взаимосвязи между полученными факторами, особенно со стоимостью услуги и имиджем образовательного учреждения. Для оценок этих двух характеристик исполнения услуги значимых связей не выявлено, а для оценок важности услуги обнаружены значимые прямые связи с некоторыми факторами, относящимися к процессу оказания услуги. Подобные взаимосвязи отражают субъективные представления потребителей, которые могут существенно расходиться с реальным образовательным процессом. Как свидетельствуют оценки исполнения услуги, он не соотносится обучаемыми с имиджем образовательного учреждения и стоимостью услуги.

Наличие достаточно большого спектра взаимосвязей между исследуемыми параметрами вызывает необходимость проведения факторного анализа с целью выявления скрытых причин (латентных переменных-факторов), детерминирующих эти взаимосвязи. Для оценок исполнения услуги для данной выборки обучаемых выделен один общий фактор и значимые прямые взаимосвязи с характеристиками содержания образовательной услуги, доступности его изложения, психологического комфорта в процессе взаимодействия обучаемых с преподавателем и разнообразия видов деятельности обучаемых. Структура данного фактора свидетельствует о тех составляющих образовательной услуги, которые определяют удовлетворенность ею студентами первого курса. Можно интегрировать суть взаимосвязей этого фактора с переменными, обозначив его как "содержательно деятельностный компонент образовательного процесса".

В конечном итоге необходимо соотнести удовлетворенность потребителя с его лояльностью, которая оценивается по шкале наименований. Можно сделать вывод, что данную выборку обучаемых удовлетворяет как образовательное учреждение в целом, так и конкретные образовательные услуги.

В другой выборке студентов факультета информатики и экономики результаты анализа удовлетворенности образовательной услугой оказались другими. Например, в ходе дисперсионного анализа установлено влияние фактора "Учебная дисциплина" на все показатели исполнения услуги кроме "Стоимость", "Имидж образовательного учреждения". Причем характер этого влияния отличается для различных показателей удовлетворенности. Для целостного представления результатов дисперсионного анализа в данном случае целесообразно интегрировать показатели по всем характе стр. ристикам, отражающим процесс предоставления образовательных услуг. Тогда возникает интересное сопоставление влияния фактора "Учебная дисциплина" отдельно на каждую из интегрированных характеристик: "Ресурсы", "Процесс", "Результат". Учитывая результаты апостериорного сравнения средних, можно обозначить направления совершенствования образовательного процесса в вузе.

В ходе анализа выявлены факторы, детерминирующие корреляционные связи между указанными характеристиками. Структура данных факторов, причем отличающаяся для разных дисциплин, позволяет соотнести их с основными компонентами образовательного процесса и раскрыть тем самым определенные механизмы возникновения удовлетворенности потребителей образовательной услугой.

Таким образом, используя даже такие краткие сведения, можно наметить программу повышения эффективности адресной работы с потребителями образовательных услуг. А если учитывать все результаты анализа по приведенной выше схеме, то показатели удовлетворенности студентов отдельной образовательной услугой и в целом комплексом услуг для конкретного профиля подготовки могут быть рассмотрены в следующих аспектах: методическом (совершенствование программы обучения преподавателем);

дидактическом (коррекция образовательного процесса);

управленческом (использование в системе менеджмента качества образования);

социально-экономическом (повышение эффективности взаимодействия образовательного учреждения как поставщика образовательной услуги с ее потребителями).

Однако в данном случае представляет интерес сама процедура обработки данных, ее вариативность, открывающая возможность расширения и углубления их анализа не только за счет более детального рассмотрения полученных результатов, но и дополнительного структурирования показателей на каждом этапе анализа. Можно сказать, что исходная схема анализа данных порождает разнообразие других схем в зависимости от предшествующих результатов. В теоретическом плане представляет интерес возникновение этого разнообразия. Для практики важно зафиксировать все его варианты и дать рекомендации по их интерпретации.

В процессе реализации указанной схемы анализа эмпирических данных нельзя оставить без внимания некоторые аспекты, связанные с корректностью использования математического аппарата: 1. Адекватность отражения в полученных характеристиках сути изучаемого явления (адекватность должна обеспечиваться благодаря концепции исследования и качеству используемой методики измерения). 2. Выполнение математических ограничений при использовании параметрических методов:

дисперсионного, корреляционного и факторного анализа (при невыполнении ограничений - применение альтернативных непараметрических методов). 3. Разумное сочетание параметрических и непараметрических методов, и следовательно, вариативность интерпретаций результатов анализа эмпирических данных.

Перспективы взаимодействия математики и социологии. Рассматривая роль математики в социологии, естественно поставить вопрос о наличии предпосылок появления такой дисциплины, как "математическая социология". Тенденция к ее созданию оформилась в рамках эмпирической психологии (П. Лазарфельд, Г. Карлссон, Г. Саймон, Б. Ф. Грин, Л. Гуттман и др.). Однако контуры математической социологии, по мнению многих исследователей, как отдельной научной дисциплины пока трудно очертить.

Тесное переплетение методов социологии и математики неизбежно приводит к обогащению и самой математики, в частности, ее прикладных задач. Анализ связи этих наук позволяет поставить вопрос и о целесообразности выделения социологической математики, поскольку круг математических задач, возникших в результате социальных исследований, достаточно широк. Их можно соотнести с ветвями математики, которые появились именно благодаря таким исследованиям: теорией средних величин, теорией корреляции, теорией измерений, теорией графов и основанной на ней теорией социальных сетей, теорией нечетких множеств, многомерным шкалированием, латентно-структурным анализом. Необходимость более гибкого применения стр. математических методов в социологии привела к широкому оперированию на практике введенных математиком Арнольдом понятий "мягкой" и "жесткой" моделей. Причем "мягкое" моделирование на сегодняшний день занимает все более прочные позиции в исследовании социальных систем.

Таким образом, наряду с уже сложившимися традициями в использовании математического аппарата в социологии, можно обозначить и некоторые перспективы ее взаимодействия с математикой, значительно расширяющие горизонты социальных исследований и обогащающих математику прикладными задачами: 1) реализация современных методологических подходов при разработке стратегий анализа эмпирических данных;

2) формирование сложных экспериментальных планов, требующих специального иерархического структурирования математических методов;

3) комплексное применение не только самих методов, но и альтернативных схем анализа эмпирических данных с учетом неопределенности (или неоднозначности) интерпретаций, возникающей на каждом этапе их реализации;

4) прогнозирование развития социальных явлений и процессов на основе применения параметрических и непараметрических математико статистических моделей.

Взаимодействие математики и социологии в обучении студентов. Учитывая разнообразие используемых в социологии математических методов, возникает потребность в обучении владению ими студентов-социологов. Однако изучение всего спектра математических методов, включая их компьютерные реализации, невозможно предусмотреть в учебном плане. Поэтому необходимо выделить тот аспект их применения, который наиболее востребован в профессиональной деятельности. Он связан, во-первых, с разработкой продуктивных схем применения математического аппарата при решении основных типов социологических задач;

во-вторых, с возможностью проведения собственного профессионального поиска, способностью решения исследовательских задач и самостоятельным обогащением научно-методологического инструментария.

Поэтому целесообразно выделить инвариантную составляющую профессиональной подготовки, предполагающую обязательное овладение простейшими методами обработки социологических данных и построения математических моделей социальных явлений, и вариативную часть, ориентированную на определенную специализацию и повышение научно-исследовательской компетенции студентов. Каждый вуз имеет возможность формирования собственной стратегии подготовки, используя свой научный потенциал.

Возникающий междисциплинарный синтез математических и социологических методов может представлять интерес и для студентов, изучающих прикладную математику.

Богатство подходов, используемых в социологическом исследовании, сложность и непредсказуемость социальных явлений создает поле для реализации многих математико статистических идей, которые могут быть предусмотрены в подготовке специалистов по математике в виде отдельных специализаций или направлений научного исследования.

Таким образом, системный синтез идей и методов математики и социологии, преломляемый в плоскость решения важных социальных задач, открывает широкие возможности для эффективного научного поиска как профессиональным социологам и математикам, так и студентам, готовящимся ими стать.

Выводы. 1. Богатство возможных вариантов взаимодействия математики и социологии предполагает разработку специальной методологии применения математического аппарата в социальном исследовании;

2. Такая методология должна быть направлена на решение эпистемологических проблем, связанных с корректностью применения математического аппарата, оценкой адекватности полученных моделей, непротиворечивостью их интерпретаций и т.д.;

3. Основой данной методологии является интеграция содержательного (качественного) и формального (количественного) подходов, индуцируемая взаимосвязью эмпирической и теоретической социологии;

4. Эффективным инструментом указанной интеграции может служить структурно стр. количественный анализ предмета исследования, в основе которого - иерархическая взаимосвязь структурного и функционального моделирования;

5. Важную роль структурно-количественный анализ выполняет в выявлении причинно-следственных отношений за счет разработки специальных иерархических схем комплексного применения статистических методов в социальном исследовании;

6. Целесообразная вариация таких схем способствует обеспечению условий для решения эпистемологических проблем, возникающих в процессе применения математического аппарата;

7. Многоуровневое моделирование как более совершенная форма математизации социологического знания предполагает выполнение в комплексе различных функций структурных (неметрических) и функциональных (метрических) моделей в научном исследовании;

8. Практическая реализация структурно количественного анализа приводит к необходимости разработки специальной стратегии применения математического аппарата в связи с возникновением многообразия вариаций схемы обработки эмпирических данных.

СПИСОК ЛИТЕРАТУРЫ Колесников А. К. Образовательные услуги высшей школы: концепция измерения качества // Проблемы теории и практики управления. 2012. N 5. С. 73 - 82.

Татарова Г. Г. Методология анализа данных в социологии. М., 1998.

Толстова Ю. Н. Методология математического анализа данных // Социол. исслед. 1990.

N6. С. 77 - 87.

Tacq J. Causality in Qualitative and Quantitative Research // Quality & Quantity. Vol. 45. N2.

2011. P. 263 - 291.

стр. ТЕХНИКА "НЕПАРНЫХ ЧИСЕЛ" (АНАЛИТИЧЕСКИЙ ОБЗОР Заглавие статьи ЗАРУБЕЖНЫХ ИССЛЕДОВАНИЙ) Автор(ы) А. Ю. МЯГКОВ Источник Социологические исследования, № 7, Июль 2013, C. 78- Методология и методы социологических исследований Рубрика Место издания Москва, Россия Объем 38.7 Kbytes Количество слов Постоянный адрес http://ebiblioteka.ru/browse/doc/ статьи ТЕХНИКА "НЕПАРНЫХ ЧИСЕЛ" (АНАЛИТИЧЕСКИЙ ОБЗОР ЗАРУБЕЖНЫХ ИССЛЕДОВАНИЙ) Автор: А. Ю. МЯГКОВ МЯГКОВ Александр Юрьевич - доктор социологических наук, профессор, заведующий кафедрой социологии Ивановского государственного энергетического университета (E mail: myagkov@sociol.ispu.ru).

Аннотация. Дается описание техники "непарных чисел" (UCT- unmatched count technique), предназначенной для повышения достоверности ответов респондентов на сенситивные вопросы и получившей популярность в зарубежной исследовательской практике. Анализируется нормативное содержание данной техники, ее организационно-методические, процедурные и статистические особенности.

Предлагаются рекомендации по повышению эффективности ее применения.

Ключевые слова: техника "рандомизированного ответа" (RRT) * техника "непарных чисел" (UCT) * сенситивные вопросы * субъективная анонимность * искренность респондентов Постановка проблемы. В последние время в российской исследовательской практике заметно усилилась наметившаяся в 1990-е гг. тенденция к проблемно-тематической переориентации массовых социологических опросов. Сегодня исследователям все чаще приходится обсуждать с респондентами такие деликатные для опраши стр. ваемых вопросы и темы, которые еще пару десятилетий тому назад не были в фокусе общественного внимания и не являлись предметом публичного дискурса. Разрушение прежнего общественного строя и становление олигархического капитализма в России привели к тому, что страна в конце прошлого столетия столкнулась с целым комплексом острейших социальных проблем, связанных с повальной коррупцией, массовым распространением наркомании и алкоголизма, ростом суицидов и преступности, участившимися фактами насилия и жестокости в семьях и т.д. Разработка государственных социальных программ по преодолению (или минимизации) всех этих явлений не может быть эффективной без надежной, достоверной социологической информации. Это в свою очередь требует от социологов постоянного поиска новых, неординарных методов организации опросов, учитывающих сенситивный характер сообщаемых респондентами сведений.

Исследовательский опыт показывает, что при изучении сенситивных тем учные сталкиваются с двумя серьезными проблемами: респонденты либо отказываются отвечать на неприятные для них вопросы, либо дают неискренние - а потому недостоверные ответы относительно потаенных сторон их личной жизни или биографии [Hox, Lensvelt Mulders, 2004: 615]. Для решения этих проблем в западной социологии в 1960 - 1990-е гг.


был предложен ряд специальных методов и приемов, направленных на обеспечение субъективной анонимности опрашиваемых и повышение достоверности собираемой в опросах сенситивной информации. В частности, в течение ряда десятилетий исследователи связывают большие надежды с техникой рандомизированного ответа (RRT - randomized response technique), первоначально разработанной в 1965 г. американским статистиком и социологом С. Уорнером [Warner, 1965] и впоследствии многократно усовершенствованной в работах Б. Гринберга, Р. Фолсома, Р. Боруха, Г. Бегина и др. (см.:

[Greenberg et al., 1969;

Folsom et al., 1973;

Boruch, 1972;

Begin et al., 1979]). В нашей стране в силу известных причин данный метод, к сожалению, почти не применяется, однако в западной (европейской и американской) социологии он получил широкое распространение не только в методических тестах (см., напр.: Holbrook, Krosnick, 2010b;

Couts, Jann, 2011;

Peeters et al., 2010]), но и в прикладных, проблемно-ориентированных исследованиях (см.: [De Jong et al., 2010;

Bockenholt et al., 2009;

Lara et al., 2006]).

Имеется много убедительных свидетельств, что модели RRT действительно способствуют повышению искренности, достоверности ответов респондентов. Однако результаты апробационных исследований позволяют говорить и о ряде весьма серьезных ограничений, присущих данному методу. Во-первых, для его применения требуются достаточно большие по объему (по С. Уорнеру - от 400 до 2000 единиц) и при этом строго случайные по способам отбора респондентов выборки, что усложняет работу социолога и приводит к увеличению общих затрат на проведение исследования. По данным бельгийского социолога А. де Шрийвера, для достижения одного и того же уровня статистической эффективности при использовании моделей RRT требуется объем выборочной совокупности от 2 до 8 раз больший, чем в случае применения обычного прямого опроса [Schrijver, 2012]. Во-вторых, исключение из плана интервью социально демографических вопросов (в целях большей субъективной анонимности) резко ограничивает операционные возможности исследователя с точки зрения межгруппового анализа получаемых ответов и делает невозможным проведение исследований в панельном режиме. В-третьих, серьезную угрозу качеству данных, собираемых посредством RRT, представляют т.н. "фальшивые нет" - ответы, не соответствующие выпадающему на рандомизаторе жребию и являющиеся результатом прямых нарушений опрашиваемыми предписанных им "правил игры". Смещения, связанные с несоблюдением инструкций респондентами, приводят к резкому снижению валидности итоговых оценок сенситивного поведения. И чем деликатнее вопрос, тем чаще респонденты дают фальшивые ответы "нет" [Courts, Jann, 2008: 18, 21 - 23]. И, в четвертых, практически все известные модели "рандомизированного ответа" жестко привязаны к персональным интервью и очень плохо совместимы с другими опросны стр. ми методами. По крайней мере, многие предпринятые ранее попытки их адаптации к телефонным и почтовым опросам лишь породили новые проблемы и, в конечном счете, не увенчались желаемым успехом (см. подробнее: [Мягков, Журавлева, 2010: 166 - 180;

Мягков, 2012]). Это делает проблематичным применение мультиметодного подхода к сбору социологической информации и не позволяет разнообразить методический арсенал исследователя.

Техника "непарных чисел": методические аспекты. Еще один метод, предназначенный для повышения субъективной анонимности и искренности респондентов в сенситивных опросах, в западной социологии получил название "техники непарных (несопоставимых) чисел" (UCT - unmatched count technique)1. Впервые он разработан в 1984 г. Дж. Миллер в е докторской диссертации по изучению девиантного поведения [Miller, 1984]. Однако первое практическое применение, принесшее методу широкую известность и популярность, относится лишь к 1994 г.: американские социологи Д. Дальтон, Дж.

Уимбуш и К. Дэйли использовали UCT для изучения проблемы неэтичного поведения служащих на работе [Dalton et al., 1994], а чуть позднее - и для оценки масштабов мелкого воровства среди офисного персонала фирм [Wimbush et al., 1997;

Dalton etal.,1997].

Техника непарных чисел, так же как и RRT, позволяет получать сведения о степени распространенности тех или иных изучаемых девиаций среди населения и его отдельных групп, но не дает возможность собирать индивидуальные оценки и идентифицировать ответы конкретных респондентов.

Общая процедура исследования. В процедурном плане техника очень проста и в общем виде может быть описана следующим образом [Coutts, Jann, 2008: 7;

Holbrook, Krosnick, 2010a: 44]. Из одной и той же генеральной совокупности извлекаются две равные по численности и одинаковые по структуре выборки, образующие контрольную (К) и экспериментальную (Э) группы респондентов. Их участникам предлагаются списки одних и тех же "безобидных" (эмоционально нейтральных) вопросов или суждений одинаковой численности, например, по 5 вопросов в каждом, но при этом второй (экспериментальной) группе в этот перечень добавляется еще один, дополнительный (шестой) - сенситивный вопрос. В результате число пунктов в списках для разных групп становится неравным (5 и 6). Отсюда и название - техника "непарных (неравных, несопоставимых) чисел".

Вопросник. Перечень вопросов (суждений) для исследования может выглядеть следующим образом.

1. У меня есть дома кошка (собака). [У Вас есть дома кошка (собака)?].

2. Я читал(а) роман Л. Н. Толстого "Война и мир".

3. Я отдыхал(а) прошлым летом на Гавайях.

4. Россия по территории больше Белоруссии.

5. У российских пенсионеров высокие пенсии2.

6. Я употреблял(а) наркотики за последнюю неделю.

Респондентов просят подсчитать общее количество вопросов (суждений), на которые они дали утвердительные ответы, но при этом не сообщать интервьюеру, на какие именно вопросы из предложенного перечня они ответили "да". Общий вопрос-задание можно, например, сформулировать так: "На какое количество вопросов Вы ответили "да"?". Или (если все пункты имеют личностную направленность): "Сколько из этих суждений к Вам относится?" В списки могут включаться фактологические, поведенческие или установочные вопросы, но они обязательно должны быть дихотомическими по своей структуре и предполагать ответы "да" или "нет".

Если в ходе исследования изучается не одна, а несколько сенситивных тем одновременно, то участникам опроса предлагается, соответственно, несколько вопросных блоков для каждого деликатного вопроса. При этом сами вопросы или суждения в разных списках не должны повторяться. В этом случае респондентов просят дать ответ по каждому блоку в отдельности.

стр. В целях убеждения респондентов в полной анонимности исследования опрос обычно предваряется контактной фразой: "Мы не можем знать и никогда не узнаем, на какие вопросы из этого списка Вы ответили положительно, а на какие отрицательно. Мы можем лишь подсчитать частоту ответов по всей группе наших респондентов для последующих вероятностных оценок".

Статистическая модель. После проведения опросов сначала подсчитываются средние значения утвердительных ответов в обеих группах, а затем вычисляется разность средних.

Оценочная доля лиц с сенситивной характеристикой (s) определяется по формуле:

s = X2 - X1, где X2 и X1 - среднее число ответов "да" во второй (Э) и первой (К) группах респондентов, соответственно.

Если, например, X2= 2,2, а X1 = 2,0, то s будет равно 0,2, или 20%.

Данная модель исходит из того, что средние по нейтральным вопросам в обеих группах, если они представляют собой достаточно большие случайные выборки из одной и той же генеральной совокупности, должны быть одинаковыми. Одинаковым должно быть и число кошек (собак) у людей в контрольной и экспериментальной группах. Но поскольку группе Э задавался еще и дополнительный вопрос (в нашем примере - о наркотиках), то среднее число ответов там должно быть больше. Эта разность как раз и образуется за счет того, что какая-то часть респондентов ответила положительно на сенситивный вопрос (см.: [Rayburn et al., 2003: 1214 - 1215]).

Достоинства и недостатки метода. Зарубежный опыт практической работы с UCT свидетельствует, что эта техника имеет целый ряд заметных преимуществ по сравнению с другими аналогичными методами и, в частности, с RRT3.

Во-первых, она проста и удобна в обращении, более оперативна, чем RRT, при сборе данных на полевой фазе. Специальные тесты показали, что респонденты в UCT справляются с заданиями быстрее, чем в аналогичных опросах с применением моделей рандомизированного ответа [Courts, Jann, 2011]. Кроме того, техника не требует дополнительных финансовых затрат, связанных с необходимостью изготовления специальных рандомизирующих устройств, что немаловажно для бюджета исследования.

Во-вторых, процедура работы с вопросником ясна и понятна респондентам, хорошо исполнима, не вызывает трудностей у опрашиваемых. По данным исследования Э. Коутс и Б. Яна, 92% опрошенных посредством UCT хорошо понимали смысл и алгоритм своих действий по выполнению задачи, в то время как для RRT этот показатель был ниже, и для некоторых версий этого метода не превышал 80%. "Следует, однако, заметить, - пишут в этой связи авторы работы, - что даже один единственный респондент, не понимающий инструкций, является потенциальным источником смещений" [Courts, Jann, 2008: 16].

В-третьих, "техника непарных чисел" не требует использования рандомизатора, являющегося дополнительным источником недоверия и опасений со стороны респондентов, а также разного рода ошибок, связанных с непониманием установленных "правил игры". В результате опрашиваемые больше доверяют UCT, чем RRT. Э. Коутс и Б. Ян в своем методическом эксперименте выяснили, например, что 29% респондентов воспринимали данный метод как полностью анонимный, надежно защищающий их индивидуальные ответы от идентификации и последующего разглашения, в то время как в RRT доля таких высказываний составляла лишь 15 - 22% (p 0,01) [Courts, Jann, 2008: 16].


В-четвертых, UCT ослабляет действие защитных механизмов респондентов и, по данным многих исследований, дает более обоснованные оценки степени распространенности изучаемых девиаций.

стр. В-пятых, данный метод заметно повышает уровень кооперации респондентов, снижает до минимума число пропусков и неответов (0,3% против 9% в RRT) [Coutts, Jann, 2008: 17, 21].

В-шестых, применение "техники непарных чисел" успешно решает проблему "фальшивых нет", характерную для RRT, где опрашиваемые, во избежание самоинкриминации, нарушают правила следования инструкциям, что приводит к сильным искажениям получаемых оценок.

В-седьмых, как показывает исследовательский опыт, UCT легко применима к любому опросному методу и может успешно использоваться не только в связке с персональным интервью, но и в режиме анкетирования, телефонных интервью (см.: [Петрова, Мягков, 2011;

Streb et al., 2008]), почтовых опросов, а также в сетевых исследованиях (см.:

[Tsuchiya et al., 2007]).

Вместе с тем нельзя не заметить, что обсуждаемый метод имеет одно весьма серьезное, хотя и преодолимое ограничение. В полевых тестах были обнаружены высокие значения стандартных ошибок, а также большая выборочная дисперсия. По сообщению Э. Коутс и Б. Яна, в исследовании с применением UCT ошибки по измеряемым показателям достигали 9 - 11%, в то время как в обычных интервью они не превышали 2% [Coutts, Jann, 2008: 21]. М. Стреб с коллегами показали, что для достижения 5% стандартной ошибки требуется 2056 наблюдений;

выборка, состоявшая из 1027 человек дала ошибку средних в 7,2%, а из 263 человек - в 14,3% [Streb et al., 2008: 81 - 83]. Это убедительно свидетельствует о том, что для успешной реализации UCT нужны намного большие по объему выборки, чем для прямых интервью. Следовательно, часто фигурирующая в научной литературе норма минимального порога выборки в 40 - 50 единиц, предложенная в свое время Дж. Уимбушем и Д. Дальтоном [Wimbush, Dalton, 1997], является, по видимому, ошибочной.

Оценки эффективности UCT. В российском социологическом сообществе техника непарных чисел не получила широкой известности, в специальной литературе ее описания, и что значительно важнее - результаты экспериментальной апробации, встречаются крайне редко (см.: [Петрова, Мягков, 2011;

Мягков, 2011]). Опыт практического применения UCT в нашей исследовательской практике также пока единичен, хотя его первые изложения уже появились [Калинин, Шпилькин, 2012]. Вместе с тем в западной науке эта техника многократно использовалась для повышения достоверности данных в опросных исследованиях по сенситивной проблематике и для оценки уровня социальной желательности в ответах респондентов. Социологи применяли ее при изучении разных проблем: употребление алкоголя [Walsh, Braithwaite, 2008] и наркотиков [Miller, 1984;

Miller et al., 1986], рискованное сексуальное поведение [LaBrie, Earleywine, 2000], шоплифтинг среди персонала фирм [Wimbush, Dalton, 1997;

Ahart, Sackett, 2004;

Tsuchiya et al., 2007], преступления на почве ненависти [Rayburn et al., 2003], плагиат в студенческих работах [Jann, 2009], расовая ненависть [Imai, 2011], гендерные предрассудки [Streb et al., 2008], отношение к мигрантам [Janus, 2010], нецелевое использование бизнес-кредитов [Karlan, Zinman, 2010;

Karlan, Zin-man, 2012 ], электоральные установоки [Holbrook, Krosnick, 2010a], коррупция [Gueorguiev, Malesky, 2012], подкуп избирателей на выборах [Gonzales-Ocantos et al., 2010;

Corstange, 2009] и др.

Исследования проводились не только в США, но и в целом ряде других стран мира:

Германии, Голландии, Швейцарии, Японии, Вьетнаме, Ливане, Афганистане, Бразилии, Никарагуа, Боливии, Уругвае, Перу, на Филиппинах, а также в некоторых странах Африки (Танзания, Бенин). И практически везде ученые были единодушны в главном: UCT весьма эффективный и многообещающий метод получения деликатной информации. Во многих прежних работах применение "техники непарных чисел" позволило получить более высокие оценки сенситивных характеристик, чем в традиционных "прямых" опросах. Лишь в двух исследованиях по изучению видов поведения с социально неодобряемыми коннотациями не было обнаружено различий в ответах, полученных посредством указанных методов. Мета-анализ 48 методических тестов, стр. проведенный А. Холбрук и Дж. Кросником, показал, что в 63% всех случаев UCT была значительно более эффективной, чем прямые интервью, с точки зрения преодоления социальной желательности и получения достоверных данных (см.: [Holbrook, Krosnick, 2010а: 45]).

Меры по совершенствованию UCT. Анализ результатов опубликованных исследований позволяет сформулировать несколько рекомендаций по совершенствованию метода UCT и повышению его эффективности.

Во-первых, предлагаемых респондентам нейтральных ("безобидных") вопросов не должно быть слишком мало. Перечни, состоящие, например, из трех пунктов, скорее всего недостаточны. Их использование может негативно сказаться на субъективной анонимности, поскольку респондентам, причастным к контрнормативным видам поведения, в этом случае будет трудно вуалировать свой истинный статус. Кроме того, короткие вопросники, отмечает А. Глин, усиливают вероятность "потолочных эффектов" [Glynn, 2010: 6]. Однако длинные листы тоже имеют свои минусы. Вопросники, состоящие, скажем, из 10 вопросов, будут способствовать повышению субъективной анонимности опрашиваемых, но при этом возрастет когнитивная нагрузка на респондентов, что может негативно сказаться на качестве их работы и привести к появлению дополнительной ошибки измерения. С другой стороны, увеличение числа вопросов приведет к росту дисперсий средних и смещениям в итоговых оценках [Courts, Jann, 2011: 186]. Экспериментальные исследования, проведенные японскими социологами Т. Цучия и Й. Хираи, показали также, что число преуменьшений в ответах опрашиваемых растет по мере увеличения длины опросного листа [Tsuchiya, Hirai, 2010: 140].

Оптимальным, вероятно, можно считать перечень, включающий 5 - 6 нейтральных пунктов, хотя данный вопрос в современной литературе до сих пор является дискуссионным.

Во-вторых, очень внимательно следует подходить к отбору "безобидных" вопросов для перечней. Их нужно подбирать так, чтобы каждый респондент (или, по крайней мере, их большинство) мог дать как утвердительные, так и отрицательные ответы. Это необходимо для предотвращения "эффектов потолка и пола".

"Эффекты потолка" возникают тогда, когда опрашиваемые на все предлагаемые им вопросы отвечают утвердительно. Это, как установлено в прежних исследованиях (см.

напр.: [Blair, Imai, 2012: 50, 65 - 66;

Glynn, 2010: 7 - 9]), приводит к резкому нарушению субъективной анонимности, поскольку респондентам в этом случае становится ясно, что их честный, но "инкриминирующий" ответ о причастности к девиантному мышлению или поведению будет легко идентифицирован исследователем. В результате они предпочтут солгать и тем самым скрыть свой истинный (положительный) ответ на сенситивный вопрос, заменив его на противоположный. "Эффекты пола", напротив, наиболее вероятны в том случае, если все задаваемые в исследовании вопросы изначально предполагают ответы "нет". Тогда многие респонденты из экспериментальной группы, чьи истинные ответы являются утвердительными только на сенситивный вопрос (и отрицательными на все остальные, нейтральные), ответят "0" вместо честного "1" из-за опасений, связанных с возможной идентификацией их истинного статуса [Blair, Imai, 2012: 50, 65 - 66]. Для предотвращения "эффектов потолка и пола" исследователи рекомендуют включать в списки такие вопросы, ответы на которые, судя по результатам пилотажа, имеют негативные интеркорреляции [Blair, Imai, 2012: 72;

Glynn, 2010: 7 - 9;

Corstange, 2009: 50].

В-третьих, чтобы избежать смещающих "дизайн-эффектов"4 в качестве нейтральных суждений нужно отбирать для вопросников только те, которые не будут испытывать суггестивного влияния со стороны сенситивного вопроса. Для этого они должны быть бесспорными, предполагать однозначные ответы, а респонденты, в свою очередь, должны иметь твердые, выраженные мнения относительно их поддержки или неподдержки [Blair, Imai, 2012: 72].

В-четвертых, при формировании вопросных блоков желательно избегать "эффектов контраста". Они возникают потому, что сенситивные вопросы в силу их особой стр. эмоциональной нагруженности, как правило, выделяются из общей массы прочих суждений и легко узнаются респондентами. В связи с этим некоторые авторы считают, что в качестве нейтральных следует задавать вопросы, касающиеся той же самой темы, что и сенситивный [Glynn, 2010: 6]. Весь вопросный блок в этом случае будет тематически единым, а целевые вопросы не будут контрастировать с остальными. Между тем очевидно, что реализовать эту рекомендацию на практике в массовом порядке почти невозможно, однако в некоторых случаях она может оказаться весьма полезной.

И наконец, в исследованиях с применением UCT необходимо использовать большие по объему и строго статистические выборки. Это будет способствовать уменьшению стандартных ошибок и повышению устойчивости измеряемых показателей.

Перспективы дальнейших исследований. В исследованиях эффективности UCT сегодня остается несколько важных, по-прежнему нерешенных вопросов. Наибольшего внимания в этой связи заслуживают, пожалуй, три проблемы, наиболее часто дискутируемые в специальной литературе.

Первая из них состоит в нахождении наиболее эффективного способа статистической оценки степени распространенности сенситивного поведения при использовании UCT.

Обычно с этой целью исследователи используют метод, основанный на вычислении разности средних в ответах респондентов из экспериментальной и контрольной групп.

Однако, как отмечают специалисты, такой подход имеет серьезное ограничение - он делает весьма затруднительным анализ многомерных взаимосвязей между различными характеристиками опрашиваемых и их ответами на целевые (сенситивные) вопросы [Blair, Imai, 2012: 48, 53]. А между тем это очень важная задача, поскольку исследователи часто интересуются не только масштабами распространения тех или иных видов контрнормативного поведения, но и тем, какие социальные категории населения являются наиболее вероятными "группами риска". Можно, конечно, для этого применять стандартный метод к различным подгруппам опрашиваемых и далее сравнивать результаты вычислений, но это неэффективно и вообще вряд ли возможно, если объем выборки мал или большое число переменных вовлекается в процесс анализа данных.

Для решения этой проблемы сегодня разработано несколько новых инструментов, основанных, в частности, на применении многомерного регрессионного анализа, которые должны помочь исследователям получить максимальную отдачу от использования техники "непарных чисел" (см., напр.: [Corstange, 2009;

Blair, Imai, 2012]). Однако они нуждаются в интенсивных предварительных испытаниях как в экспериментальных, так и в полевых условиях. В целом же, по словам Г. Блэйра и К. Имаи, методология статистического анализа UCT все еще "остается в рудиментарном состоянии" [Blair, Imai, 2012:72].

Вторая проблема связана с определением длины вопросника, а точнее - оптимального числа несенситивных вопросов. Как правило, в исследованиях используются перечни, состоящие из 3 - 5 "безобидных" суждений, однако практика знает и примеры более длинных вопросников. Плюсы и минусы обоих вариантов частично описаны выше, однако некоторые из высказанных прежде тезисов пока носят лишь характер теоретических предположений и в специальных методических экспериментах не тестировались.

Третья активно обсуждаемая сегодня проблема касается общей формулировки вопроса задания, обращенного к респондентам. В традиционных версиях UCT опрашиваемых просят подсчитать, сколько из представленных в перечне суждений к ним относится (с вариантами: на какое количество вопросов они ответили бы утвердительно, сколько суждений они считают для себя приемлемыми и т.п.). Однако такой формат вопроса, по мнению некоторых исследователей, является не самым эффективным. Его использование может привести к росту преуменьшений в ответах опрашиваемых и смещениям в итоговых оценках распространенности девиаций. Данный эффект возникает потому, что вопрос, традиционно используемый в UCT, требует, стр. чтобы респонденты в ходе опроса обратили внимание только на приемлемые для них суждения, но не побуждает их к выбору неприемлемых. В результате, по сообщению Т.

Цучии и Й. Хираи, "односторонний" формат позволяет получить меньшее число ответов по каждому пункту из перечня, чем "двусторонний", требующий от респондентов регистрации и подсчета как приемлемых, так и неприемлемых (утвердительных и отрицательных) ответов. Когнитивные процессы, сопровождающие выработку ответа испытуемыми, отмечают эти авторы, в обоих указанных случаях несколько различаются.

Стандартный вопрос актуализирует у респондентов "слабую ответную стратегию", поэтому они могут просто пропускать приемлемые для них суждения или пункты [Tsuchiya, Hirai, 2010: 140 - 141, 144].

Между тем следует заметить, что "двусторонний" вопросный формат недостаточно тестирован в полевых условиях. Эмпирических данных, убедительно свидетельствующих о том, что его применение более эффективно, пока еще очень мало. К тому же в прежних методических экспериментах альтернативный формат апробировался исключительно на базе эмоционально нейтральных вопросов, однако при включении в исследовательский план вопросов сенситивного характера он может, по признанию его авторов, повести себя совершенно "непредсказуемым образом" [Tsuchiya, Hirai, 2010: 145]. В дальнейших исследованиях предстоит выяснить, действительно ли применение новой версии вопросной формулировки заметно улучшает оценки, получаемые посредством ист.

Плодотворное решение указанных проблем способствует повышению статистической эффективности техники "непарных чисел" и улучшению качества социологической информации, собираемой в сенситивных опросах.

ПРИМЕЧАНИЯ Мы не претендуем на строгость перевода данной фразы с английского. Вместе с тем следует заметить, что в научной литературе обсуждаемый метод имеет и другие названия:

"Item Count Technique" (ICT), "Unmatched Block Design" (UBD), "Block Total Response" (BTR), "List Experiment" (LE) и др.

Данное суждение в перефразированном виде заимствовано из работы: [Калинин, Шпилькин, 2012].

Некоторые авторы считают технику "непарных чисел" простым "расширением", т.е.

частным случаем или одной из версий RRT (см., напр.: [Ahart, Sackett, 2004: 101 - 102].

Другие исследователи относят UCT к самостоятельному классу "нерандомизированных методов" [Petroczi et al., 2011: 3 - 4].

"Дизайн-эффекты" возникают в случаях, когда опрашиваемые оценивают все представленные в списке пункты взаимосвязанно. Включение в опросный лист сенситивного вопроса может, таким образом, повлиять на ответы респондентов на нейтральные суждения и изменить общую сумму утвердительных реакций.

СПИСОК ЛИТЕРАТУРЫ Калинин К., Шпилькин С. Комплексная диагностика фальсификаций на российских президентских выборах 2012 года // Троицкий вариант - наука. 2012. 27 марта. N 100.

Мягков А. Ю. "Техника непарных чисел" (представление метода) // Социально экономические и гуманитарные проблемы развития России: Межвуз. сб. науч. тр. / Ивановский гос. энерг. ун-т. Иваново, 2011. Вып. 7. С. 31 - 38.

Мягков А. Ю. Применение техники рандомизированного ответа в персональном и телефонном интервью//Социол. исслед. 2012. N7. С. 77 - 91.

Мягков А. Ю., Журавлева С. Л. Повышение качества данных в телефонном интервью:

Методология и методы / Федеральное агентство по образованию, ГОУ ВПО "Ивановский государственный энергетический университет имени В. И. Ленина". Иваново, 2010.

Петрова А. Б., Мягков А. Ю. "Техника непарных чисел": экспериментальная оценка эффективности // Вопросы развития народного хозяйства Российской Федерации: Межвуз.

сб. науч. тр. Вып. 7. Ч. 2. / Минобрнауки России, ГОУ ВПО "Ивановский государственный энергетический университет им В. И. Ленина". Иваново, 2011. С. 111 - 116.

стр. Ahart A.M., Sackett P.R. A new method of examining relationships between individual difference measures and sensitive behavior criteria: Evaluating the unmatched count technique // Organizational Research Methods. 2004. Vol. 7. N1. P. 101 - 114.

Begin G., Boivin M., Bellerose J. Sensitive data collection through the random response technique: Some improvements // Journal of Psychology. 1979. Vol. 101. N 1. P. 53 - 65.

Blair G., Imai K. Statistical Analysis of List Experiments // Political Analysis. 2012. Vol. 20. N 1. P. 47 - 77.

Bockenholt U., Barlas S., Heijden van der P.G.M. Do randomized response designs eliminate response biases? An empirical study of non-compliance behavior // Journal of Applied Econometrics. 2009. Vol. 24. N 3. P. 377 - 392.

Boruch R.F. Relations among statistical methods for assuring confidentiality of social research data // Social Science Research. 1972. Vol. 1. N3. P. 403 - 414.

Corstange D. Sensitive questions, truthful answers? Modeling the list experiment with LISTIT // Political Analysis. 2009. Vol. 17. N 1. P. 45 - 63.

Coutts E., Jann B. Sensitive questions in online surveys: Experimental results for the randomized response technique (RRT) and the unmatched count technique (UCT) // ETH Zurich Sociology Working Paper. 2008. N 3. P. 1 - 33.

Coutts E., Jann B. Sensitive questions in online surveys: Experimental results for the randomized response technique (RRT) and the unmatched count technique (UCT) // Sociological Methods and Research. 2011. Vol. 40. N1. P. 169 - 193.

Dalton D.R., Daily C. M., Wimbush J. C. Collecting 'sensitive' data in business ethics research: A case for the unmatched count technique (UCT) // Journal of Business Ethics. 1997. Vol. 16. N 5.

P. 1049 - 1057.

Dalton D.R., Wimbush J.C., Daily C.M. Using the unmatched count technique (UCT) to estimate base rates for sensitive behavior // Personnel Psychology. 1994. Vol. 47. N 5. P. 817 - 28.

De Jong G., Pieters R., Fox J. - P. Reducing social desirability bias through item randomized response: An application to measure underreported desires // Journal of Marketing Research.

2010. Vol. XLVII. N 1. P. 14 - 27.

Folsom R.E., Greenberg B.G., Horvitz D.G., Abernathy J.R. he two alternate questions randomized response model for human surveys // Journal of the American Statistical Association. 1973. Vol. 68. N 343. P. 525 - 530.

Glynn A.N. What can we learn with statistical truth serum? Design and analysis of the List Experiment. Technical Report, Department of Government, Harvard University. July 23, [online]. URL: http://polmeth.wustl.edu/media/Paper/glynnPolmeth10_1.pdf. (дата обращения 15.09.2012).

Gonzales-Ocantos E. et al. Vote buying and social desirability bias: Experimental evidence from Nicaragua. 2010 [online]. URL: http://www.yale.eduleitner/resources/PMF papers/Nicaragua.VoteBuying.pdf (дата обращения 5.10.2011).

Greenberg B.G., Abul-Ela A-L.A., Simmons W.R., Horvitz D.G. The unrelated question randomized response model theoretical framework // Journal of the American Statistical Association. 1969. Vol. 64. N 327. P. 243 - 250.

Gueorguiev D., Malesky E. Foreign investment and bribery: A firm-level analysis of corruption in Vietnam // Journal of Asian Economics. 2012. Vol. 23. N 2. P. 111 - 129.

Holbrook A.L., Krosnick J.A. (a) Social desirability bias in voter turnout reports: Tests using the item count technique // Public Opinion Quarterly. 2010. Vol. 74. N 1. P. 37 - 67.



Pages:     | 1 |   ...   | 2 | 3 || 5 | 6 |   ...   | 8 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.