авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 || 3 | 4 |

«Обеспечение адресности трансфертов в развивающихся странах: анализ опыта и некоторые выводы Дэвид Коуди Маргарет Грош Джон Ходдинотт ...»

-- [ Страница 2 ] --

Если из выборки исключить программы, в которых используется механизм самоотбора на основании потребления (на них приходится значительная доля регрессивных программ), медианное значение показателя увеличивается до 1,3. При этом доля регрессивных программ снижается до 16 процентов.

Интересно взглянуть на десять лучших и десять худших программ. Для десятки худших программ медианное значение составляет лишь 0,60, и лежит в пределах от 0,28 до 0,78;

главным образом, это программы в регионах САЮС и БВСА, а также три программы освобождения от НДС в Южной Африке. Семь из десяти – программы продовольственных субсидий, две из оставшихся трёх предусматривают денежные трансферты. Также следует отметить, что лишь в одной из программ с неудовлетворительными результатами используют либо оценку нуждаемости, либо балльную методику оценки нуждаемости;

ни в одной их них не применяют адресования по географическому признаку, и они встречаются в странах с самым разным уровнем дохода. В лучших десяти программах медианное значение равно 2,15 (диапазон от 2,02 до 4,0), эти программы осуществляются либо в ЛАК, либо в ЕЦА. Восемь из десяти имеют дело с денежными трансфертами. В девяти программах из десяти используют оценку нуждаемости, балльную методику оценки нуждаемости или адресование по географическому признаку, семь из десяти реализуются в странах с более высоким уровнем дохода.

Присутствие программ денежных трансфертов как в лучшей, так и в худшей десятке указывает на то, что вариативность результатов обеспечения адресности может отражать неудовлетворительную реализацию таких программ, а не слабость этих программ как таковых. Вместе с тем, показательно, что программы общественных работ находятся среди «лидеров» с токи зрения результатов, в то время как практически все социальные Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Индивидуальная Категориальный критерий Самоотбор Доля трансфертов, оценка поступающих:

Оценка общ-тью Оценка нужд-ти Беднейшие 20% Возраст - дети Беднейшие 40% Беднейшие10% престарелые Общ. тендер Результат Потребл-е методика Возраст Балльная Географ.

Работа Прочее Страна Программа 4.00 60.0 80. Аргентина Общ. работы Trabajar 3.47 34. Эстония Денежн. соц. пособия 3.00 60. Домин. Респ-ка Денежн. трансф-ты 2.72 27. Венгрия Денежн. соц. пособия Албания Денежн. пособие 36.0 53. 2. Ngihme Ekonomika Йемен Фонд соц. обесп-я – 68.0 75.0 86. 2. денежн. пособие 21. Польша Соц. пособие 2. Румыния Гарантия миним. 2.08 62.0 83. дохода Чили Денежн. трансф-ты 2.08 57.0 83. SUF Никарагуа Обусл. денежн. 32.6 55.0 80. 2. трансф-ты RPS Гондурас Денежн. трансферт 1.99 22.1 42.5 79. PRAF 1.98 53.0 79. Чили Школьные обеды Словения Детск. пособия Otroski 1.95 42.0 65.0 78. Dodatek 1.95 22.0 60.5 78. Болгария Денеж. соц. помощь 1.93 25.0 31.0 77. Боливия Общ. работы ESF (продолжение таблицы следует) Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Индивидуальная Категориальный критерий Самоотбор Доля трансфертов, оценка поступающих:

Оценка общ-тью Оценка нужд-ти Беднейшие 20% Возраст - дети Беднейшие10% Беднейшие 40% престарелые Общ. тендер Результат Потребл-е методика Возраст Балльная Географ.

Работа Прочее Страна Программа Киргиз. Респ-ка Единое месячное 1.85 54.0 74. денежн. Пособие Чили Пособие престарелым 1.83 50.0 73. PASIS Юж. Корея Пособие LPS при 1.81 32.3 56.8 72. домашнем уходе Перу Программа «Стакан 1.80 42.0 72. молока»

Чили Общ. работы 1.78 51.0 71. PEM/POJH Коста-Рика Пенсии без уплаты 1.73 45.0 69. взносов Индонезия Медиц. субсидия ОЦС 1.68 33. –BK Индия Сельский штат АП – 1.63 19.1 35.8 65. государственные субсидии риса 1.63 39.0 65. Коста-Рика Школьные обеды Мексика Дотированное молоко 1.60 64. LICONSA Индия ПЦС – 63. субсидированный 1. сорго 23.5 39.5 62. Венгрия Детское пособие 1. (продолжение таблицы следует) Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Мексика PROGRESA обусл.

1.56 22.0 39.5 62. денежное пособие Колумбия Жилищная субсидия 1.50 35.0 60. Колумбия ICBF дневной уход/ 1.50 28.0 60. школьное питание 29. Индонезия Общ. работы PS-PDK 1. Ямайка Продов. купоны – 29.0 58. MCH 1. Индонезия Гос. субсидия на 28. 1. образование ПЦС штата Индия Махараштра сельским 10.4 26.3 54. жителям 1. Замбия Жилищная субсидия 1.35 28.0 54. Узбекистан Детское пособие 1.35 28.4 54. Латвия Семейное/ детское пособие 1.33 15.0 29.0 53. Индия ПЦС – субсидированный рис 1.33 53. Индонезия Субсид. рис JPS-OPK 1.32 26. Боливия СИФ 1.30 11.0 24.5 52. Ямайка Продов. купоны 1.30 52. 19.0 32.0 50. Гондурас Программа СИФ 1. Чили Жилищный кредит 28.0 50. Viviendas Basicas 1. Индия ПЦС – субсид. растит.

50. масло 1. 28.0 50. Шри-Ланка Прод. купоны 1. (продолжение таблицы следует) Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Индивидуальная Категориальный критерий Самоотбор Доля трансфертов, оценка поступающих:

Оценка общ-тью Оценка нужд-ти Беднейшие 20% Возраст - дети Беднейшие10% Беднейшие 40% престарелые Общ. тендер Результат Потребл-е методика Возраст Балльная Географ.

Работа Прочее Страна Программа Южная Освоб-е маиса от НДС Африка 1. Вьетнам Продов. трансферты 24. SGF 1. Индия ПЦС – субсид.

48. Керосин 1. Бангладеш «Продовольствие за обучение» 1. Марокко Продов. субсидии, 23.0 47. мука 1. Индия ПЦС – субсид. Сахар 45. 1. Армения Семейное пособие 1.13 14.0 25.0 45. Перу Программа СИФ 1.10 23.0 44. Болгария Пенсии 1.10 22. Никарагуа Программа СИФ 1.10 9.0 23.0 44. Индия Города в штате Андра-Прадеш - ПЦС 10.4 21.5 43. риса 1. Замбия Программа 15.0 25.0 43. 1. социального фонда (продолжение таблицы следует) Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Индия ПЦС штата Махараштра 7.6 17.8 41. городским жителям 1. Тунис Всеобщ. продов.

21.0 41. 1. субсидии Узбекистан Детские пособия/пособия 22.6 40. маломущим 1. Египет Всеобщ. субсидии – 15.0 40. мука 1. Индия ПЦС – субсид.

40. пшеница 1. Латвия Соц. помощь 1.00 11.0 20.0 40. Румыния Семейное / детское 20.0 40. пособие 1. Египет Всеобщ. субсидии – 21.0 39. хлеб 0. Болгария Семейное / детское 19. пособие 0. Египет Всеобщ. субсидии 18.0 38. сахар 0. Египет Всеобщ. субсидии – 18.0 38. 0. растит. масло Армения Программа СИФ 0.93 8.0 15.0 37. Тунис Продов. субсидии 0.93 17.0 37. Польша Семейное пособие 0.90 9. Румыния Дифференц. помощь 0.90 18. Марокко Продов. субсидии 15.0 34. 0. сахар Колумбия Коммунальн.

15.0 33. субсидии – соц.

пособия 0. Южная Африка Освоб-е бобов от НДС 0. (продолжение таблицы следует) Таблица 3.3. Результаты обеспечения адресности в программах борьбы с бедностью, представленных в выборке, 1985– Индивидуальная Категориальный критерий Самоотбор Доля трансфертов, оценка поступающих:

Оценка общ-тью Оценка нужд-ти Беднейшие 20% Возраст - дети Беднейшие 40% Беднейшие10% престарелые Общ. тендер Результат Потребл-е методика Возраст Балльная Географ.

Работа Прочее Страна Программа 5.0 12.0 28. Латвия Пенсии 0. Алжир Всеобщ. продов. 12.0 28. субсидии 0. Южная Африка Освоб. растит. масла от НДС 0. Марокко Продов. субсидии – 11.0 24. растит. масло 0. 3.0 8.0 23. Армения Гуманитарная помощь 0. Колумбия Subsidio Familiar cash 7.0 20. 0. Йемен Всеобщ. продов. 7.0 18. 0. субсидии Вьетнам Трансферты для 8. 0. пожилых/младенцев Южная Африка Освоб. молока от НДС 0. Источник: Cборник со стороны автора обоснован на поиске данных включенных в тексте.

фонды относятся к худшим программам. Этот итог не противоречит компромиссу между сокращением текущей бедности (с помощью трансфертов, осуществляемых в виде оплаты в программах общественных работ) и сокращением бедности в будущем благодаря государственным инвестициям, направленным на обеспечение развития (активы, создаваемые в программах социальных фондов). Кроме того, присутствие в верхней части таблицы в основном стран с более высокими уровнями дохода говорит о том, что характеристики, коррелирующие с доходом (напр., административный потенциал), являются важными детерминантами в обеспечении адресности.

В Таблице 3.4. представлены сводные статистические данные о результатах обеспечения адресности (масштаб выборки, медиана, межквартильный диапазон (iqr), а также iqr как процент от медианного значения) для каждого метода. Согласно первому впечатлению, Таблица 3.4 показывает чёткую иерархию с точки зрения результатов обеспечения адресности. В программах с индивидуальной оценкой итоги лучше, чем в программах, использующих категориальные подходы, которые, в свою очередь, превосходят программы, предусматривающие механизм самоотбора, - ничего неожиданного. Однако при более внимательном изучении мы видим, что эти впечатления носят слишком общий характер и не слишком обоснованны. Во-первых, внутри самих методов обеспечения адресности присутствует значительная неоднородность. Так, в категорию самоотбора включены меры, предусматривающие обязательное участие в программе работ, где отмечается самое высокое медианное значение результата, а также самоотбор на основании потребления, где медианное значение самое низкое. Во-вторых, три конкретных метода (использование категориального подхода для помощи престарелым, самоотбор на основании потребления и общественный тендер за право проведения программы) показывают более низкие медианные значения по сравнению с другими программами, а также относительно низкие показатели их вариативности, представленные iqr как процентом от медианного значения. Это говорит о том, что, при прочих равных условиях, даже в лучших примерах использования таких методов обеспечения адресности прирост результата относительно невелик. В отличие от этого, в то время как для других методов наблюдаются более высокие медианные значения, для них также характерна пропорционально более высокая вариативность действенности мер по обеспечению адресности. Таким образом, хотя они потенциально способны обеспечить значительное улучшение адресности, гарантий того, что это произойдёт, нет.

Один из способов проанализировать источник вариативности результатов обеспечения адресности предусматривает использование индекса неравенства Тейля. Этот индекс удобен тем, что позволяет аналитику разделить всю вариативность в выборке: какая часть обусловлена различиями между средними значениями подгрупп, а какая – вариативностью внутри самих подгрупп. Группирование по методу обеспечения адресности (т.е.

использование географических категорий, оценки нуждаемости/ балльной методики оценки нуждаемости, сочетания этих методов или применение иных методов) объясняет лишь 20 процентов общей вариативности. Когда программы группируются по регионам, обнаруживается, что вариативность средних показателей на разных континентах объясняет только 28 процентов общей вариативности. При группировке по типу программ мы видим, что вариативность средних показателей результата объясняет 36% общей вариативности.

Можно интерпретировать столь существенную вариативность с точки зрения того, насколько действенно реализуются программы. Как бы тщательно не подбирались методы или программы, именно действенность реализации является ключевым фактором, определяющим результаты обеспечения адресности. В качестве иллюстрации этому положению можно видеть, что повышение результатов всех программ, в которых Таблица 3.4: Результаты обеспечения адресности, по методам Метод обеспечения Выборка Медиана Межквартиль- Межквартильный адресности результата ный диапазон диапазон как % от медианы Все методы 85 1.25 0.68 54. Любая форма 37 1.50 0.75 50. индивидуальной оценки Оценка нуждаемости 26 1.55 0.90 58. Балльная методика ОН 7 1.50 0.58 38. Оценка 6 1.40 0.78 55. общественностью Любой категориальный 58 1.32 0.64 48. метод Географич. критерий 33 1.33 0.51 36. Возраст – престарелые 12 1.16 0.81 69. Возраст – молодёжь 26 1.53 0.65 42. Прочее 17 1.35 0.48 35. Любой метод отбора 38 1.10 0.41 37. Работа 6 1.89 0.30 15. Потребление 25 1.00 0.35 35. Общ. тендер 7 1.10 0.22 20. использован один и тот же метод обеспечения адресности, и результаты которых ниже медианного для данного метода, до уровня, соответствующего медианному, обеспечит повышение средних показателей результативности адресования с 1,38 до 1,55, т.е. на процентных пунктов. В Главе 4 мы рассмотрим этот момент более подробно.

3.5. Анализ регрессии Несмотря на то, что факторы, отличные от выбора метода или программы, могут быть относительно важными, это не означает, что сам такой выбор не имеет значения. Для того, чтобы понять значимость такого выбора, мы представили в Таблице 5 результаты серии регрессий;

с помощью этих регрессий мы попытались выяснить, как результаты систематически меняются в зависимости от выбора и от характеристик конкретной страны.

При этом мы отмечаем, что сами методы обеспечения адресности являются вариантами, не «заданными извне» или «предопределенными». Соответственно, было бы неверным рассматривать полученные результаты в качестве причинно-следственных связей. Скорее, они – показатели частичной корреляции или ассоциации. Первая спецификация призвана показать, каким образом характеристики страны (доход, степень подотчётности государства и неравенство) связаны с (log) распределением. Доход показан как log подушевого ВВП (в долларах ППС) на 1995 г.20 Гипотеза такова: по мере того, как страна богатеет, она приобретает институциональный потенциал, необходимый для создания Читатели не знакомые с анализом регрессии могут пропустить эту часть, и просмотреть части об Оговорках и ограничениях, и об Итогах.

Данные о доходе и неравенстве взяты из базы данных Всемирного банка, содержащей показатели мирового развития.

программ, обеспечивающих высокую степень адресности. Показатели подотчётности государства взяты из работы Kaufmann, Kraay and Zoido-Lobaton (1999). Субъективные отзывы относительно качества управления в разных странах собирались в ходе опросов экспертов, через коммерческие рейтинговые агентства и сравнительные обследования;

они определяют права, или, говоря точнее, «права и подотчётность» в виде составного показателя, в основе которого лежат аспекты политических процессов, гражданские свободы и политические права, они отражают степень участия граждан в выборе собственного правительства, а также то, в какой степени общественность и СМИ могут требовать отчёта у правительств за совершенные ими действия. Мы используем перцентильный рейтинг (рейтинг по отношению друг к другу) стран, так как эти показатели упрощают интерпретацию оцененных коэффициентов. В нашей выборке самый низший перцентильный рейтинг «влияния» имеет Вьетнам, - 6, самый высокий – Коста-Рика, - 8821. Наконец, включены коэффициенты Джини для конкретных стран:

предполагалось, что если различия в индивидуальном потреблении или доходе будут более значительными, определить потенциальных бенефициаров будет проще. Мы также включили (но не показали) меры контроля, указывающие на то, что лежит в основании показателя результата: доля выгод, поступающих низшему квинтилю, беднейшему децилю, «бедным» согласно определения черты бедности или доле бедных в населении.

При этом учитывались последствия, связанные с использованием разных показателей распределения в тех исследованиях, которые стали базой для данного анализа. Значения стандартного отклонения выводятся с помощью методов, предложенных в Huber (1967) и White (1980)22.

Результаты, представленные в спецификации (1), говорят о том, что по мере роста уровня дохода страны и неравенства улучшаются и показатели адресности в программах борьбы с бедностью. Первая часть наблюдения не противоречит положению, согласно которому страны с более высоким доходом располагают большими возможностями по созданию и осуществлению более сложных методов обеспечения адресности. Вторая часть не противоречит тому, что страны, в которых выше неравенство по доходу, придают больше внимания обеспечению адресности: это объясняется как более высокими потенциальными В предварительную работу мы включили и показатель действенности работы государства, который тоже был взят из Kaufmann, Kraay and Zoido-Lobaton (1999). Однако он никогда не является статистически значимым, - возможно, потому, что он тесно коррелирует с log подушевого дохода.

Мы также попытались выяснить, публиковалось ли исследование в научном журнале, книге или являлось неопубликованной работой, подготовленной сотрудниками Всемирного банка, IFPRI или представителями других организаций. Эти меры контроля рассматривались двояко.

Предположительно работы, опубликованные в журналах (и, возможно, в книгах) прошли более тщательную проверку, так что для этих исследований в меньшей степени будет характерна проблема ошибки измерения. С другой стороны, возможно определённое смещение при публикации, в том смысле, что в научные журналы поступают и принимаются ими только исследования, содержащие «значимые результаты». 85 оценок результатов обеспечения адресности, приведённые нами, поступили из различных источников: 17 – из рецензируемых журналов, 17 – из книг, 37 – из неопубликованных работ сотрудников Всемирного банка, 8 – из неопубликованных работ сотрудников IFPRI, и 6 – из неопубликованных работ исследователей, представляющих другие организации. Включив в качестве дополнительных мер контроля бинарные переменные, обозначающие тип публикации, мы не обнаружили, что они статистически значимы, и потому здесь их не приводим. Однако мы заметили, что коэффициенты бинарных переменных для неопубликованных работ сотрудников Всемирного банка или представителей других организаций оказываются отрицательными, что не противоречит гипотезе «смещения при публикации».

Таблица 3.5: Mногомерный анализ результатов обеспечения адресности Базовые результаты уровнях (5) Зависимая переменна Используе регрессия медианы я на тся (6) (1) (2) (3) (4) Log подушевого ВВП 0.120 0.181 0.150 0.201 0. (2.10) (3.27) (2.95) (2.88) (2.35) Log влияния 0.161 0.176 0.217 0. (2.06) (2.88) (2.52) (1.65) Log коэфф. Джини 0.363 0.110 0.439 0. (1.75) (0.39) (1.17) (1.14) Оценка нуждаемости 0.284 0.285 0.300 0.397 0. (2.43) (2.59) (2.90) (2.84) (2.36) Балльная методика ОН 0.252 0.108 0.078 0.021 -0. (1.43) (0.74) (0.45) (0.10) (0.28) Оценка обществ-ю 0.198 0.119 -0.012 -0.017 -0. (0.97) (0.59) (0.09) (0.10) (0.59) Географич. критерий 0.260 0.336 0.341 0.381 0. (2.72) (3.25) (3.33) (2.56) (2.42) Возраст – престарелые -0.055 -0.089 -0.117 -0.124 -0. (0.37) (0.68) (0.091) (0.75) (0.59) Возраст – молодёжь 0.198 0.128 0.140 0.131 0. (1.98) (1.34) (1.53) (0.94) (1.89) Прочие категории -0.132 0.028 0.137 0.061 0. (0.88) (0.22) (1.23) (0.32) (0.42) Работа 0.511 0.404 0.404 0.650 0. (3.66) (3.74) (3.73) (2.83) (2.22) Общ. тендер -0.018 -0.012 -0.029 -0.117 -0. (0.17) (0.11) (0.24) (0.69) (1.12) F-статистика 3.46 3.56 5.41 7.20 5. R2 0.318 0.406 0.484 0.545 0. Выборка 84 85 85 84 84 Примечания:

1. Все спецификации содержат контрольные меры (не показаны) которые указывают, на чём основан показатель результата: доле выгод, поступающих (а) нижнему квинтилю, (б) беднейшему децилю, (в) «бедным» или (г) доле бедных в населении.

2. Спецификации (1) – (5) оценивают значения стандартного отклонения с помощью методов, предложенных в Huber (1967) и White (1980). Спецификация (6) рассчитывает значения стандартного отклонения посредством самозагрузки с 50 повторениями.

3. Спецификации (1) –(4) и (6) представляют зависимую переменную в logs;

в спецификации (5) используются уровни.

4. Абсолютные значения t-статистики приведены в скобках.

выгодами от адресности, так и тем, что они лучше способны проводить различия между домохозяйствами, относящимися к разным «оконечностям» распределения дохода.

Показатели адресности лучше и в странах, где выше степень подотчётности государства, что соответствует положению, согласно которому правительства этих стран в большей степени ощущают ответственность за обеспечение результативности их программ борьбы с бедностью.

В спецификации (2) мы обращаем внимание исключительно на последствия выбора того или иного метода обеспечения адресности. Мы включаем бинарные переменные для девяти методов, представленных выше: три формы индивидуальной оценки (оценка нуждаемости, балльная методика оценки нуждаемости, выбор бенефициаров силами сообществ), четыре формы категориального подхода (географический критерий, престарелые, молодёжь и прочие) и два вида отбора (требование участия в работах и общественный тендер за право осуществить проект). Опущенной категорией является самоотбор на основании потребления. Мы выбрали эту категорию в качестве базовой по двум причинам. Часто заявляют, что данная форма обеспечения адресности должна рассматриваться как временная, пока не будут сформированы условия для использования более точных механизмов (напр., оценки нуждаемости)23. Другие, напротив, скептически оценивают перспективы охвата бедных другими инструментами обеспечения адресности в сравнении с механизмом самоотбора, основанном на потреблении продовольствия24.

Таким образом, эта спецификация привлекательна тем, что необходимо интерпретировать коэффициенты по этим методам в сравнении с самоотбором на основании потребления.

Кроме того, поскольку типичная программа всеобщих продовольственных субсидий показывает нейтральные результаты с точки зрения адресности (см. Таблицу 3.4), коэффициенты по другим методам обеспечения адресности можно примерно интерпретировать как пропорциональные отличия от нейтральной адресности. Например, коэффициент 0,2 означает, что средний показатель адресности в данном методе составляет 1,2, т.е. в среднем бедные домохозяйства получают на 20% больше, чем размер их доли в населении. Спецификация (2) показывает, что при оценке нуждаемости, обеспечении адресности по географическому критерию и самоотборе на основании участия в работах беднейшим квинтилям поступает больше ресурсов программы, чем при самоотборе на основании потребления. При использовании балльной методики оценки нуждаемости, привлечении общественности и адресовании помощи молодёжи также наблюдается улучшение распределения выгод, однако здесь присутствуют более высокие значения среднеквадратического отклонения. Программы, направленные престарелым, другие типы категориальных программ и отбор на основании общественного тендера не показывают улучшения распределения в сравнении с базовой категорией (самоотборе на основании потребления). Учитывая существенный рост интереса к балльной методике оценки нуждаемости, который отмечается в течение последних лет, а также ограниченное количество программ, по которым в нашей базе данных имеются результаты, мы провели небольшой анализ чувствительности в отношении таких программ.

Как отмечалось выше, страны, располагающие лучшими возможностями по реализации программ, способны более точно передавать ресурсы наиболее нуждающимся членам общества, - либо выбрав более точные методы обеспечения адресности, либо повышая результативность ранее избранных подходов. В связи с этим, данные в спецификации (2) могут вводить в заблуждение: они могут просто отражать корреляцию между ненаблюдаемой способностью к реализации и наблюдаемыми методами обеспечения См., напр., Pinstrup-Andersen (1998) и Alderman and Lindert (1998).

Подобное сомнение в неявном виде содержится, напр., в работе Cornia and Stewart (1995).

адресности. Эту возможность мы рассматриваем в спецификациях (3) и (4). Поправки на уровень дохода страны (спецификация 3) или на доход, степень влияния и неравенство (спецификация 4) не устраняют положительной связи (в сравнении с самоотбором на основании потребления) между оценкой нуждаемости, географическим подходом и самотбором на основании участия в работах и результатами обеспечения адресности.

Адресность является выше в странах с более высоким уровнем дохода, а также там, где правительства несут ответственность за свои действия. В частности, повышение дохода страны на 10% соответствует улучшению адресности на 1,8 %. Для того, чтобы понять, каков эффект влияния общественности, повышение рейтинга с 37 (рейтинг Пакистана) до 67 (рейтинг Индии) обеспечило бы улучшение адресности на 30%25. Вместе с тем, возможно, что в странах, где присутствует выраженное неравенство, более действенным окажется и адресование по географическому критерию;

действительно, убрав из спецификации программы, адресуемые по географическому принципу (но сохранив все остальные методы), получаем оценку параметра для log коэффициента Джини, которая практически идентична той, что указана в спецификации (1).

Нами был проведён ряд дополнительных проверок для того, чтобы определить робастность полученного результата. В спецификации (5) использованы та же выборка и те же независимые переменные, что и в спецификации (4), но зависимая переменная выражена уровнями, а не значениями log. Базовые результаты остаются неизменными: оценка нуждаемости, адресование по географическому принципу и программы, предусматривающие участие в работах повышают показатель адресности в сравнении с опущенной категорией (самоотбор на основании потребления). В каких-либо других результатах значимых изменений нет.

В спецификации (6) подход несколько меняется: оцениваются медианные регрессии, показывающие различия в результатах в виде различий в медианах26. Это – удобная проверка на робастность, так как медиана гораздо менее чувствительна к выбросам, что особенно важно при работе с небольшими выборками. Результаты в целом схожи с полученными для спецификации (4) (где применяются аналогичные независимые переменные, выборка и зависимая переменная) с одним исключением: log коэффициент Джини имеет существенно большее значение27.

Анализ в основном был сосредоточен на связи между разными методами обеспечения адресности и полученными результатами в сравнении с самоотбором на основании потребления и с учётом характеристик страны. Несмотря на то, что практика использования комбинированных подходов достаточно распространена, связь Кaufmann, Kraay and Zoido-Lobaton (1999) предупреждают, что эти составные показатели скорее всего содержат погрешность. Как таковые, они обозначают нижнюю границу оценок воздействия этих характеристик.

Выражаясь точнее, мы оценили регрессию квантили с центром в медиане, значения стандартного отклонения получены посредством перевыборки с параметрической компенсацией погрешностей при 50 повторениях для поправки на гетероскедастичность. Увеличение числа повторений не приводит к существенному изменению значений стандартного отклонения.

В качестве дальнейшей проверки спецификации мы повторно оценили спецификацию (4), но ввели в выборку три ограничения: (1) включили только те исследования, где представлена доля выгод, поступающих двум низшим квинтилям, (2) включили только те исследования, где представлена доля выгод, поступающих двум низшим квинтилям или беднейшему квинтилю, и (3) включили только те исследования, где представлена доля выгод, поступающих двум низшим квинтилям, беднейшему квинтилю или беднейшему децилю. При этом мы по-прежнему получаем результаты, сопоставимые с теми, что приведены в спецификации (4).

Таблица 3.6: Связь между результатами обеспечения адресности и количеством использованных методов (1) (2) Количество использованных 0. методов (3.97) Использовано 2 метода 0. (1.66) Использовано 3 метода 0. (2.88) Использовано 4 или 5 0. методов (3.11) Log подушевого ВВП 0.141 0. (3.06) (2.93) Log «влияния» 0.229 0. (3.49) (3.07) Log Джини 0.280 0. (1.35) (1.31) F-статистика 6.42 5. R2 0.426 0. Выборка 84 Примечания:

1. Спецификации (1) и (2) содержат контрольные меры (не показаны) которые указывают, на чём основан показатель результата: доле выгод, поступающих (а) нижнему квинтилю, (б) беднейшему децилю, (в) «бедным» или (г) доле бедных в населении. Спецификации (1) и (2) оценивают значения стандартного отклонения с помощью методов, предложенных в Huber (1967) и White (1980).

2. Абсолютные значения t-статистики приведены в скобках.

между сочетанием методов обеспечения адресности и полученными результатами мы не рассматривали. Данный аспект представлен в Таблице 3.6. Помимо поправок на доход, влияние, управление, неравенство и порядок выведения показателя результата, к спецификации (1) добавлено количество использованных методов обеспечения адресности.

По итогам видно, что применение большего числа методов связано с улучшением адресности, причём каждый дополнительный метод повышает адресность на 15%. В спецификации (2) мы показываем количество методов обеспечения адресности с помощью ряда бинарных переменных и получаем схожие результаты. К сожалению, выборка слишком мала, чтобы рассмотреть связь между конкретными сочетаниями методов и результатами обеспечения адресности, однако полученные результаты говорят о том, что такой подход способствует улучшению адресности.

3.6. Оговорки и ограничения Говоря об интерпретации результатов обеспечения адресности и анализе, основанном на них, следует сделать некоторые оговорки.

Во-первых, наш показатель обеспечения адресности – «лоскутное одеяло» из различных показателей, представленных выше, хотя для подавляющего большинства программ (80%) мы используем процент выгод, поступающих либо 40, либо 20 нижним процентам национального распределения дохода. При этом возникают сомнения относительно сопоставимости. Например, можно посчитать, что помощь сложнее адресовать беднейшим 20, чем беднейшим 40 процентам населения, и программы, для которых использовался первый показатель, будут представляться малорезультативными просто из за выбора показателя. Для решения этой проблемы мы использовали несколько способов.

Мы рассчитали второй показатель результата, который, следуя лексикографическому порядку, даёт представление о том, какая доля ресурсов поступает нижнему децицлю, затем – нижнему квинтилю, и наконец – двум нижним квинтилям.

При этом результаты, представленные в Таблицах 3.3 и 3.4 не претерпевают сколько-нибудь существенных изменений. Также мы рассчитываем все регрессии (см. ниже) с использованием обоих показателей результатов обеспечения адресности, и снова не обнаруживаем каких-либо значимых изменений. Это совершенно неудивительно, так как для нашего показателя результата обеспечения адресности и альтернативного показателя значения коэффициентов корреляции (с точки зрения уровней и рейтинга, соответственно) лежат в пределах от 0,94 до 0,97. В качестве дальнейшей проверки в многомерный анализ регрессии всегда включаются переменные, контролирующие используемый показатель результатов обеспечения адресности.

Во-вторых, рассматривая проценты выгод, поступающих нижним группам распределения дохода, мы явно не учитываем то, в каких прочих частях распределения имеет место утечка этих выгод. Например, данные о том, что программа даёт чрезвычайно низкий результат при попытке адресовать помощь нижним 20 процентам распределения, вызывают меньше озабоченности, чем ситуация, в которой «утечка» поступает в основном тем, кто расположен чуть выше этого «пограничного» значения дохода. Это частично объясняет то, почему при выведении индекса результата мы отдаём приоритет показателю для 40 процентов. Также можно утверждать, что этот подход лучше увязан с целями большинства адресных программ. В любом случае, тот факт, что полученные нами результаты чрезвычайно нечувствительны к порядку представления, по меньшей мере говорит о том, что в принципе неважно, где именно провести «пограничное» значение между показателями в 20 и 40 процентов.

В-третьих, следует помнить, что собранные нами данные являются лишь выборкой их сотен существующих программ борьбы с бедностью. Кроме того, мы могли рассчитать показатель результата обеспечения адресности только для двух третей выборки. Всё это указывает на возможное «смещение при формировании выборки», т.е. данные программы могут иметь определённые характеристики (напр., то, что они отражены документально и прошли оценку), которые сами по себе связаны с нашими показателями результата обеспечения адресности. Удачным примером такой возможной связи служит обеспечение адресности силами общественности. В выборке представлена лишь небольшая доля исследований, приведённых в работе Conning and Kevane (2002);

вполне может быть, что в документах подробно отражены только те программы данного типа, которые оказались успешными.

В-четвёртых, продолжает расти число исследований, связанных с оценкой результатов обеспечения адресности. В основе нашего анализа – программы, которые были обнаружены нами примерно до июля 2003 г. По мере увеличения числа работ на эту тему и появления новых выводов и открытий, мы ожидаем, что некоторые из наших количественных выводов изменятся. Несмотря на то, что конкретные числа меняются с каждой новой включённой программой, мы предполагаем, что там, где уже имеется богатая литература, выводы останутся робастными: вряд ли наличие большего числа наблюдений относительно категориальной помощи по географическому критерию окажется менее действенной, равно как и всеобщие продовольственные субсидии вряд ли раскроют какой-то неожиданный потенциал. Вместе с тем, выводы могут меняться там, где количество оценочных исследований относительно невелико. Так, балльная методика оценки нуждаемости сейчас находится на этапе формирования или внедрения во многих странах, однако мы располагаем данными только по девяти программам в пяти странах.

Если ряд новых программ покажут столь же высокие результаты, что и программы, реализованные в Чили и Мексике, то эта методика войдёт в группу инструментов, которые стабильно оказываются весьма эффективными.

В-пятых, наблюдаемые неудовлетворительные результаты частично объясняются тем, что домохозяйства, бывшие бедными на момент прихода в программу, на момент оценки улучшили своё положение, - и наоборот. Это важно учитывать при разработке адресных программ. Методы, в которых используют статичные индикаторы уровня жизни (напр., балльная методика оценки нуждаемости), при значительных масштабах выхода домохозяйств из категории бедных и возвращения в неё, скорее всего покажут более низкие результаты, чем самоотбор.

Следует напомнить читателю, что мы сумели рассмотреть лишь одну узкую область адресности и выбора программ. Наш индекс результатов обеспечения адресности сосредоточен исключительно на стороне выгод и не учитывает затраты, в то время как они могут стать важным фактором, влияющим на выбор методов обеспечения адресности или программ помощи бедным. Так, часто заявляют, что грамотно построенные программы общественных работ могут быть очень действенными, решая задачи сосредоточения выгод в руках бедных. Однако высокие, не связанные с трансфертами затраты, присутствующие в таких программах (в том числе – издержки, не имеющие отношения к оплате и недополученный доход) существенно снижают результативность таких программ трансфертов.

Мы не учитываем сторону затрат главным образом из-за ограничений по данным. При анализе литературы мы собирали имеющиеся данные по административным издержкам, предполагая показать, как они различаются по разным методам. К сожалению, таких данных оказалось немного. Мы в той или иной степени располагаем данными о затратах для 32 программ, но одновременно и показатель результатов обеспечения адресности, и данные по затратам имеются только для 20 программ. Кроме того, данные по затратам очень сложно сравнивать. Большинство данных по Латинской Америке взяты из работы Grosh (1994) и представляют административные издержки как долю от бюджета программы. Эти показатели основаны на данных о бюджетах или административных расходах и потому отражают только официальные цифры. Попыток выяснить, какая часть средств программы теряется из-за коррупции или нецелевого использования, не предпринималось. В отличие от этого, большинство данных по программам в странах Южной Азии выведены на основании общего бюджета и данных из опроса выборки относительно размеров средств, полученных домохозяйствами. С помощью соответствующих методик выводится общее значение затрат из расчёта на полученный доллар. В большинстве случаев представляется, что расходы программы в большей степени обусловлены коррупцией и воровством, нежели чем обоснованными административными издержками, хотя о них говорится очень мало. В любом случае, даже когда данные по затратам имеются, анализ распределения выгод чрезвычайно важен сам по себе.

Следует ещё раз подчеркнуть, что такая цель, как «обеспечить результативное направление трансфертов» (несмотря на то, что она всегда важна), нередко является лишь одной из нескольких целей, которые преследуют программы. Поэтому если имеются компромиссы между этой и прочими целями (ранее мы говорили о том, что могут присутствовать цели политического и социального характера), то при общей оценке любой программы их следует принимать во внимание. Вместе с тем, может случиться так, что эти прочие цели будут в той же (а то и в ещё большей) степени предопределять процесс обеспечения адресности и то, как программу «продают» и проводят в жизнь. Можно предполагать, что большинство аналитиков по крайней мере не будут возражать против того, что мониторинг итогов обеспечения адресности программ, направленных главным образом на борьбу с бедностью, всегда желателен, особенно в развивающихся странах, где уровни бедности высоки, средств не хватает, а другие инструменты (напр., всеобъемлющая система подоходного налога) менее развиты, сложны и прогрессивны.

3.7. Итоги Используя базу данных по адресным программам борьбы с бедностью, которые осуществляются в странах с низким и средним уровнем дохода, сформированную специально для этого сравнительного анализа, мы в данной главе рассмотрели три вопроса: 1) Какие результаты обеспечения адресности можно наблюдать? 2) Существуют ли систематические различия в результатах обеспечения адресности для разных методов достижения адресности и прочих факторов? 3) Что означает наличие таких систематических различий для создания и осуществления адресных программ?

Применительно к результатам, обнаруживается, что медианное значение нашего показателя результатов обеспечения адресности составляет 1,25, т.е. в медианной программе целевая группа получает на 25% больше, чем при всеобщем (или случайном) распределении. В этом смысле «адресность даёт результат». Вместе с тем, поразительно большое число программ (21 из 85, по которым выведен показатель результата, - свыше четверти) оказываются регрессивными: значение индекса результата для них меньше единицы. В таких ситуациях больше выгод для бедных было бы получено при случайном отборе бенефициаров. В некоторой степени такая регрессивность обусловлена включением программ продовольственных трансфертов, где применяют механизм самоотбора на основании потребления, и которые редко обеспечивают высокие показатели достижения адресности. Однако даже если такие программы исключить из выборки, всё равно 16 процентов программ борьбы с бедностью оказываются регрессивными.

Различия в результатах обеспечения адресности частично объясняются различиями в характеристиках стран. В странах, где потенциал для реализации программ (выраженный подушевым ВВП) выше, выгоды более бедным членам общества направляют более точно.

Страны, в которых правительства с большей вероятностью будут подотчётны за свои действия (где сильнее слышен «голос» общественности), также показывают более высокие результаты при обеспечении адресности. Кроме того, адресность выше в странах, где неравенство выражено более ярко, и где легче выявить различия в экономическом положении.

Различия в результатах обеспечения адресности также отражают и выбор метода обеспечения адресности. Программы, в которых используют оценку нуждаемости, географический критерий и самоотбор на основании участия в работах, переводят двум нижним квинтилям большую долю выгод, чем при самоотборе на основании потребления.

Балльная методика оценки нуждаемости, обеспечение адресности силами общественности и применение демографического критерия (помощь детям) в среднем дают хорошие результаты, однако для них характерен значительный разброс.

Использование демографического критерия при помощи престарелым, общественный тендер и самоотбор на основании потребления практически не могут обеспечить хорошей адресности.

Вместе с тем, следует предупредить: оценку результатов применения того или иного метода обеспечения адресности не следует интерпретировать в качестве лексикографического рейтинга методов. При анализе конкретных программ и конкретных инструментов обеспечения адресности присутствует значительная вариативность.

Поэтому информированный выбор методов обеспечения адресности должен строиться не только на количественных сопоставлениях разных методов, но принимать во внимание и более подробные и качественные аспекты сравнения внутри одного метода: чем отличается применение метода в разных условиях и какими должны быть такие отличия, как действовать при ограничениях политического характера, неудовлетворительной информации или слабых административных возможностей или устранять такие проблемы?

Эти вопросы освещаются в следующей главе.

Глава IV Применение методов, позволяющих обеспечить адресность Учитывая результаты количественного анализа, представленные в Главе 3, в данной главе мы показываем дополнительную качественную оценку конкретных механизмов обеспечения адресности. Наша задача – помочь ответственным за программы и руководителям сделать обоснованный выбор того или иного метода и способа его применения. Поскольку имеется несколько вариантов обеспечения адресности, которые могут применяться для разных программ, а абсолютных правил, диктующих использование конкретных методов в конкретных условиях, немного, для того, чтобы выбрать какой-либо метод и грамотно его применять, необходимо иметь общее хорошее представление о каждом из них, а также знать, какие результаты они могут обеспечить в разных условиях или вариантах применения.

Мы последовательно рассматриваем анализ нуждаемости, балльную методику оценки нуждаемости, методы с привлечением общественности, принцип адресования по географическому и демографическому критериям, а также самоадресование, двигаясь в сторону уменьшения требований к информационному обеспечению. (Мы не рассматриваем некоторые категориальные методы (особенно использующие в качестве критериев инвалидность, наличие ВИЧ/СПИД, сиротство), которые представляют интерес для ряда программ, но в отношении которых мы не располагаем достаточными данными).

Для каждого метода приводится анализ мирового опыта;

показан механизм его работы, факторы, определяющие успешность его применения, возможные издержки и условия, благоприятные для его применения. В Таблице 4.1 представлен краткий обзор преимуществ, недостатков и подходящих условий для всех методов;

это может оказаться полезным при определении того, какие именно инструменты лучше подходят к конкретным условиям, в которых приходится действовать вам. Возможно, целесообразным будет вернуться к Таблице 3.2, где показан характер использования разных методов обеспечения адресности в различных регионах и типах программ.

4.1. Оценка нуждаемости Оценка нуждаемости – форма индивидуальной оценки, в рамках которой сопоставляют ресурсы (напр., доход), принадлежащие домохозяйству или индивиду, с некоторым пороговым значением. В нашей выборке та или иная форма оценки нуждаемости применяется в 34 программах. Несмотря на то, что эти программы наблюдаются практически во всех развивающихся странах, их концентрация относительно более высока в странах Латинской Америки, Центральной и Восточной Европы. Большинство программ с применением оценки нуждаемости (24 из 34) предусматривают выплату денежных трансфертов.

4.1.1. Механизм работы Оценка нуждаемости предусматривает сбор информации о совокупном доходе домохозяйства (индивида). Для этого нужно, чтобы либо уполномоченный сотрудник программы пришёл в дом к потенциальному бенефициару (посещение на дому), или чтобы бенефициар появился в офисе ведомства, занятого реализацией программы (приход в Таблица 4.1: Сопоставление разных методов обеспечения адресности - обзор 1. Индивидуальная оценка/ оценка домохозяйства a) Оценка нуждаемости Краткое описание Должностное лицо (как правило – но не всегда – государственный служащий) непосредственно оценивает каждое домохозяйство или каждого претендента, пытаясь выяснить, имеются ли основания для их участия в программе. Существует три основных разновидности:

подтверждение дохода третьей стороной, представление самими претендентами соответствующих документов, подтверждающих доход или связанные показатели благосостояния, и сбор информации в ходе собеседований.

Преимущества В оптимальных условиях обеспечивает очень высокую точность.

• Требуется Недостатки высокий уровень грамотности и документального отражения экономической деятельности (предпочтительно – показателей дохода);

• Там, где серьёзно подходят к проверке представляемой информации, возможны административные сложности;

• Велика вероятность возникновения отрицательных стимулов к работе.

• Там, где заявленный доход можно проверить, или где Когда целесообразно применять какой-то вариант самоотбора ограничивает участие в программе нецелевых групп;

• где присутствует значительный административный потенциал;

• где выгоды для реципиентов достаточно велики, чтобы оправдать затраты, связанные с проведением оценки нуждаемости.

b) Балльная методика оценки нуждаемости Краткое описание На основании небольшого числа наблюдаемых характеристик для каждого домохозяйства выводится «балл» и присваивается некий вес (в идеале – полученный в результате факторного анализа или анализа регрессии данных о домохозяйстве). Право на участие в программе определяется путём сопоставления полученного балла с заранее определённым пороговым значением.

• Допускает проверку, может снизить обеспокоенность Преимущества политизацией или случайностью назначения пособий;

• использует наблюдающиеся характеристики домохозяйств;

• в меньшей степени влияет на стимулы к труду (в сравнении с обычной оценкой нуждаемости).

• Может представляться непонятным и спорным;

Недостатки • необходим большой штат грамотных и знакомых с компьютерной техникой сотрудников, наличие умеренного или высокого уровня информации и технологического развития;

• на уровне домохозяйства по определению присущи неточности, хотя в среднем итоги хороши;

• Не учитывает быстрое изменение благосостояния, напр., в период кризиса или в условиях некоторых стран с переходной экономикой.

• Достаточно высокий административный потенциал;

Когда целесообразно применять • программы предназначены для борьбы с хронической бедностью в стабильных условиях;

• там, где применяется в отношении крупных программ с тем, чтобы максимизировать отдачу от постоянных накладных расходов.

c) Обеспечение адресности силами общественности Краткое описание Общественный лидер или группа членов сообщества, чьи основные функции не связаны с программой трансфертов, принимают решение о том, кто в сообществе должен получать выгоды от программы.

• Используется местная информация о конкретном Преимущества положении человека;

• позволяет определять потребности и уровень благосостояния на месте;

• переносит издержки, связанные с выявлением бенефициаров, с программы на само сообщество (этот аспект может также рассматриваться и как недостаток).

• Местные жители имеют и другие стимулы, Недостатки отличающиеся от обеспечения хорошей адресности программы;

• возможно снижение авторитета или сплочённости местных ответственных лиц;

• может закрепляться или усугубляться проблема исключения на местном уровне;

• при использовании местных определений благосостояния оценку проводить сложнее и её результаты менее однозначны.

• Там, где местные сообщества имеют чётко определённые Когда целесообразно применять границы и тесные связи внутри себя;

• для программ, в которых предполагается участие небольшой доли населения;

• для программ с временными или небольшими пособиями, в которых невозможно использовать собственную административную структуру.

Таблица 4.1: Сопоставление разных методов обеспечения адресности - обзор 2. Категориальный подход a) Географический критерий Краткое описание Право на получение выгод от программы определяется (по крайней мере частично) местом проживания. При этом методе используют существующую информацию, напр., обследования базовых потребностей или карты бедности.

• Преимущества Административная простота;

• нет отрицательных стимулов к труду;

• мала вероятность возникновения «эффекта клейма»;

• легко сочетать с другими методами.

• Критическим образом зависит от точности информации;

Недостатки • там, где нет концентрации бедности в пространстве, результаты будут неудовлетворительны;

• может быть неоднозначным с политической точки зрения.

• Там, где присутствуют существенные различия в уровне Когда целесообразно применять жизни между разными регионами;

• где административные возможности достаточно ограничены, так чтобы было невозможно проводить индивидуальную оценку/оценку домохозяйств;

• где для непосредственного предоставления выгод в рамках программы используют некий фиксированный объект, напр., школу, больницу или центр раздачи продовольствия.

b) Демографический критерий Краткое описание Право на участие в программе определяется возрастом, полом или иными демографическими характеристиками.

• Административная простота;

Преимущества • слабый «эффект клейма»;

• часто популярно с политической точки зрения.

Недостатки Неточность в тех случаях, когда корреляция между демографическими характеристиками и бедностью слаба.


Современные исследования показывают, что наблюдаемые корреляции чувствительны к допущениям относительно экономии от масштабов, присутствующей в домохозяйствах, и шкале эквивалентности взрослым.

• Там, где хорошо поставлена регистрация гражданского Когда целесообразно применять состояния или других демографических характеристик;

• где требуется малозатратный метод обеспечения адресности.

Таблица 4.1: Сопоставление разных методов обеспечения адресности - обзор 3. Самоадресование Краткое описание Программа, благо или услуга, которыми может воспользоваться любой, однако при этом их структура такова, что среди бенефициаров бедных будет гораздо больше, чем небедных.

• Административные Преимущества издержки обеспечения адресности скорее всего будут низкими;

• вряд ли будут присутствовать отрицательные стимулы к работе.

• Возникают издержки (иногда весьма значительные) Недостатки для реципиентов, из-за чего снижается чистая ценность получаемого блага;

• возможен сильный «эффект клейма»;

• возможны затруднения при поиске «средств доставки» крупных пособий.

• cтраны с очень низким административным Когда целесообразно применять потенциалом;

• ситуации, в которых состав бедных часто меняется;

• там, где бедных от небедных отделяет заработная плата или характер потребления (напр., потребление «ущербных» благ).

офис). Варианты проверки таковы: простое собеседование, когда полученную информацию априори считают верной;

представление соответствующих подтверждающих документов потенциальным бенефициаром (индивидуальные документы) и (или) представление подтверждающих документов третьей стороной (проверка с привлечением третьей стороны). Соответственно, в категории оценки нуждаемости встречаются разные степени сложности такого анализа, уровня и распределения издержек (между бенефициарами и ответственной структурой), а также точности достигнутой адресности.

Классическая оценка нуждаемости предполагает сверку информации, представленной кандидатом на участие в программе, с данными, имеющимися у третьей стороны (часто это – данные о подоходном или имущественном налоге, получаемые из соответствующих ведомств, иногда – информация о заработной плате от работодателей или финансовая информация от банков). Этот подход оправдан только в том случае, если целевое население (т.е. малоимущие семьи) в основном работает в официальном секторе и(или) представлено в удачно функционирующей системе налогообложения дохода. В то время как эти условия присутствуют во многих странах ОЭСР и некоторых странах с переходной экономикой, в странах с более низким уровнем дохода они как правило не соблюдаются;

кроме того, в отношении бедных они могут отсутствовать и в странах со средним уровнем дохода.

В другом варианте от претендента на участие в программе могут потребовать удостоверить некоторые аспекты их благосостояния. Например, вместо того, чтобы информация о доходах в единообразном виде и в установленные сроки представлялась в органы социального обеспечения работодателями, работники могут сами приносить копии своих платёжных ведомостей. Информация может относиться не только к доходу, но и к расходам, которые, как представляется, коррелируют с доходом, и легко поддаются документальному отражению: напр., счета на оплату электроэнергии или телефонных переговоров. Этот механизм неэффективен в отношении тех, чья экономическая деятельность не находит отражения в документах (напр., работников в неофициальном секторе, которые не имеют доступа к коммунальным услугам). Следует отметить, что такая процедура переносит неудобства, связанные со сбором информации, на претендента, и для него могут возникнуть существенные транзакционные издержки.

Наконец, оценку нуждаемости можно строить на основании собеседований, предусмотрев по крайней мере неформальную проверку. В ряде случаев эти собеседования можно проводить на дому, что позволяет дать качественную оценку уровня жизни домохозяйства.

В программе выдачи продовольственных купонов на Ямайке (действие которой уже прекращено) бланк, на котором претендент на участие указывал свой доход, должен был подписываться представителем общины, напр., священником или мировым судьёй (Grosh, 1992). В других случаях такое собеседование может проводится в обычном порядке в органе социального обеспечения, и критерием для участия в программе при этом служит отсутствие противоречий в представленной претендентом информации28.

4.1.2. Факторы, определяющие действенность этого механизма Из десятки лучших согласно рейтингу, выведенному из нашего показателя результатов, программ в шести странах (программы социальной помощи в Эстонии, Доминиканской Республике, Венгрии, Йемене, Польше и Румынии) применяли оценку нуждаемости;

эту методику использовали и в ряде других программ, для которых показатели результата превысили 1: программы детских пособий в Узбекистане и Польше и программа социальной помощи в Латвии. Действенность обеспечения адресности в огромной степени зависит от способности собирать надёжную информацию о совокупном доходе при разумных затратах. Для этого нужен либо иметь доступ к информации об официальной занятости или налоговой информации, с помощью которой можно проверить сообщённый доход, либо непосредственно собирать данные о доходе домохозяйств, их благосостоянии и/или потреблении. Эти характеристики обычно присутствуют в странах с более высоким уровнем дохода, и в нашей базе данных есть свидетельства, на основании которых можно заявить: если выбирается та или иная форма оценки нуждаемости, то результаты обеспечения адресности повышаются с уровнем дохода страны29.

Нам представляется, что данный подход достаточно широко распространён в системах, когда льготы по оплате медицинских услуг предоставляются в лечебных учреждениях. При этом решение о предоставлении таких льгот принимает медицинский работник;

если в основе такого решения лежит только собственное знание претендента этим работником, и работник уполномочен принимать решения, то данный механизм может служить примером обеспечения адресности силами общественности.

При оценке регрессии для подвыборки программ, в которых используют оценку нуждаемости, мы обнаружили, что результаты обеспечения адресности повышаются с уровнем дохода страны, хотя исходя из представленных выше соображений эти результаты следует воспринимать с осторожностью.

4.1.3. Издержки, связанные с оценкой нуждаемости Представляется, что для оценки нуждаемости характерны более высокие издержки, связанные со сбором и проверкой информации, чем в других методах, хотя надёжных данных об этом немного30. Они могут выражаться в административных издержках программы или в частных издержках для бенефициаров. Затраты, связанные со сбором полной информации о доходе или потреблении домохозяйств в ходе посещений на дому, могут достигать уровня в несколько долларов на каждое посещение. С другой стороны, приходы в офис могут отнимать у кандидатов на участие в программе много времени и требовать расходов на получение необходимых документальных подтверждений и оплату проезда до офиса (возможно, такие поездки будут совершаться неоднократно). Эти затраты можно сократить, упростив для бенефициаров доступ к офисам, предоставив им полную информацию о правилах участия и требуемых документах, а также создав для офисов возможности эффективно рассматривать поступающие заявления. Применение оценки нуждаемости в сочетании с другими методами обеспечения адресности тоже может привести к снижению затрат: так, можно избежать издержек, связанных со сбором информации о домохозяйствах или индивидах, для которых шансы участия в программе невелики.

Издержки «социального клейма», возникающие в связи с применением оценки нуждаемости (напр., когда бенефициары должны публично заявить о том, что они бедны, или предпринять определённые действия, чтобы получить право на участие в программе), также означают, что эта методика может оказаться неоднозначной с политической точки зрения. Есть мнения, согласно которым текущий доход – не слишком подходящий индикатор доступа к возможностям, и что именно последний аспект требует действий со стороны государства. Другие полагают, что требования по сбору информации, необходимой для оценки нуждаемости – недопустимое вмешательство в частную жизни граждан. Однако там, где оценка нуждаемости рассматривается как инструмент, закрывающий доступ к благам для «недостойных», такие издержки могут представляться привлекательными, - особенно в глазах тех, кто полагает, что финансирует эти программы.

Если в основе оценки нуждаемости лежит доход, то может возникнуть отрицательный стимул к получению дохода и, в конечном итоге, к работе. Этот отрицательный стимул объясняется так: если с ростом дохода, полученного в результате работы, размер пособий сокращается, то чистый прирост дохода для домохозяйства оказывается меньше. Если такие сокращения значительны (как это было в Великобритании до начала 1990-х годов), то домохозяйства оказываются в «ловушке бедности» (Dilnot and Stark, 1989). Иногда присутствуют и другие требования: показать, что реципиент занимается чем-то «стоящим»

- трудится, учится, активно ищет работу, ухаживает за малолетними детьми, больными или Как отмечалось выше, отсутствие данных о затратах не позволяет делать подобные заявления с большей категоричностью. Наши данные говорят о том, что медианные затраты на перевод бенефициару $1 в программах с использованием оценки нуждаемости составляют $1,38 по сравнению с $1,16 там, где эта методика не применяется;

впрочем, мы не можем сделать такое сопоставление с учётом типа программы. Административные издержки и затраты, связанные с обеспечением адресности в программах с использованием оценки нуждаемости, которые приведены в работе Grosh (1994, pp.36-38) как правило выше, чем для других методов и составляют порядка десяти процентов от общей стоимости программы. Наконец, Atkinson (1995) показывает, что административные издержки, связанные с выплатой социальной помощи семьям в Великобритании (так называемый «семейный кредит»), достигают 5,3 процентов от суммы выплат и вдвое превышают издержки, связанные с предоставлением всеобщего детского пособия;


это говорит о том, что применение оценки нуждаемости обходится в 2-3 процента от стоимости всей программы.

нетрудоспособными членами домохозяйства. Хотя мотив к введению такого требования очевиден, следить за его соблюдением бывает непросто. Для этого нужна подробная и непрерывная информация, которую сложно проверять или анализировать. Каков критерий оценки того, насколько настойчиво человек ищет работу? Каков должен быть возраст детей, чтобы давать родителю право не работать? Такая «отладка» систем стимулов в странах с низким и средним доходом встречается редко;

впрочем, недавно были введены несколько программ, где выплата пособий привязана к посещению детьми школы и получению ими медицинских услуг.

4.1.4. Когда целесообразно применять данную методику?

Оценка нуждаемости применима в странах, располагающих значительными административными возможностями, где подробно отражаются экономические операции, что позволяет проверять доход с привлечением третьих сторон или по документам, представленным претендентом на участие в программе. Поскольку данная методика достаточно сложна, её лучше использовать в программах, где размер пособий велик.

Действительно, в программе с очень крупными пособиями простейшие методы обеспечения адресности (напр., использование демографического, географического критерия или самоадресование) вряд ли окажутся достаточными.

Оценка нуждаемости в меньшей степени пригодна для стран, где административный потенциал ниже;

кроме того, эту методику нецелесообразно использовать при реагировании на шоки. Среди стран с подушевым доходом ниже 1 000 долларов США по ППС одной из худших оказалась программа GAPVU (денежные трансферты в городах Мозамбика), в которой использовали оценку нуждаемости. Результаты осуществления программы в разных городах были весьма неровными, широкое распространение коррупции (в списки бенефициаров вносили «мёртвые души») соседствовало с таким жёстким применением оценки нуждаемости, что в один из периодов в Мапуту пособия получали лишь 0,6 процента от целевой группы (Правительство Мозамбика, 1998 г.) Показатель результата для GAPVU составил 1,05, т.е. выгоды от программы распределялись почти также, как если бы их предоставление было случайным. В конечном итоге программу закрыли и ввели снова в пересмотренном варианте, получившем название INAS (Национальный институт социальных действий).

4.2. Балльная методика оценки нуждаемости Из-за сложностей, связанных со сбором и проверкой подробной информации о доходе или потреблении домохозяйств, во многих развивающихся странах правительства и специалисты в области развития предпринимали попытки найти варианты, которые позволили бы обойти эти сложности. В этом разделе мы рассмотрим механизм действия и способы применения одного из таких вариантов, - балльной методики оценки нуждаемости. В нашей выборке представлены девять программ из пяти стран (три из Латинской Америки и по одной – из региона ЕЦА и Восточной Азии), в которых использована эта методика. Этот подход появился в арсенале средств обеспечения адресности сравнительно недавно. Впервые он был опробован в Чили в рамках программы Ficha CAS в 1980 г. С тех пор за его применением внимательно следили, а приёмы его использования со временем совершенствовались (Larranaga, 2003;

Wodon and Clert, 2000;

Sancho, 1992;

Racynzsky 1991;

Casteneda, 1990). Данная методика получила широкое распространение в Латинской Америке;

масштабные системы, построенные на балльной методике оценки нуждаемости, появились в Колумбии (впервые – в отношении субсидируемых услуг по медицинскому страхованию, затем – для нескольких программ обусловленных денежных трансфертов, общественных работ и стипендий для профессионального обучения;

Castaneda, 2003) и Мексике (обусловленные денежные трансферты;

Skoufias et al., 2001, and Coady, 2001). В ряде других стран Латинской Америки (Аргентина, Коста-Рика, Эквадор, Ямайка, Гондурас, Никарагуа) программы с использованием этой методики находятся в стадии разработки и данные о результатах их осуществления пока отсутствуют. Однако опыт их применения уже не ограничивается латиноамериканским регионом. С 1994 года балльная методика оценки нуждаемости используется для распределения гуманитарной помощи и денежных трансфертов в Армении (World Bank, 1999 and 2003), а в Индонезии она применяется для адресного предоставления субсидируемого риса (Sumarto et al. 2000). В 2002 г. такая система была внедрена в Турции, став элементом пакета мер в ответ на финансовый кризис (Ayala, 2003). В ряде других стран (напр., России, Египте и Зимбабве, а на момент выхода из печати данной книги – Шри-Ланке) с этой методикой велись эксперименты, но полномасштабного её внедрения не было.

4.2.1. Механизм работы В балльной методике оценки нуждаемости применяется относительно небольшое количество характеристик домохозяйств для выведения определённого балла, который показывает уровень благосостояния домохозяйства. Затем на основании этого балла определяют право на получение пособий, а также, возможно, и размер таких пособий.

Первый этап в применении данной методики – отобрать несколько переменных, которые тесно коррелируют с бедностью и обладают тремя свойствами: (i) их число должно быть достаточно мало, чтобы можно было применить балльную методику оценки нуждаемости к значительной доле населения (не менее трети его), которое может обратиться в программу;

(ii) измерять или наблюдать отобранные переменные должно быть несложно;

и (iii) домохозяйствам должно быть относительно трудно манипулировать ими, чтобы получить право на участие в программе. Как правило, такие переменные извлекают из баз данных подробных обследований домохозяйств, напр., обследования бюджета домохозяйств или опроса по нескольким темам, в которых представлена детальная информация о потреблении, занятости, образовании, состоянии здоровья, жилищных условиях и структуре семьи. В большинстве случаев отобранные переменные включают в себя показатели местоположения дома семьи, его качества, владения товарами длительного пользования, демографической структуры домохозяйства, участии в экономической деятельности, роде занятий или секторе работы для взрослых, а иногда – частичные показатели дохода. Как правило, используют около двух десятков переменных.

После того, как переменные подобраны, каждой из них с помощью статистических методов присваивают определённый вес. Традиционный подход предполагает применение анализов регрессии: общий доход или потребление домохозяйства регрессируют по некоторым переменным. Нередко такие регрессии рассчитывают параллельно по регионам (напр., по провинциям или городу/селу), так чтобы вес переменных различался в зависимости от региона. Данный процесс часто имеет итеративный характер: изначально отобранные переменные оцениваются с помощью более тщательного статистического анализа с точки зрения их предсказательной способности, т.е. того, насколько они коррелируют с доходом домохозяйства. Иногда для облегчения подсчёта баллов в полевых условиях значения весов округляют. Если вместо анализа регрессии используют анализ основных компонентов, то применяются аналогичные процедуры.

Во всех странах функции по выработке базовых положений системы (т.е. подбор переменных, разработка форм, руководств и т.п.) сосредоточены в одной структуре национального правительства, как правило – в министерстве планирования или социального обеспечения. В разных странах заполнением регистрационных форм и вводом данных по сотням тысяч или миллионам претендентов на участие в программе занимаются сотрудники разных ведомств. В Чили проверки проводят на уровне муниципалитетов (Larranaga, 2003). В Армении этим занимаются сотрудники Министерства социального обеспечения (World Bank, 1999). В Мексике первую волну регистрации в каждом районе проводили специально привлечённые временные работники, однако в конечном итоге эти функции стали выполнять люди, найм и организацию работы которых непосредственно осуществляли ответственные за программу (Skoufias et al., 2001).

Столь интенсивная работа в рамках первой волны при «запуске» балльной методики оценки нуждаемости – традиционный и рекомендуемый подход при внедрении такой системы.

Удачно работающие системы предполагают периодическое переосвидетельствование бенефициаров с тем, чтобы убедиться: лица, чьё благосостояние улучшилось, покидают систему. (В конкретных программах могут присутствовать и другие ограничения на продолжительность участия, по возрасту или иным критериям). Переосвидетельствование позволяет также обновить систему баллов. Вместе с тем, несмотря на то, что оно может повысить точность адресования, этот шаг сопряжён и с дополнительными расходами. Нам неизвестна ни одна страна, где такое переосвидетельствование происходило бы чаще, чем раз в год. В некоторых странах периодичность составляет три года. Довольно часто регулярный цикл переосвидетельствования отсутствует;

вместо него присутствуют длительные интервалы, когда переосвидетельствование не проводится, за которыми следуют бессистемные решения, предполагающие переосвидетельствование всех участников.

Иногда система выведения баллов обнародуется. Теоретически при этом следуют идеалу прозрачности. Отдельные претенденты на участие в программе или представители их интересов могут проверить, справедливо ли была рассмотрена их заявка, а общественность получает полную информацию об избранном варианте и может обсуждать приемлемость той или иной формулы.

В Армении такие формулы представляют открыто, их помещают на стендах в органах социального обеспечения. Однако качественная работа в поле (Gomart, 1998a) показала, что даже в обществе, где присутствует всеобщая грамотность, а уровни высшего и профессионального образования чрезвычайно высоки, суть формул понимали не очень хорошо, особенно потому, что они представляются в математическом виде и в специальной системе обозначений. В Чили формула была известна всем в течение нескольких лет, а баллы, присваиваемые ответу на каждый вопрос, указывались на бланке заявки, так что интервьюер мог подсчитать общий балл претендента непосредственно на месте. Но в 1987 г. правительство пересмотрело формулу на основании новой базы данных и приняло решение «засекретить» её;

это отчасти объяснялось тем, что из-за сложности эту формулу нельзя было доходчиво представить людям, а отчасти – опасениями того, что претенденты на участие в программе слишком чётко будут представлять себе, как давать взятки социальным работникам (Sancho, 1992). Впрочем, у нас нет данных, которые говорили бы о том, что лежит в основе этого опасения: реальные случаи или гипотетическая возможность.

Главной чертой балльной методики оценки нуждаемости, которую кто-то считает достоинством, а кто-то – недостатком, является то, что расчёт потребности осуществляется по формуле. Достоинство в том, что можно делать неоднократные суждения на основании последовательных и очевидных критериев. Поскольку используемую информацию достаточно несложно собирать и интерпретировать, грамотное применение балльной методики оценки нуждаемости должно гарантировать «горизонтальную» справедливость, одинаковые или схожие домохозяйства (по крайней мере, с точки отобранных переменных) будут одинаково рассматриваться разными сотрудниками или одним и тем же сотрудником в разные дни (или в разном настроении). Кроме того, обучение применению этой методики может быть достаточно простым, и не обязательно наполнять его содержательную часть значительным объёмом социальной работы. Удобно и то, что степень справедливости этих положений можно отслеживать количественно. Для правительства, которое борется с фактической или кажущейся коррупцией или политизацией процесса допуска в программу, эта характеристика будет весьма ценной.

Оборотной стороной формулы является её негибкость: она не способна учитывать конкретные обстоятельства, присутствующие в домохозяйстве. Формула составлена так, чтобы давать верные результаты «в среднем», но неспособна верно отнести к той или иной категории каждое домохозяйство.

4.2.2. Факторы, определяющие действенность этого механизма Действенность систем обеспечения адресности, в которых применяют балльную методику оценки нуждаемости, зависит от множества факторов. Во-первых, необходимо иметь возможность выявить переменные, присутствующие в обследованиях, которые имели бы тесную корреляцию с доходом домохозяйства, были бы наблюдаемы и не могли бы легко поддаваться манипуляции со стороны домохозяйств, желающих попасть в программу.

Часто формулы в лучшем случае объясняют лишь половину вариативности потребления в разных домохозяйствах, а нередко и гораздо меньше. Так, в системе нормирования продовольствия в Египте используемые переменные объясняли только 43% от общей вариативности потребления (для сравнения: наиболее полная модель объясняла 62%) (Ahmed and Bouis, 2001). Кроме того, предсказания для каждого отдельно взятого домохозяйства (даже в отсутствие смещения) содержали значительные стандартные отклонения;

в нынешней практике использования балльной методики оценки нуждаемости этот факт не принимается в расчёт. В Армении разные варианты формул объясняли лишь четверть от общей вариативности (Grosh and Glinskaya, 1998).

При использовании существующих обследований домохозяйств в качестве основы для выбора переменных также исключаются многие переменные, которые могли бы предложить внимательные сотрудники, работающие в поле. Например, в Армении социальные работники, обходившие домохозяйства, обращали внимание на наличие или отсутствие мусорных мешков в мусорных вёдрах, а также на то, когда была приобретена одежда людей, - до или после обретения страной независимости и перехода к рынку (Gomart, 1998a and b). Такие показатели могут тесно коррелировать с доходом домохозяйства, но подобные вопросы отсутствуют в стандартных обследованиях, на основании которых строят применение балльной методики оценки нуждаемости;

из-за этого невозможно проверить эту гипотезу или придать веса таким вопросам в формуле выведения баллов. Несмотря на то, что в анкету обследования можно добавить некоторые особые вопросы, по-прежнему сохраняется задача: сделать так, чтобы социальным работникам было относительно легко наблюдать соответствующие характеристики, а домохозяйствам – сложно манипулировать ими.

Во-вторых, нужна информационная система, способная обеспечивать надёжный сбор информации от многочисленных домохозяйств, в частности – беднейших домохозяйств.

Для того, чтобы заполнять формы за каждого кандидата, требуются грамотные сотрудники. Пожалуй, именно это требование служит самым серьёзным препятствием для стран, где используют балльную методику оценки нуждаемости. Кроме того, для разработки системы присвоения баллов и надзора за её внедрением должна иметься небольшая группа специалистов, хорошо владеющих аналитическими навыками.

Используемые ресурсы ИТ могут включать в себя сложные компьютерные сети, которые рассчитывают баллы в ходе собеседования с претендентом на участие в программе и доводящие информацию до всех уровней программы в режиме реального времени;

другой вариант предусматривает подсчёт баллов вручную и применение отдельных компьютеров только для хранения итоговой информации.

Как и в случае с оценкой нуждаемости, для того, чтобы ошибки исключения были минимальными, следует уделять большое внимание административным положениям, связанным со сбором и проверкой информации. Независимо от того, насколько хорошо или плохо работает статистическая формула, если бедные не регистрируются для участия в программе, то она будет давать значительные ошибки исключения. Наш опыт показывает, что именно этот аспект не получает должного внимания. В некоторых государствах мы видим, что гораздо больше усилий и изобретательности направлено на решение статистических задач, имеющих отношение к отладке формулы, на осуществлении административных мер, призванных отсеять неправомочных участников, нежели чем на сокращение ошибки исключения посредством хороших программ охвата целевого населения.

Информацию о пособиях и процедурах необходимо доносить до участников на соответствующем языке и по соответствующим каналам (плакаты и листовки на рынках, сельских магазинах, местах религиозных отправлений, питейных заведениях, школах и клиниках, информирование лидеров общин и представителей НПО и прочие подобные меры лучше доходят до бедных, чем кампании в СМИ). Транзакционные издержки, связанные с регистрацией, должны быть низкими: в идеальной ситуации необходимо только одно посещение со стороны домохозяйства или ответственного работника, причём их встреча может происходить как на дому у претендента на участие в программе, так и в соответствующей организации (департамент социального обеспечения, больница и т.д.).

Социальные работники должны располагать временем и транспортом, чтобы вести консультативно-информационную работу, доходя до тех, кого обычно сложно регистрировать (лиц, не покидающих дома, больных и людей, проживающих в районах, удалённых от пунктов регистрации). Как уже отмечалось ранее, при особенно тщательном следовании этому подходу после начала программы предусматривается полная перепись населения в бедных районах, после чего регулярно проводятся информационные кампании. К требованиям представлять документы (напр., показывающих их национальную принадлежность, свидетельств о браке или рождении для членов домохозяйств, налоговые бумаги и т.д.) следует подходить критически, так как каждое такое требование потенциально может приводить к ошибкам исключения. Там, где эти требования присутствуют, желательны меры, позволяющие получать такие документы быстро и при низких транзакционных издержках. Однако международный опыт показывает: для того, чтобы выяснить, какие документы необходимы, и привести их в порядок, могут потребоваться неоднократные посещения офиса программы. Помимо временных и транспортных издержек может присутствовать плата за подготовку некоторых официальных бумаг, а получение других бумаг может быть связано с неформальными платежами, - всё это приводит к увеличению ошибок исключения.

Средством, благодаря которому с помощью административных положений снижаются ошибки включения (то, что должна обеспечивать сама формула), может стать посещение претендента на участие в программе на дому. Кампании информирования общественности, в которых разъясняют, что цель программы – служить бедным, могут формировать «эффект клейма», благодаря чему также сокращаются утечки. В большинстве программ, реализуемых в странах Латинской Америки, интервьюер или социальный работник при заполнении анкеты по балльной методике оценки нуждаемости должны посетить домохозяйство (Сoady, Grosh and Hoddinott (2003)). Благодя такому положению проверяют истинность информации, указанной в анкете. При этом также обеспечивается некоторый самоотбор: те, чьё благосостояние явно не позволяет претендовать на участие в программе, не будут стремиться к тому, чтобы попасть в неё. Однако для обхода претендентов на дому требуются ресурсы. В отличие от представленного варианта, в Армении посещения на дому при подаче заявок на участие в программе предусмотрены не были;



Pages:     | 1 || 3 | 4 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.