Современные методы оценивания эффектов от участия в программах: приложение к российской действительности

Методы  регрессии и соответствия нередко  используются при оценке воздействия  активной политики занятости. В публикации Дехеджия  [28] приводится анализ результатов Национальной демонстрационной программы создания рабочих мест в Германии. Это субсидируемая программа занятости, в рамках которой проводилось рандомизированное обучение различных групп мужчин и женщин, которых трудно трудоустроить. Авторы показывают, что оценки на основе балльной системы смогли реплицировать экспериментальные результаты для данных Национальной демонстрационной программы создания рабочих мест. Эффекты активной политики занятости в основном анализируются в развитых странах, а также в странах Центральной и Восточной Европы с переходной экономикой [38, 41, 42, 17, 18] 

Ангрист [3] использует методы соответствия и  регрессии для контроля наблюдаемых  различий между ветеранами, которые  записались добровольцами в Вооруженные  силы в период между 1979 и 1982 гг., и  не ветеранами. Мотивация стратегии  контроля в данном случае объясняется  тем, что военные отбирают добровольцев для Вооруженных Сил в основном на основе возраста, количества лет  обучения в школе, баллов за тесты. Очевидно, что первичное сравнение переоценивает  выгоды военной службы. В ходе исследования было выявлено, что эффект добровольной службы в армии является даже отрицательным  для некоторых категорий граждан.

Стоит отметить, что в некоторых случаях  неэтично проводить рандомизированный  эксперимент. Кохран (Cohran [26] приводит такой пример. В публикации проводится исследование эффектов курения относительно смертности. Рандомизированный эксперимент с людьми для изучения эффектов курения был бы не только неэтичным, но также и трудным для проведения. В таких случаях обычно используются не экспериментальные данные для изучения эффектов причинно-следственной связи. Такие эффекты, полученные в исследовании Кохрана [26], с контролем возраста и страны, в значительной степени отличаются от первичных сравнений смертности среди курильщиков и не курильщиков.  

Сравнение разностей 

К сожалению, во многих ситуациях существует вероятность  того, что участники программы  и индивидуумы, попавшие в контрольную  группу, будут отличаться по ненаблюдаемым  характеристикам, которые ассоциируются  с потенциальным исходом даже после осуществления контроля разностей  по наблюдаемым характеристикам. В  таких случаях участники и  не участники программы не могут  сравниваться напрямую. Однако если мы наблюдаем участников программы  до и после проведения программы, предполагается использовать участников программы до проведения программы  в качестве контрольной группы для  участников программы после проведения программы. Такое сравнение будет  «загрязнено» эффектом других событий, помимо участия в программе, которые  происходят между двумя периодами. Тем не менее если только доля совокупности принимает участие в программе, можно использовать группу не участников для сравнения в целях выявления  временной вариации исхода, который  не вызывается участием в программе. Оценка разностей основана на данной простой идее.

Кард [22] использует оценку разностей для  изучения эффекта иммиграции на занятость  местного населения. В исследовании Карда используется информация о  внезапной массовой миграции из Кубы на Майями, которая получила название Mariel Boatlift, для выявления последствий иммиграции для американского рынка труда. Важным компонентом анализа является отбор городов, которые используются для сравнения при получении оценки того, что бы произошло на рынке труда в Майями, если бы не было иммиграции кубинцев. Кард использует индивидуальные данные о занятости из Текущего обследования населения (CPS) по Майями и четырем городам для сравнения (Атланта, Лос-Анджелес, Хьюстон и Тампа-Санкт-Петербург), в которых тенденции в области занятости были аналогичны тенденциям, наблюдаемым в Майями. В соответствии с полученными результатами, нет свидетельств ухудшения ситуации на рынке труда из-за иммиграции.

В публикации Карда [23] используется простая стратегия  установления разностей для изучения эффекта повышения минимальной  заработной платы на занятость. В 1992 г. в Майями выросла минимальная  заработная плата, в то время как  в соседнем штате Пенсильвания она  осталась на том же уровне. Кард и  Кругер провели выборочное обследование сети закусочных в Нью-Джерси и Пенсильвании до и после повышения минимальной  заработной платы в Нью-Джерси. Авторы сравнивают изменения полной эквивалентной  занятости до и после повышения  минимальной заработной платы в  Нью-Джерси, наблюдаемых в Нью-Джерси и Пенсильвании. Такая простая  оценка разностей свидетельствует  о положительном, но при этом незначительном эффекте повышения минимальной  заработной платы в Нью-Джерси на занятость.   

Инструментальные  переменные

Во многих соответствующих условиях вполне вероятно, что наблюдаемые переменные не могли  бы объяснить всю зависимость  между отбором для участия  в программе и потенциальным  исходом. Кроме того, зачастую считается, что динамика, лежащая в основе переменной исхода, по которой сравниваются участники и не участники, отличается по участникам и не участникам, или  просто нет панельных данных. В  этом случае, если есть инструмент, который  определяет экзогенный отбор для  участия в программе, модели инструментальных переменных предоставляют альтернативную стратегию идентификации.

Методы  инструментальных переменных особенно подходят для анализа социальных экспериментов. Когда экспериментальными единицами являются люди, не всегда представляется возможным обеспечить безукоризненное исполнение экспериментального протокола. Некоторые индивидуумы, отнесенные к группе участников, могут, таким образом, оказаться в ситуации, когда они не приняли участие  в программе, в то время, как некоторые  индивидуумы, отнесенные к контрольной  группе, могут получить доступ к  программе и стать ее участниками. Данная проблема получила название несоблюдения протокола и повсеместно встречается  при проведении рандомизированных  оценок при участии людей. Методы инструментальных переменных вооружают  нас простой стратегией для решения  проблемы с несоблюдением протокола.

Ангрист [2] использовал годность к военной  службе, определенную на основе лотереи  военного призыва во времена войны  во Вьетнаме, в качестве инструмента  для военной службы во Вьетнаме. Такая лотерея проводилась каждый год в период с 1970 г. по 1972 год, в  лотерее использовались числа (от 1 до 365), определяющие дату рождения в  когортах призывников. Мужчины, которые  получали самые маленькие числа, призывались на военную службу на максимальный срок, который ежегодно устанавливался Министерством обороны. Продолжительность данного максимального  срока варьировалась от 95 до 195 в  зависимости от года. В публикации Ангриста [2] в качестве инструмента  определения статуса ветерана используется показатель годности к военной службе. То, что годность  к военной службе повлияла на вероятность призыва, а также ее случайный характер, делают данную переменную подходящим кандидатом для инструментирования статуса ветерана.

Используя данные системы социального страхования  о заработке и данные о статусе  ветерана из Обследования дохода и  участия в социальных программах, Ангрист [2] рассчитал эффект военной  службы во Вьетнаме относительно заработка  на гражданской службе. Оценка показывает значительный отрицательный эффект.   

Исследования  в России

Почти все проводимые исследования по России посвящены оценкам активной политики занятости.

В публикации Ахмедова, Денисовой и Карцевой [1] изучается эффективность активной политики занятости в России с  использованием микро данных. Авторы оценивают влияние активной политики на рынке труда на вероятность  повторной занятости, используя  административные данные на уровне индивидуума  из реестров служб занятости по двум российским регионам. Общий и групповой  эффект участия в программе оценивается  с использованием не экспериментального точного подхода соответствия. В  исследовании показано, что рассматриваемые  программы приводят к более длительному  периоду безработицы в одном  из регионов и помогают быстрее выйти  из состояния безработицы в другом регионе, при этом эффекты разнятся в 3-5 раз. 

В публикации Benus et al [16] дается сравнительный анализ программ профессионального переобучения, которые организуются государственными центрами занятости в России и Румынии. В частности, в публикации анализируется чистое воздействие программ в России и Румынии с использованием метода соответствия на основе балльной оценки (propensity score matching approach). Исследование базируется на результатах пост-программных обследований в двух странах, которые проводились авторами в начале 2004 года. Выборка участников и контрольная группа были сформированы на основе административных данных о гражданах, обратившихся в государственные службы занятости в двух российских и одном румынском регионе, за 2002 год. Анкета включала вопросы для получения информации об исходе (статусе занятости, стабильности работы, заработной плате и т.п.) участников программы и контрольной группы в течение года после участия в программе, вопросы о текущей ситуации с занятостью в двух группах, и об оценке участниками качества и полезности программы профессионального переобучения. Социо-демографические характеристики и данные о периоде до потери работы были получены из административных источников.

Метод балльной оценки использовался для  оценки эффекта участия в программе. Была проведена оценка общего и группового эффекта участия в программе (по разным возрастным группам, категориям образования, месту проживания и  статусу на рынке труда за предшествовавший период).

Анализ  воздействия программ профессионального  переобучения показывает, что эффект программ профессионального переобучения в России не является статистически  значимым для всех четырех показателей  исхода. Наоборот, воздействие программ в Румынии является статистически  значимым и положительным для  трех из четырех исходов. Более того, анализ воздействия программ в подгруппах показывает значительные вариации по подгруппам как в российских регионах, так и в Румынии.

В публикации Денисовой и Карцевой [29] представлено исследование программ социальной адаптации  и общественных работ, организованных Федеральной службой по труду  и занятости в России с использованием того же самого множества данных, что  и в публикации Benus et al (2004) .

Для оценки эффекта участия в программе  используется метод балльной оценки. Проводится оценка общего эффекта каждой программы в каждом из двух регионов. 

Анализ  воздействия программ показывает, что  воздействие программы социальной адаптации в первом регионе не является статистически значимым для  всех исходов, за исключением одного: оказалось, что она увеличивает  длительность безработицы. Воздействие  программы во втором регионе не является статистически значимым по всем четырем показателям исхода. Воздействие программы общественных работ, наоборот, является статистически значимым в части одного исхода в регионе 1 и в части трех исходов в регионе 2, остальные исходы не являются статистически значимыми.  

Выводы

Подводя итог, мы хотели бы подчеркнуть следующее.

• Не существует общих рецептов относительно эффективности государственных программ. Одна и та же программа может оказаться эффективной в одной стране и не быть эффективной в другой стране. Более того, существует значительная вариация воздействия государственных программ на подгруппы участников. Следовательно, важно проводить исследование для оценки воздействия применительно к любой государственной программе.
• Важно, чтобы проводилась оценка не только крупномасштабных государственных программ, которые находятся на стадии реализации, но также проводилась апробация программ и политики, которые планируются для реализации. Пилотная апробация программ важна как для разработки структуры программы, так и для принятия решения о целевых группах и категориях.
• Сбор данных и администрирование оценки государственных программ обходится дорого. Выгоды, получаемые от оценки воздействия программы, однако, могут превзойти связанные с такой оценкой затраты, особенно, если анализ общего воздействия сопровождается оценкой эффектов для подгрупп. Опыт стран, которые включили оценку государственных программ в свою повседневную бюрократическую деятельность, свидетельствует о том, что такие исследования помогают политикам улучшить качество структуры программ, а также, во многих случаях, изменить направленность программ, способствуя росту общественного и индивидуального благосостояния.
• Один из аспектов исследования оценки программ связан с политэкономией. Важно обеспечить, чтобы такие исследования и их результаты рассматривались в качестве возможности улучшить качество предоставляемых государственных услуг, а не в качестве основы для оспаривания компетенции государственной службы (и государственных служащих), отвечающей за программы. Неспособность сформировать конструктивный взгляд на проводимую оценку программ могла бы привести к серьезному сопротивлению в части проведения исследований оценки, и, в конечном счете, к потере благосостояния.

Литература

1. Akhmedov, Akhmed,  Irina Denisova and Marina Kartseva  (2003) “Active Labor Market Policies in Russia: Regional Interpretation Determines Effectiveness?” , CEFIR working paper
2. Angrist , Joshua D.(1990), “Lifetime earnings and the Vietnam Era Draft Lottery: evidence from Social Security Administrative Records, ” American Economic Review 80:313-335
3. Angrist , Joshua D.(1998), “Estimating the Labor Market Impact of Voluntary Military Service Using Social Security Data on Military Applicants”, Econometrica 66(2):249-288
4. Angrist, Joshua and Alan Krueger (1999), “Empirical Strategies in Labor Economics” In Orley Ashenfelter and David Card, eds., Handbook of Labor Economics, vol.3A.Amsterdam: North Holland
5. Angrist, Joshua and Alan Krueger (2001), “Instrumental Variables and the Search for Identification: From Supply and Demand to Natural Experiments”. Journal of Economic Perspectives 15(4): 69-85
6. Angrist, Joshua D and Krueger, Alan B (1991), “Does Compulsory School Attendance Affect Schooling and Earnings?” , The Quarterly Journal of Economics 106(4): 979-1014.
7. Angrist, Joshua D. and Victor Lavy (1998), “Using Maimonides Rule to Estimate the Effects of Class Size on Scholastic Achievement”, Quarterly Journal of Economics 114(2), 533-575
8. Angrist, Joshua D. and William N. Evans (1998), “Children and Their Parents’ Labor supply: Evidence from Exogenous Variation in Family Size”, American Economic Review 88(3): 450-77
9. Angrist, Joshua, Eric Bettinger, Erik Bloom, Elizabeth King, and Michal Kremer (2002) “Vouchers for Private Schooling in Columbia: Evidence from Randomized Natural Experiment”. American Economic Review 92(5): 1535-58
10. Ashenfelter, Orley A. (1978), “Estimating the Effect of Training Programs on Earnings”, Review of Economics and Statistics 60(1): 47-5
11. Ashenfelter, Orley A. and Joseph D. Mooney (1968), “Graduate Education, Ability and Earnings”, Review of Economics and Statistics 50(1): 78-86
12. Ashenfelter, Orley and Card, David (1985), "Using the Longitudinal Structure of Earnings to Estimate the Effect of Training Programs," The Review of Economics and Statistics, 67(4): 648-660
13. Ashenfelter, Orley and Krueger, Alan B. (1994), "Estimates of the Economic Returns to Schooling from a New Sample of Twins," American Economic Review 84(5): 1157-73.
14. Baherjee, Abhijit, Suraj Jacob, and Michael Kremer with Jenny Lanjouw and Peter Lanjouw (2001) “Promoting School Participation in Rural Rajasthan: Results from Some Prospective Trials”. Harvard University and Massachusetts Institute of Technology, Cambridge
15. Behrman, Jere, Zdenek Hrubec, Paul Taubman and Terence Wales (1980), “Socioeconomic Success: a Study of the Effects of Genetic Endowments, Family Environment and Schooling” North Holland, Amsterdam
16. Benus ,Jacob, Raluca Catrinel Brinza , Vasilica Cuica, Irina Denisova and  Marina Kartseva, (2004) “Re-Training Programs in Russia and Romania: Impact Evaluation Study”, CEFIR working paper
17. Benus, Jacob M., Neelima Grover (1998)"The Impact of Active Labor Programs in Turkey," Abt Associates, July.
18. Benus, Jacob M., Neelima Grover, J. Birkovsky, and J. Rehak (1998)"The Impact of Active Labor Programs in the Czech Republic," Abt Associates, May 1998
19. Bloom H.S., L.L. Orr, S.H. Bell, G. Cave, F. Doolittle, W. Lin and J.M. Boss (1997), “The Benefits and Costs of JTPA Title-II Programs. Key Findings from the National Job Training Partnership Act Study”, Journal of Human Resources, vol.32, 549-576
20. Bronars, Stephen G. and Jeff Grogger (1994), “The Economic Consequences of Unwed Motherhood: Using Twins as a Natural Experiment”, American Economic Review 84(5):1141-1156
21. Card, David (1999), “The Casual Effect of Education on Earnings”. In Orley Ashenfelter and David Card, eds., Handbook of Labor Economics, vol.3A.Amsterdam: North Holland
22. Card, David E. (1990), “The Impact of Mariel Boatlif on Miami Labor Market”, Industrial and Labor Relations review 43:245-257
23. Card, David E. and Alan Krueger (1994), “Minimum Wages and Employment: a case Study of the Fast-food Industry in New Jersey and Pennsylvania”, American Economic Review 84(4):772-784
24. Card, David, and Daniel G. Sullivan (1988), “Measuring the Effect of Subsidized Training Programs on Movements in and out of Employment”, Econometrica 56(3) , 497-530
25. Chamberlain, Gary (1978), “Omitted Variables Bias in Panel Data: Estimating the Returns to Schooling”, Annales de I’INSEE 30-31:49-82
26. Cohran, W.G. (1968). “The Effectiveness of Adjustment by Subclassification in Removing Bias in Observational Studies”, Biometrics, vol.24, 295-313
27. Cullen, Julie Berry, Brian Jacob, and Steven Levitt (2002) “Does School Choice Attract Students to Urban Public Schools? Evidence from 1000 Randomized Lotteries”. University of Michigan, Ann Arbor. Processed.
28. Dehejia, Rajeev H., and Sadek Wahba (1999) "Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs." Journal of the American Statistical Association, vol. 94, no. 448, pp. 1053-1062
29. Denisova, Irina and Kartseva, Marina (2004) “Evaluation of Social Adaptation and Public Works Program in Russia ” , CEFIR working paper
30. Freeman, Richard B. (1994), “Longitudinal Analysis of the Effects of Trade Unions”, Journal of Labor Economics 2: 1-26
31. Gertler,Paul J., and Simone Boyce (2001), “An Experiment in Incentive-Based Welfare: The impact of PROGRESA on Health in Mexico”. University of California, Berkley. Processed.
32. Grilliches, Zvi (1977), “Estimating the Returns to Schooling: Some Econometric Problems”, Econometrica 45(1): 1-22
33. Grilliches, Zvi and William M. Mason (1972), “Education, Income and Ability”, Journal of  Political Economy 80(3): S74-S103
34. Hansen, W.Lee, Burton A. Weisbrod and William J. Scanlon (1970), “Schooling and Earnings of Low Achievers”, American Economic Review 60(3): 409-418
35. Hausman, Jerry A. and William E. Taylor (1981), “Panel Data and Unobservable Individual Effects”, Econometrica 49(6):1377-1398
36. Hearst, Norman, Thomas Newman and Steven Hulley (1986), “Delayed Effects of Lottery Draft on Mortality: a Randomized Natural Experiment” et al (1986), New England Journal of Medicine 314: 620-624
37. Heckman, James J. and Brook S.Payner (1989), “Determining the Impact of Antidiscrimination Policy on the Economic Status of Blacks: a Study of South Carolina”, American Economic Review 79(1):138-177
38. Heckman, James J., Hidehiko Ishimura and Petra E.Todd (1997), “Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job Training Programme”, Review of Economic Studies 64, 605-54
39. Holland, Paul W. (1986), “Statistics and Casual Inference”, Journal of the American Statistical Association 81: 945-970
40. Imbens, Guido and van der Klaauw, Wilbert (1995). "Evaluating the Cost of Conscription in The Netherlands," Journal of Business and Economic Statistics 13(2), 207-215.
41. Kluve, Jochen, Hartmut Lehmann, and Cristoph M.Schmidt (1999), “Active Labor Market Policies in Poland: Human Capital Enhancement, Stigmatization, or Benefit Churning?”, Journal of Comparative Economics 27, 61-89
42. Kluve, Jochen, Hartmut Lehmann, and Cristoph M.Schmidt (2002), “Disentangling Treatment Effects of Active Labor Market Policies: Evidence from Matched Samples”, William Davidson Working Paper Number 447
43. Krueger, Alan B & Pischke, Jorn-Steffen, 1992. "The Effect of Social Security on Labor Supply: A Cohort Analysis of the Notch Generation," Journal of Labor Economics 10(4), pages 412-437
44. Meyer, Bruce D. (1995), “Natural and Quasi-experiments in economics”, Journal and Business and Economic Statistics 13(2): 151-161
45. Pearl, J. (2001), “Causality: Models, Reasoning, and Inference”. New York: Cambridge University Press
46. Rosenbaum, P.R. (1995), Observational Studies. New York: Springler-Verlag. Chapter 2.
47. Rosenbaum, P.R., and D.B. Rubin (1984), “Reducing the Bias in Observational Studies Using Subclassification on the Propensity Score”, Journal of the American Statistical Assosiation, vol.79, 516-524
48. Rosenzweig, Mark R. and Kenneth I. Wolpin (1980), “Testing the Quantity-Quality Model of Fertility: the Use of Twins as a Natural Experiment”, Econometrica 48(1):227-240
49. Shultz, T.Paul. (2004) “School Subsidies for the Poor: Evaluating the Mexican PROGRESSA Poverty Program”. Journal of Development Economics,74(1):199-250
50. Solon, Gary R. (1985), “Work Incentive Effects on Taxing Unemployment Benefits”, Econometrica 53(2):295-306
51. Taubman, Paul (1976), “Earnings, Education, Genetics and Environment”, Journal of Human Resources 11(Fall), 447-461
52. Van der Klaauw, Wilbert, (1996), “A Regression-Discontinuity Evaluation of the Effect of Financial Aid Offer on College Enrolment”, Unpublished manuscript (Department of Economics, New York University)