Мы продолжаем работать с вложенными данными: более мелкие единицы анализа (будем называть их составляющими 1-ый уровень) “вложены” в более крупные подгруппы (2-ой уровень). К примеру, если обратиться к хорошо уже знакомым нам панельным данным, то временные периоды “вложены” в пространственные единицы. Так, предикторы, изменяющиеся во времени, представляют характеристики первого уровня, в то время как изменяющиеся только в пространственной перспективе – характеристики второго уровня. А если, к примеру, взять кросс-секционные опросные данные (данные за одну волну опроса), то характеристики, изменяющиеся по респондентам – переменные первого уровня, а характеристики стран – соответственно, переменные второго уровня. Для возможности применения моделей со смешанными эффектами единиц анализа на 2-ом уровне должно быть не менее 30 (при этом чем изощреннее спецификация модели, тем более высоки требования к размеру выборки).
При этом сослаться лишь на структуру данных и размер выборки при объяснении выбора ME-моделей явно недостаточно, в первую очередь, необходимо отталкиваться от Ваших исследовательских гипотез. Здесь в фокусе рассмотрения оказываются не только разные стартовые условия (это лишь для разминки), но и моделирование разного характера связи между ключевыми предикторами и зависимой переменной. К примеру, Вы можете предполагать, что доверие политическим институтам и доход индивида по-разному связаны в разных странах, при этом если такие различия будут обнаружены, то попытаться объяснить, какой источник этих различий, с чем они связаны (а именно, с какими страновыми характеристиками, в чем специфика). Мы уже строили модель varying-slopes посредством включения переменных взаимодействия дамми-переменных и ключевого предиктора, однако в такой модели оценки неэффективны.
При построении ME-модели лучше всего действовать последовательно, усложняя спецификацию шаг за шагом. Рассмотрим последовательно пять ключевых шагов. Давайте условимся, что работаем с пространственным массивом данных, в котором есть более и менее крупные единицы анализа (к примеру, данные по индивидам, “вложенные” в страны; или временные периоды, “вложенные” в страны).
1. ANOVA-модель
Как ни странно, начинаем мы опять с ANOVA-модели. Эту модель также называют “пустой”, или “нулевой” моделью по причине отсутствия в ней объясняющих переменных. Запишем данную модель уже в обозначениях, принятых в записи моделей со смешанными эффектами:
\[y_{ij} = \gamma_{00} + u_{0j} + e_{ij}\] В такой модели \(\gamma_{00}\) – фиксированный эффект, показывающий среднее значение зависимой переменной.
\(u_{0j}\) – случайный эффект, отвечающий за межгрупповую изменчивость (в значении зависимой переменной, отклонения в стартовых условиях от среднего по всей выборке). Случайный эффект содержит в себе страновые характеристики, неучтенные в модели. Обратите внимание на то, что включением случайного эффекта в модель мы ничего не объясняем, мы просто в явном виде моделируем межгрупповую вариацию.
\(e_{ij}\) – ошибка на индивидуальном уровне.
Возникает вопрос, а зачем нам такая модель, в которой даже объясняющих переменных нет? Дело в том, что на первом шаге Определить, достаточно ли вариации объясняется на втором уровне. Для этого понадобится рассчитать внутриклассовый коэффициент корреляции (ICC).
\[ICC = \dfrac{Var(u_{0j})}{Var(u_{0j}) + Var(e_{ij})}\] Так, ICC показывает долю вариации зависимой переменной, объясняемой межгрупповыми различиями (страновой спецификой). В случае если получаются очень маленькие или, наоборот, очень высокие значения ICC, это свидетельствует о том, что нет необходимости в моделях, учитывающих неоднородность данных (зависимость единиц внутри групп), то есть, целесообразно принимать во внимание только один уровень.
2. Добавляем фиксированные эффекты на предикторы
По итогам построения ANOVA-модели мы получили вариацию случайного эффекта на константу и ошибки на индивидуальном уровне. Если стартовые условия значимо различаются, то мы можем попытаться понять, с чем это связано, с какими характеристиками на уровне стран. Наша задача – снизить долю необъясненной не только внутригрупповой вариации, но и межгрупповой, поэтому мы “вытаскиваем” из \(u_{0j}\) и \(e_{ij}\) переменные, изначально нами пропущенные, и включаем непосредственно в модель, оцениваем их взаимосвязь с зависимой переменной. Из \(u_{0j}\) “вытаскиваем” переменные 2-го уровня – страновые характеристики. Если мы подобрали релеватные (значимые для объяснения зависимой переменной) показатели на 2-ом уровне, тогда \(Var(u_{0j})\) должна снижаться.
\[y_{ij} = \gamma_{00} + \color{red}{\gamma_{01}Z_{j}} + u_{0j} + e_{ij}\]
Пояснение по субиндексам: первый субиндекс означает номер переменной, добавленной на первом уровне, второй субиндекс – соответственно, номер переменной, включенной в модель на втором уровне. В данном случае добавляем первый предиктор на втором уровне (первую страновую характеристику для объяснения изменчивости зависимой переменной, к примеру, как было на семинаре, уровень неравенства для объяснения показателя удовлетворенности жизнью), поэтому в \(\gamma_{01}\) первый субиндекс остается нетронутым (нет предикторов на 1-ом уровне), а вот второй меняется на один как первый предиктор на уровне страны. Добавляли ли бы еще страновые характеристики, были бы субиндексы (02), (03) и так далее
3. Продолжаем в том же духе: FE на предикторы первого уровня
Этот шаг можно объединить с предыдущим, необязательно последовательно добавлять сначала предикторы второго уровня, потом первого уровня, можно сразу все вместе. Вносим в модель изначально пропущенные предикторы первого уровня, скрывающиеся в \(e_{ij}\). В нашем случае – это индивидуальные характеристики респондентов. Если мы предложили релеватные (значимые для объяснения зависимой переменной) показатели на 1-ом уровне, тогда \(Var(e_{ij})\) должна снизиться.
\[y_{ij} = \gamma_{00} + \gamma_{01}Z_{j} + \color{red}{\gamma_{10}X_{ij}} \color{black}{+ u_{0j} + e_{ij}}\]
Пояснение по субиндексам: Здесь, наоборот, добавили первую объясняющую переменную на первом уровне, к примеру, доход индивида, поэтому первый субиндекс у \(\gamma\) единичка, а второй – без изменений, 0, в этой переменной – нет страновой характеристики. Добавляли бы дополнительные предикторы на первом уровне, субиндексы были бы далее (20), (30) и так далее.
4. Учитываем различия во взаимосвязи
В предыдущей модели мы исходим из предположения о том, что у нас одинаковый характер взаимосвязи \(X_{ij}\) и \(y_{ij}\). Но здесь нужно признать, что в ряде случаев это содержательно неоправданно. Поэтому мы обращаемся к такой модели:
\[y_{ij} = \gamma_{00} + \gamma_{01}Z_{j} + \gamma_{10}X_{ij} + u_{0j} + \color{red}{u_{1j}X_{ij}} + e_{ij},\]
где \(u_{1j}\) – межгрупповая изменчивость в характере взаимосвязи.
Если \(\gamma_{10}\) показывает, какую в среднем взаимосвязь предиктора первого уровня (к примеру, в нашем случае, дохода индивида) и отклика (удовлетворенности жизнью) по всей выборке мы наблюдаем при прочих равных, то \(\hat{u}_{1j}\) демонстрирует, как отклоняется от среднего по всей выборке взаимосвязь того же предиктора первого уровня и отклика в j-ой стране. Если вспомнить модель с переменными взаимодействия между дамми на страны и объясняющей переменной (расширение исходной FE-модели), то там была интерпретация в терминах отклонения взаимосвязи от базовой категории, а в данном случае – в представленной ME-модели – отклонение от среднего по всей выборке.
Вопрос: а можем ли мы включить случайный эффект для предиктора \(Z_j\), к примеру, \(u_{2j}Z_{j}\)?
Ответ: нет! Нам элементарно не хватит для этого информации, для каждой страны мы наблюдаем одно значение \(Z_{j}\) (на графике – одна точка), а значит и индивидуальный наклон для каждой отдельной страны получить не сможем.
5. Пытаемся объяснить: с чем связаны различия во взаимосвязи
В спецификации, построенной на 4-ом шаге, казалось бы, все хорошо, и мы делаем определенное продвижение в тестировании гипотез, непосредственно закладывая в модель различия во взаимосвязи. И снова вспоминаем о том, что дополнительный случайный эффект модель не улучшает, ничего нового не объясняет, просто мы таким образом представляем неоднородность.
Как же можно уточнить модель? Случайный эффект \(u_{1j}\) содержательно включает в себя страновые характеристики – потенциальное объяснение, почему взаимосвязь \(X_{ij}\) и \(y_{ij}\) разная. Давайте уменьшим долю необъясненной вариации, протестируем предикторы на страновом уровне в роли факторов-“условий” (модерация), перенося их последовательно в модель из случайного эффекта \(u_{1j}\). Если модератор на 2-ом уровне мы предложили подходящий (к примеру, если уровень неравенства – значимый для объяснения различий во взаимосвязи \(X_{ij}\) и \(y_{ij}\), то есть, в нашем случае дохода и удовлетворенности жизнью. Допустим, мы предполагаем, что при более высоком уровне неравенства снижение дохода будет оказывать более сильный отрицательный эффект на удовлетворенность жизнью), тогда и \(Var(u_{1j})\) будет уменьшаться.
Модель будет выглядеть так:
\(y_{ij} = \gamma_{00} + \gamma_{01}Z_{j} + \gamma_{10} X_{ij} + \color{red}{\gamma_{11}X_{ij} Z_{j}} + u_{0j} + u_{1j}X_{ij} + e_{ij},\)
где \(X_{ij} Z_{j}\) – переменная взаимодействия между на двумя уровнями (так как участвует и предиктор, изменяющийся по индивидам – доход индивида, и страновая характеристика – уровень неравенства), в англоязычном варианте известно как cross-level interaction.
\(\gamma_{11}\) – соответственно, коэффициент при такой переменной взаимодействия. Здесь мы ввели переменную и на первом, и на втором уровне, поэтому и субиндексы теперь (11).
\(u_{1j}\) – оставшаяся межгрупповая изменчивость во взаимосвязи, какая-то часть все равно останется необъясненной. К примеру, неравенство объяснило только часть различий во взаимосвязи, однако какие-то факторы все равно остались недоучтенными и до сих пор содержатся в случайном эффекте.
Здесь нужно также отметить, что несмотря на то, что мы говорим в терминах объяснения, как контекст обуславливает различия во взаимосвязи на индивидуальном уровне (в таком ключе легче и более интуитивно сформулировать гипотезы), все же говорить про однозначное направление причинно-следственной связи (модератор как причина) не стоит, речь скорее про совместную изменчивость. В статье авторства Steenbergen и Jones (2002), уже знакомой Вам, авторы обращаются к causal heterogeneity в качестве одного из обоснований оценивания ME-модели, однако с таким термином опять же нужно быть аккуратным, так как здесь в явном виде отсылка к интерпретации в терминах причинно-следственной связи. Моделирование неоднородности посредством случайных эффектов предполагает, что ряд страновых характеристик (имеется в виду, предикторов 2-го уровня, страна здесь как пример таких более крупных единиц анализа) будут изначально содержаться в случайных эффектах, и полностью избавиться от эндогенности при такой спецификации, конечно, очень тяжело.
Мы уже с Вами обсуждали допущения, в частности, обращаясь к той же статье авторства Steenbergen и Jones. Резюмируем:
Как и в классической линейной регрессии, предполагаем, что среднее ошибки равно 0. В нашем случае это справедливо для ошибок и на первом, и на втором уровне.
Изначально авторы статьи формулируют допущение гомоскедастичности (постоянных условных дисперсий ошибок), но при этом в сноске отмечают, что это допущение может быть ослаблено. Мы уже на примере классической RE-модели обсуждали, что там гетероскедастичность “зашита” в саму модель.
\(Cov(u_{oj}, u_{1j}) \neq 0\)
То есть, предполагаем, что случайные эффекты для константы и наклона могут быть скоррелированы. Пример положительной корреляции: при более высоких “стартовых” условиях наблюдаем более выраженную положительную взаимосвязь зависимой переменной и ключевого предиктора. Когда такое может быть? Как вариант, те страны, у которых изначально более благоприятные экономические условия, быстрее восстанавливаются после экономического кризиса, и наоборот.
При этом надо понимать, что эта корреляция не всегда значима, и в ряде случаев можно ограничиться допущением, что случайные эффекты не скоррелированы между собой. Так, модель будет экономнее, нет необходимости плодить параметры.
Мы изначально говорили, что единиц анализа на втором уровне должно быть как минимум 30 (и то это для самой экономной модели) для оценивания ME-модели. В условиях достаточной выборки предполагаем, что распределение ошибок приближается к нормальному. Конечно, наше предположение нужно предварительно проверять (все проверки посмотрим в рамках практикума).
Предполагаем отсутствие корреляции между случайными эффектами, с одной стороны, и ошибками на индивидуальном уровне. Из такого же допущения мы исходили, когда рассматривали классическую модель со случайными эффектами.
И снова наша любимая рубрика. Задания к семинару можно найти здесь.
Нам нужно рассчитать ICC. Следовательно, в представленной таблице нас будет интересовать вторая часть Random effects. Там, где мы видим обозначение Country (intercept), это вариация случайного эффекта на константу (\(Var(u_{oj})\)), где Residual – соответственно, вариация ошибки на индивидуальном уровне (\(Var(e_{ij})\)).
Подставляем нужные значения и считаем:
\[ICC = \dfrac{Var(u_{0j})}{Var(u_{0j}) + Var(e_{ij})} = \dfrac{1.657}{1.657 + 2.86} \approx 0.367\]
Получается, что примерно 36.7% изменчивости зависимой переменной относятся к межстрановым различиям (2-ой уровень), остальная доля вариации – изменчивость во времени (1-ый уровень). Это еще не повод говорить о том, что ME-модели – единственно возможная модель в этом случае, но на основе такого значения ICC мы понимаем, что нам нужно обратиться к такому классу моделей, которые учитывают неоднородность данных, зависимость единиц анализа внутри более крупных подгрупп.
\[Support_{ij} = \gamma_{00} + \gamma_{01}EUmembership_{j} + \gamma_{10}Male_{ij} + \gamma_{20}Age_{ij} + \gamma_{30}Ideology_{ij} + u_{0j} + {u_{1j}Ideology_{ij}} + e_{ij}\] Переписывая с подстановкой имеющихся оценок из выдачи, не забываем о том, что параметры для случайных эффектов – это не сами предсказанные значения RE, а их вариация, поэтому в модель их не записываем.
\[Support_{ij} = 5.504 + 0.166EUmembership_{j} + 0.152Male_{ij} - 0.233Age_{ij} + 0.019Ideology_{ij} + u_{0j} + {u_{1j}Ideology_{ij}} + e_{ij}\]
Если говорить о той картинке, которую мы наблюдаем для идеологии. Мы видим, что в среднем по всей выборке эффект самоидентификации по идеологической шкале на поддержку европейской интеграции незначим, однако значимая вариация соответствующего случайного эффекта говорит о том, что есть значимые межстрановые различия во взаимосвязи данной объясняющей переменной и поддержки европейской интеграции.
\[\begin{pmatrix} Var(u_{oj})&Cov(u_{oj}, u_{1j}) \\ Cov(u_{oj}, u_{1j}) & Var(u_{1j}) \\ \end{pmatrix}\]
Если мы в явном виде оцениваем ковариацию случайных эффектов, предполагая, что она принимает ненулевое значение и является значимой, тогда эта матрица будет называться неструктурированной. Оценивание ковариации имело бы смысл, если бы мы предполагали, что эффект самоидентификации по идеологической шкале на поддержку европейской интеграции зависит от исходного уровня поддержки европейской интеграции.
\(Sat_{ij} = \gamma_{00} + \gamma_{01}EnvPolicy_{j} + \gamma_{10} EnvPreferences_{ij} + \color{red}{\gamma_{11}EnvPreferences_{ij} EnvPolicy_{j}} + u_{0j} + u_{1j}EnvPreferences_{ij} + e_{ij}\)
Переменную взаимодействия включаем для того, чтобы отразить вторую гипотезу: “The impact of environmental policy and quality on citizens’ satisfaction with their country’s performance in socio-economic issues decreases with their individual environmental preferences.”
Так как cross-level interaction включен, без случайного эффекта на Environmental Preferences нам уже не обойтись.
Здесь мы обсудили недостатки эмпирической части статьи “Trust in the Police in 16 European Countries : A Multilevel Analysis”. Всем спасибо, кто участвовал в обсуждении!