Методология
Как мы считаем
Коротко: честно говорим, кто отвечал, проверяем различия на случайность и не делаем выводов по пяти ответам.
Кто отвечает
Взрослые, которые пришли по ссылке. Это не срез общества: среди участников больше тех, кто интересуется образованием и читает соцсети. Поэтому пишем «среди участников», а не «россияне считают».
Как устроена анкета
Сначала — вопрос исследования и гипотезы. Потом под них делаем анкету, а не наоборот.
Варианты ответов перемешиваются, чтобы первый в списке не получал лишних голосов. Иногда участники случайно попадают в группы с разным порядком вопросов — так видно, влияет ли сама анкета на ответы.
Если после начала опроса меняем формулировку, это новая версия анкеты. Ответы на разные версии смешиваем, только где вопросы совпадают.
Как считаем
- Средние — с 95% доверительными интервалами: видно, насколько оценка точна.
- Доли — с интервалами Уилсона, разница долей — с интервалом Ньюкомба.
- Две группы сравниваем тестом Уэлча и считаем размер эффекта Hedges g.
- Связи порядковых признаков — корреляция Спирмена.
- Когда проверяем десятки связей сразу, часть «находок» случайна. Поэтому применяем поправку Бенджамини–Хохберга.
Различие называем устойчивым, только если оно пережило поправку, интервал не задевает ноль, а в каждой группе от 30 человек. Группы меньше 10 человек не показываем совсем. Формулы проверены тестами против SciPy.
Связь — не причина
Если руководители отвечают не так, как специалисты, дело не обязательно в должности. Руководители в среднем старше, у них другое образование и доход. Мы описываем связи и называем другие возможные объяснения.
Как появляются выводы
Перед публикацией фиксируем данные на дату. Отчёт показывает только их, и новые ответы его не меняют. Обновили данные — в отчёте новая дата.
Иногда просим AI (Claude) поискать закономерности. Он не считает и не видит отдельных ответов — только готовые итоги. Каждую цифру в его тексте программа сверяет с расчётом. Что публиковать, решает автор.
Чему не стоит верить
Люди рассказывают о своём опыте по памяти, а память неточна. Ответы участников — это их взгляд на свою жизнь, а не протокол событий. Мы так их и читаем.
Все анкеты открыты. Например, анкета исследования «Чему должна учить школа?».