Насколько надежны ваши доказательства?

Сегодня многие законодатели, доноры и продвинутые НКО выступают за разработку высоких стандартов данных, рекомендуемых для использования в рамках программ и политик, призванных решать сложные социальные проблемы. Новый, упрощенный научный подход к определению качества доказательств, предлагаемый американской организацией Meaningful Evidence, LLC, поможет повысить качество оценки действующих и перспективных программ, обеспечит процессы принятия решений достоверными сведениями, и увеличит вклад в развитие общества. Авторы подхода рассказывают об особенностях его применения со ссылкой на опыт программы «Помощь в экстренной ситуации» (CTI — Critical Time Intervention), нацеленной на борьбу с бездомностью людей, страдающих психическими расстройствами:

  • Шаг 1. Создайте карту доказательств: с ее помощью можно понять, какие виды данных потребуются для подтверждения эффективности инициативы, из каких источников будут поступать сведения, какая информация уже доступна, и что еще нужно получить. На сайте Social Programs that Work («Эффективные социальные программы»), созданном Коалицией «За политику, основанную на доказательствах» (The Coalition for Evidence-Based Policy), можно узнать об исследованиях, которые были проведены в рамках инициативы CTI и начинались с разработки карты.
  • Шаг 2. Составьте рейтинг доказательств: предлагаемая техника позволяет оценивать доказательства по таким параметрам, как качество применяемой методологии (приветствуется междисциплинарный подход); согласованность с показателями измерения эффективности (особое внимание уделяется количеству значимых элементов: в случае CTI это может быть «отсутствие у представителей целевой аудитории медицинских страховок» или «число ночей, проведенных на улице»); надежность источника информации; и практическая полезность для ключевых стейкходеров. Чтобы пользователи смогли получить объективное представление о качестве данных, эксперты подготовили наглядную матрицу, включающую три измерения:

(1)  Данные и факты. Если вы заглянете в отчеты программы CTI, то увидите, что девять из 11 элементов ее доказательной базы сформировались за счет информации, поступившей всего лишь из одного источника. В связи с этим собранный пул сведений не может подняться выше Уровня 1, предусмотренного для «наименее надежных данных». Тем не менее, четыре элемента опирались на результаты двух исследований и, соответственно, были признаны «более достоверными» и заслуживающими «более продвинутого» Уровня 2. А «сведений, подтвержденных результатами практического применения», которые могли бы соответствовать Уровню 3, оценщики не обнаружили.

(2) Признание ценности доказательств стейкхолдерами. По данному признаку доказательства CTI полностью соответствуют Уровню 1, поскольку все сведения поступили всего от двух аудиторий — бездомных женщин и исследователей. Чтобы добыть более убедительную информацию и выйти на Уровень 2, нужно провести интервью с расширенным составом причастных субъектов – со специалистами местных медицинских учреждений, социальными работники и госслужащими. А чтобы оказаться на Уровне 3, потребуется собрать консультативный совет, который поможет узнать мнения экспертов, ученых и других стейкхолдеров, действующих на местном, региональном и национальном уровнях.

(3) Толкование и наблюдение причинно-следственных связей. Девять (9) элементов доказательного пула CTI не демонстрируют таких связей и поэтому не могут подняться выше Уровня 1; четыре других элемента с одной связью вполне заслуживают Уровня 2; и только два элемента – «доступность медицинских услуг» и «экономия средств налогоплательщиков» — относятся к самому высокому Уровню 3 — потому что эти данные могут посодействовать принятию решений, открывающих путь к значительным социальным результатам.

Чем ближе вы находитесь к Уровню 3 (в каждом из трех измерений), тем надежнее и достовернее ваши сведения. Освободив доказательства от эмоциональных, идеологических и/или политических суждений, организация или программа может смело заявить миру о своих реальных достижениях. Предлагаемые техники уже помогли активным участникам социальных преобразований разработать эффективные политики и стратегии, но эксперты Meaningful Evidence рассчитывают на то, что аудитория сторонников простого и удобного подхода в ближайшем будущем заметно расширится.

Источник: The Stanford Social Innovation Review

Добавить комментарий