Архив рубрики: Оценка:вдохновляющие истории №1

Поставка актуальных данных «в ритме жизни»: уникальная услуга для работы в динамичном контексте

Без названия (1)Государственные агентства, фонды и другие доноры ежегодно направляют на борьбу с бедностью в развивающихся странах более 135 млрд долларов бюджетных средств и 15 млрд благотворительных ресурсов. Однако профессиональная оценка поддержанных инициатив, соответствующая требованиям научной точности, проводится (как ни странно) очень редко. А если и проводится, то исполнители и заказчики ждут результатов годами. Американское подразделение консалтинговой организации IDinsight (со штаб-квартирой в г. Нью-Дели, Индия) пытается решить эту проблему, предлагая некоммерческому сектору ускоренные и недорогие исследования, которые опираются на достоверные данные и помогают организациям корректировать стратегии и программы в оперативном режиме. «Все наши действия направлены на то, чтобы игроки социального сектора могли принимать решения, будучи осведомленными о том, какие модели или программы работают эффективно, какие оказались неэффективными, и каким образом их можно улучшить», — поясняет Эстер Су Ванг (Esther Hsu Wang), одна из четырех партнеров-учредителей подразделения IDinsight в г. Сан-Франциско (США), созданного в 2011 году на средства анонимного донора (100 000 долларов).

В целом можно сказать, что IDinsight предлагает некоммерческому миру два вида исследований:

  • Оперативный ответ на актуальный вопрос. IDinsight называет данную услугу «оценкой для принятия решения» (DFE — decision-focused evaluation). Она существенно отличается от традиционной практики мониторинга и оценки, решающей задачу подотчетности и демонстрации результатов, а также от научных исследований, которые обычно изучают новые направления и тенденции общего характера. «В отличие от привычных подходов, IDinsight оказывает содействие ‘принятию решений в режиме реального времени’, — так характеризует DFE Рут Левин (Ruth Levine), руководитель глобальной программы развития Фонда Уильяма и Флоры Хьюлетт (The William and Flora Hewlett Foundation). – Поэтому никто не ждет, что такое исследование увенчается публикацией вAmerican Economic Review».
  • Тестирование рынков. Одним из наглядных примеров данной работы является проект в Замбии. Государственные службы сферы здравоохранения решили выяснить, в какой мере «наборы для будущих мам» (распространяемые при условии, что женщины будут рожать детей в больницах и медицинских центрах) помогают увеличивать «показатель родов на базе медицинских учреждений», задержавшийся на отметке 43%. Также, заказчики хотели определить оптимальную цену набора, который женщины сочли бы достаточно привлекательным для выполнения поставленного условия. Команда IDinsight протестировала продукцию стоимостью от 4 до 50 долларов, и выяснила, что в аграрных (самых проблемных) районах страны недорогой набор, включающий всего три наименования — пеленку, подгузник и одеяло, способен улучшить показатель на 44%. По итогам данной работы, Министерство здравоохранения Замбии (The Zambian Ministry of Health) включило данный набор в список жизненно важных продуктов для здоровья.

Следует отметить, что многие НКО сомневаются в том, что актуальная информация и накопление знаний помогают улучшать законодательство и практику. И эти сомнения, к сожалению, не всегда беспочвенны. Более того, в ходе семинара, посвященного применению данных в социальной сфере (г. Лондон), глава британского аналитического агентства «Справочник социальных изменений» (The Directory of Social Change) Дебра Олкок Тайлер (Debra Allcock Tyler) отметила, что НКО затрачивают на подготовку отчетов много времени и сил, но полезной эту информацию не считают. При этом люди порой слишком сильно полагаются на собственный опыт, и не слишком верят в возможности систематического анализа данных. Тем не менее, специалисты IDinsight в содружестве с другими авторитетными экспертами сферы социальных преобразований стремятся переломить ситуацию и постепенно добиваются успеха: спрос на услуги IDinsight возрастает с каждым годом. С момента создания команда организации (объединяющая специалистов в сфере экономики, бизнеса, медицины, государственного / муниципального управления и т.д.) выполнила более 40 оценочных проектов  по заказу таких солидных клиентов как Всемирный банк (World Bank), Детский фонд ООН (Unicef), Фонд Билла и Мелинды Гейтс (The Bill & Melinda Gates Foundation), венчурный фонд (Acumen), Министерство здравоохранения Замбии и т.д. В ходе этих проектов исследователи изучили коррупцию в Индии, состояние онлайн образования в Руанде, особенности малого аграрного бизнеса в Западной Африке, и многие другие актуальные темы.

 Источник: The Chronicle of Philanthropy

Отчетливое представление о социальном результате – ключ к успеху

Без названия (1)Представители государства, инвесторы, филантропы, лидеры некоммерческих организаций и социальных предприятий – все хотят знать, каким образом меняется жизнь людей благодаря реализации общественно значимых инициатив, и настаивают на профессиональной оценке социальных результатов (outcomes). Повышенный интерес к развитию оценочной деятельности объясняется тем, что  НКО зачастую подсчитывают, сколько бездомных людей воспользовались услугами приюта, но не сообщают о том, какой процент клиентов в итоге покинул улицы; фиксируют количество детей, прошедших курс подготовки к школе, но не имеют информации о том, как улучшились навыки воспитанников; трудоустраивают молодежь, но не знают о том, насколько это обстоятельство повлияло на доходы и экономическую безопасность получателей помощи.

Распознать и определить масштабы и параметры изменений бывает непросто, но удачные примеры из практики уже есть. Консультанты американской организации «Капитал Третьего сектора» (The Third Sector Capital Partners) предлагают ознакомиться с опытом инициативы «Партнерство во имя успешной семьи» (PFS — Partnering for Family Success Program; штат Огайо, г. Кливленд), которая стремится к тому, чтобы дети из бездомных семей находились в фостерной системе как можно меньше. Программа, разработанная графством Кайахога и рассчитанная на пять лет, будет обслуживать 135 семей, нуждающихся в жилье и иных видах поддержки. Работу в рамках PFS вызвались финансировать несколько филантропических организаций, которые смогут вернуть вложенные ресурсы (в виде возмещения из бюджета графства) только при одном условии – если программа продемонстрирует четко обозначенные положительные социальные результаты. Для мониторинга, описания, измерения и анализа изменений была разработана специальная методика, основанная на «классических» вопросах, которыми обычно пользуются журналисты в процессе подготовки новостных репортажей:

  • К чему мы стремимся? Постановка цели – важнейшее дело: если формулировка будет туманной, то прийти к согласию относительно успеха (или провала) программы будет сложно. Первый вариант цели для программы PFS звучал как «снижение уровня бездомности среди семей, взаимодействующих с системой защиты детства». Но в ходе совместной работы заинтересованных сторон, которая включала изучение официальных данных и результатов обратной связи с представителями сообщества, цель обрела более четкие очертания и стала звучать более конкретно: «сокращение времени пребывания детей в системе патронатного воспитания».
  • Кому мы пытаемся помочь?Очертив для себя круг благополучателей, НКО могут более точно определять достижимые и адекватные социальные результаты. В качестве целевой аудитории программа PFS выбрала бездомные семьи с детьми, изъятыми органами опеки, и благодаря этому установила взаимосвязь между отсутствием жилья у родителей и продолжительностью пребывания детей в государственных учреждениях или фостерных семьях. Данный вывод помог сформулировать цель программы  и привлечь партнеров из разных секторов.
  • Чем объясняется выбор в пользу какого-либо конкретного подхода? Официальные данные графства Кайахога свидетельствуют о том, что семьи, нуждающиеся в жилье, в большинстве случаев также являются клиентами Службы помощи семье и детям. Поэтому программа PFS сочетает в себе сразу два вида услуг: обеспечение жильем и семейный консалтинг.
  • Когда мы узнаем о том, что добились успеха? После старта программы некоторые социальные результаты наблюдаются почти сразу, а другие виды изменений — только через несколько лет. Раньше графство использовало такие показатели, как «количество людей, получивших жилье», или «количество воссоединившихся семей». Но теперь появился показатель, отражающий ориентацию инициатив на долгосрочные горизонты – «сокращение количества дней, проведенных детьми в системе опеки и попечительства за последние пять лет».
  • Как мы узнаем о том, что добились успеха? Дебаты о лучших методах оценки социальных результатов продолжаются не первый год. Но графство Кайахога отдает предпочтение рандомизированным контролируемым исследованиям (РКИ), обосновывая свой выбор двумя ожиданиями: (1) желанием видеть связь между мероприятиями программы и изменениями в жизни людей / сообществ, и (2) потребностью в создании базы данных, необходимой для обучения и применения передового опыта в рамках других похожих инициатив.
  • В какой момент мы приступаем к созданию результатов? Очевидно, что социальное вмешательство лучше начинать в тот момент, когда возникает проблема с жильем — когда семья входит в кризис и утрачивает стабильность. Однако аналитическая база графства Кайахога пока не настолько сильна, чтобы распознавать трудности на раннем этапе. Поэтому программа PFS построена таким образом, чтобы в зависимости от наличия необходимой информации, оказание помощи происходило в тот период, когда существует возможность для повышения качества жизни и сохранения семьи.

Поиск ответов на эти вопросы помогает разрабатывать программы, отвечающие реальным потребностям людей и объективно оценивать полученные результаты. Но представители власти вполне могут задать еще один вопрос: Каким образом работа по определению, измерению и созданию социальных благ может посодействовать развитию законодательства и системным изменениям? Это, пожалуй, самая важная информация для тех, кто действительно стремится улучшить условия жизни малоимущих категорий населения.

Партнерские организации графства Кайахога приложили достаточные усилия и посвятили много времени созданию программы, которая в полной мере заслуживает поддержки со стороны налогоплательщиков. О том, какое наследие создаст данная инициатива, мы узнаем только через пять лет — когда все намеченные планы будут выполнены. Но уже сейчас понятно, что если поставленные цели будут достигнуты, но правительство графства впоследствии вернется к традиционной практике (модели, в которой государство платит провайдеру на основе информации о количестве людей, получивших услуги), то о победе не может быть и речи. Потому что смысл работы по усилению ориентации на социальные результаты заключается именно в том, чтобы государство и социальный сектор начали взаимодействовать и вести дела по-новому. В случае благоприятного сценария (если пребывание детей в патронатных семьях или государственных учреждениях сократится), то PFS станет модельной практикой, которую можно будет применять в других социальных службах и в разных сегментах деятельности. А будет ли программа успешной, поможет выяснить продуманная система оценки, которая (а) предназначается для решения актуальных проблем с опорой на достоверные данные, (b) предлагает определять эффективность исходя из полученных результатов, и (с) формирует устойчивую обратную связь со всеми заинтересованными субъектами и тем самым создает условия для постоянного обучения и совершенствования важных социальных услуг.

 

Источник: The Stanford Social Innovation Review, https://ssir.org/articles/entry/a_question_of_outcomes

Результаты измерений должны побуждать к действиям: от доказательств к развитию практики

Без названия (1)Американский фонд «Один акр» (One Acre Fund), поддерживающий малых фермеров в странах Восточной Африки, считает, что некоммерческому сектору необходимо активизировать  дискуссию о новых подходах к оценке и методах измерений, нацеленных на получение максимального социального эффекта. Общий вопрос, на который предлагается поискать ответ, звучит так: «Какие основания и аргументы должны побуждать лидеров НКО к принятию решений, способствующих созданию более значительных социальных благ для потребителей услуг?». А в качестве фактуры, отчасти раскрывающей суть этого посыла, эксперты подготовили обзор исследований, проведенных фондом за последние десять лет. В ходе анализа информации авторы обзора – Мэтью Форти (Mattew Forti) и Ким Сигал (Kim Siegal) – выделили основные вопросы оценки, которые больше всего способствовали получению достоверных / качественных данных, соответствующих представлениям о научной точности, и выводов, обладающих высокой практической ценностью:

  1. Движущие силы устойчивых изменений в обществе: Существуют ли какие-либо особые условия или компоненты программы, которые способствуют значительному увеличению результатов?

Для НКО, предоставляющих целый комплекс услуг, изучение социального эффекта отдельных компонентов или направлений может стать первым шагом на пути к корректировке и развитию программ и стратегий. Фонд One Acre Fund предлагает широкий спектр услуг в сфере финансирования аграрных предприятий, доставки ресурсов и обучения фермеров современным методам ведения сельского хозяйства. Команда организации стремится понять, является общий эффект суммой отдельных компонентов, либо превышает ее по каким либо причинам. Например, в 2015 году самый высокий урожай бобовых и самый высокий социальный возврат на инвестиции наблюдался у тех фермеров, которые благодаря финансовой и ресурсной поддержке фонда получили доступ к удобрениям, и строго придерживались рекомендаций, озвученных в ходе тренингов.

  1. Распределение эффекта: Не являются ли хорошие результаты программы заслугой конкретной успешной подгруппы?

Большинство организаций обычно измеряют и публикуют средние показатели результативности, за которыми порой стоит «сверхэффективность» малого числа участников, скрадывающая низкую эффективность большинства. Команда фонда преодолевала эту проблему двумя способами:

  • рассчитывала и сравнивала медианные и средние показатели. Фонд заслуженно гордится тем, что медианная эффективность его программ практически не отличается от средних значений.
  • недавно стала проводить углубленный анализ урожайности по подгруппам, которые различались по размерам домохозяйств, уровню образования, возрасту, полу и экономическому положению. Оказалось, что самые заметные различия наблюдаются среди участников разного возраста: взрослые фермеры получают более значительные результаты, а молодые – более скромные. Ознакомившись с этими данными, фонд провел дополнительные исследования и наметил ряд мер по привлечению, удержанию и поддержке молодежи.
  1. Устойчивость эффекта: Каким образом результаты клиента меняются с течением времени?

Информация, поступающая в ходе лонгитюдных исследований, тоже представляет собой богатый материал для улучшения программ. Фонд, в частности, выяснил, что клиенты, которые числятся в списках участников на протяжении долгого времени, получают с каждого акра более солидный урожай, выделяют под программу более значительные площади, и чаще приобретают «сопутствующие» продукты для повышения качества жизни (такие, например, как осветительные приборы и бытовая техника на солнечных батареях). Все это усиливает социальный эффект и ведет к увеличению ресурсных вливаний в хозяйство, поддерживающих дальнейший рост урожайности после выхода из программы (в сравнении с не-клиентами). Эти выводы говорят о том, что меры по удержанию клиентов могут посодействовать более значительным, глубоким изменениям. Поэтому фонд постоянно обновляет стратегии ценообразования, конфигурацию пакета услуг и список дополнительной продукции.

  1. Внешние факторы устойчивых изменений: Какие положительные и/или отрицательные виды воздействия на людей и сообщества влияют на программу косвенным образом?

Деятельность НКО всегда соприкасается с внешними субъектами или обстоятельствами. Чтобы расширить зону своего влияния, фонд поощряет применение доходных фермерских практик в смежных сообществах, не входящих в круг клиентов программы. Исследование, проведенное в Кении, показало, что соприкосновение с инициативами фонда помогло «соседям» увеличить урожайность кукурузы на 45 кг, которые могут послужить пищей для семьи в течение целого месяца. Однако это дополнительная активность ведет к перенасыщению продукцией местных рынков и сбивает цены на зерновые. Ответной мерой на этот отрицательный эффект стало предоставление займов на создание хранилищ, позволяющих продавать зерно в конце сезона, когда цены выше.

Эксперты фонда отмечают, что эти четыре вопроса показали себя как самые лучшие поставщики актуальной информации и стимулы для постоянного обучения. Их стоит взять на заметку и использовать для расширения горизонтов и развития культуры измерения и оценки.

Источник: The Stanford Social Innovation Review

От изучения показателей семей к измерению воздействия на сообщество

Без названия (1)Молли Макграт Терни (Molly McGrath Tierney) заступила на должность главы Департамента социальных услуг города Балтимор (BCDSS — The Baltimore City Department of Social Services) в 2008 году.  Основной задачей агентства являлось оказание услуг малоимущим гражданам, и, в том числе, защита интересов юных граждан и размещение детей в патронатные семьи (foster care). Работы было непочатый край, однако ситуация оставляла желать лучшего: значительная часть детей проживала в групповых домах; воспитанники фостерных семей ждали усыновления годами; и для многих детство так и заканчивалось под крылом государства. Сегодня г-жа Макграт Терни может с гордостью сказать, что за семь лет ее департамент добился значительных положительных сдвигов, и количество детей, находящихся на воспитании в патронатных семьях, снизилось на 70%. Однако этому предшествовала большая работа по построению новой системы оценки, которая помогала формировать объективное представление об истоках социальных проблем и находить пути решения конкретных задач.

Первые изменения начались с того, что сотрудники BCDSS признали тот факт, что пытаются изменить мир не теми способами. Дело в том, что органы опеки, как правило, «вступают в игру» в тот момент, когда распад семьи становится необратимым. А если ребенок вырастает вне семьи, то его шансы построить здоровые отношения с обществом стремятся к нулю. Это общеизвестный и давно установленный факт. В связи с этим в дискуссионной повестке дня появился новый вопрос: «Как предотвратить изъятие детей из семьи?!» К счастью, научившись получать достоверные данные о своих программах и анализировать сведения о местном контексте, BCDSS сразу приступил к поиску новых перспектив, и, в частности, сместил акцент на те виды сведений, которые сообщают социальным службам о семьях на раннем этапе кризиса – которые еще можно спасти.

Дело в том, что некоторые семьи в трудных ситуациях быстро «сдают позиции» и утрачивают стабильность. Это обстоятельство, как правило, проявляется в жестком обращении с детьми, агрессивном поведении, наркотической зависимости кого-либо из родителей, и т.д. И чем дольше это продолжается, тем меньше шансов на спасение семьи. Распознать кризис не так уж сложно: дети начинают прогуливать школу, появляются приводы в полицию за мелкое хулиганство, а в квартирах из-за хронических долгов пропадает свет и газ. Чтобы вовремя зафиксировать «сигналы тревоги», департамент BCDSS заключил со школами соглашения о взаимодействии, основанные на строгих требованиях к соблюдению режима  конфиденциальности в отношении персональной информации родителей и детей. Практическая ценность «оперативных данных» в этом случае заключается в том, что специалисты социальных служб теперь могут своевременно устанавливать контакты с родителями, разрабатывать индивидуальные планы, и предотвращать распад семьи.

Эта важная работа позволяет предоставлять услуги с учетом особенностей каждой семьи и добиваться лучших результатов. Тем не менее, освоив индивидуальный подход, BCDSS не остановился на достигнутом и направил свои усилия на изучение тенденций, характеризующих обстановку на уровне сообщества. Например, в большинстве американских городов всегда имеется несколько районов, генерирующих основной поток информации о нестабильных семьях. В Балтиморе такой район тоже есть: там происходит 40% всех случаев жесткого обращения с детьми. И если вы пройдете по этой территории, то обнаружите брошенные дома, на каждом углу увидите безработных, и вас ни на минуту не покинет ощущение опасности. К сожалению, это означает, что факторы, дестабилизирующие семью, происходят не в отдельно взятом доме, а повсеместно – в сообществе.

Стремясь улучшить положение дел на местах, BCDSS решил разработать более широкую систему показателей. Для этих целей специалисты стали проводить мониторинг и анализировать информацию (за последние три года) о «родных домах» детей, оказавшихся в учреждениях органов опеки; агрегировать данные; разрабатывать общие представления о сообществах и алгоритмы действий. Помимо этого, сотрудники департамента обратили внимание на то, что в поле зрение социальных служб чаще всего попадают дети, страдающие синдромом детского сотрясения. Очевидно, что проследить за тем, как неопытные и уставшие мамы успокаивают плачущих младенцев невозможно, но зато можно привлечь к сотрудничеству местных лидеров и уважаемых граждан — пастора, который может рассказать о последствиях синдрома в своей воскресной проповеди; педиатров, которые могут проконсультировать и предупредить о потенциальной опасности молодых мам; журналистов, которые освещают местную жизнь; школьных педагогов и других влиятельных людей. И тогда пользу получит не отдельная семья, а значительная группа — целая категория местных жителей.

Иными словами, комбинируя индивидуальный подход с масштабной работой на уровне сообщества, департамент надеется спровоцировать сетевые эффекты, ускоряющие формирование новых ценностей и поведенческих моделей у всех причастных субъектов.

Однако провести такую реформу не так-то просто, поскольку вся система защиты детства пока измеряет свои успехи по таким показателям, как количество сообщений о жестком обращении или отказе от детей; количество детей, переданных органам опеки или фостерным семьям; и количество детей, которые не могут вернуться в кровные семьи. Чтобы добиться существенных сдвигов, надо тщательно проработать и внедрить новые подходы к оценке эффективности, которые будут ориентироваться на предотвращение распада семьи. И если эта задача будет успешно решаться, что постепенно снизятся показатели агрессии в отношении детей; уменьшится число детей в системе опеки и попечительства; и потребность в усыновлении постепенно обретет разумные пределы.

Источник: The Stanford Social Innovation Review

Развитие подходов к оценке методом проб и ошибок: ценный опыт НКО с широким спектром услуг

Без названияЮная американка Лиззи никогда не была клиентом органов опеки и попечительства, хотя, наверное, стоило бы. Ее отец попал в тюрьму, мать постоянно искала подработку и нуждалась в средствах, а в школе Лиззи неоднократно подвергалась издевательствам. Она окончила школу со средним баллом успеваемости 3,8 и поступила и поступила в колледж. Через четыре года она планировала получить профессию ветеринара, о которой мечтала с детства. Но в этот момент  Лиззи познакомилась со своим будущим мужем, который оказался проблемным парнем и со временем начал бить беременную жену. Оказавшись в отчаянном положении, девушка обратилась в программу «Комплект жизнеобеспечения» (YVLifeSet program), выполняемую некоммерческой организацией «Молодежные деревни» (YVYouth Villages; США).

Начиная с 1999 года, НКО оказала помощь более 10 000 молодых людей, которые столкнулись с самыми разными проблемами – с жестоким обращением в семье и школе, с долгами перед банком,  отсутствием жилья, работы и т.д. Не удивительно, что обеспечивая отклик на столь широкий спектр потребностей, НКО столкнулась с серьезными проблемами, связанными с оценкой эффективности услуг. Как, например, оценить результаты Лиззи, если сейчас она имеет крышу над головой, воспитывает малыша, имеет работу с неполной занятостью; но при этом продолжает общаться с мужем, ждет второго ребенка, никак не может погасить старые долги и не имеет времени и средств на продолжение обучения?

Чтобы оценить социальные результаты (outcomes), команда YV на протяжении многих лет сопоставляла свои показатели с результатами изучения других похожих программ (benchmarking) по таким параметрам, как трудоустройство и заработки участников, наличие жилья и экономическое благополучие, связи с криминальным миром, образование, здоровье, безопасность, и обращение к социальным службам. Благодаря солидной поддержке со стороны нескольких филантропических институтов, в 2010 году YV смогла провести масштабное «рандомизированное контролируемое исследование» (РКИ — randomized controlled trial), которое показало, что за восемь лет программа YVLifeSet помогла молодым людям существенно продвинуться в вопросах поиска и сохранения рабочих мест, заботы о здоровье / безопасности и увеличения доходов, но практически не повлияла на такие показатели, как «преступные связи», «образование» и «социальная помощь». Эти выводы РКИ не стали великими открытиями, но зато послужили хорошим стимулом для пересмотра представления об успехе потребителей услуг и помогли переключиться с бенчмаркинга на «концепцию, основанную на измерении прогресса» (progress-oriented framework), позволяющую оценивать не только прошлое, но также настоящее и будущее людей, оказавшихся на орбите YV. Этот культурный сдвиг ознаменовался тем, что оценка стала для команды YV непрерывным процессом, включающим постоянный мониторинг прогресса участников (в соответствии с их индивидуальными целями), обучение на основе ошибок и достижений, и регулярный обмен опытом с коллегами по сектору. Следует отметить, что организация не отказалась от проведения РКИ (они продолжают поставлять информацию о том, кто получил пользу, а кто нет), но стала уделять больше внимания (a) поиску эффективных стратегий оказания помощи людям с множественными проблемами, и (b) формированию условий для распространения успешных практик — в том числе, в партнерстве с другими игроками социальной сферы.

Источник: The Stanford Social Innovation Review

 

Содействие развитию социальных услуг: основное требование к оценочным инструментам

Как отличить эффективные социальные программы от неэффективных? Какие краткосрочные и долгосрочные результаты (блага, преимущества) получают семьи, потребляющие услуги? Конни Балмер (Connie Ballmer), соучредитель филантропической организации Ballmer Group (США), не знает, как получить точные ответы на эти вопросы, но размышляя над ними, ищет возможности для рационального применения благотворительных долларов. Она отмечает, что грант-мейкеры не занимаются разработкой социальных программ, но, тем не менее, могут инвестировать ресурсы в создание инструментов, позволяющих измерять результаты и распознавать самые лучшие модели и практики. Дело в том, что отсутствие инструментария, предназначенного для отчетности перед стейкхолдерами, создает значительные препятствия для измерения социальных результатов и воздействия на общество. В некоммерческих организациях, постоянно испытывающих недостаток времени и ресурсов, заниматься отчетами особо некому. И в итоге получается, что НКО формируют пространные документы, а потом складывают их на полки, не пытаясь извлечь из проделанной работы никакой пользы. Очевидно, что в такой ситуации создание систем сбора и анализа данных о социальных преобразованиях становится важнейшей задачей, которую можно было бы решать силами частных доноров.

Исходя из этого Ballmer Group, ориентированная на поддержку программ с подтвержденной эффективностью (evidence-based programs), совместно с другими донорами предоставила финансирование государственно-частному объединению «Партнерство во имя наших детей» (POC — Partners for Our Children), которое в сотрудничестве с Вашингтонским университетом (The University of Washington) разработало инструмент, обеспечивший использование аналитической информации для управления результатами индивидуальной работы по организации общения между родителями и детьми на территории органов опеки (visitations). [Для справки: На поддержку этой деятельности, направленной на сохранение семьи, штат Вашингтон ежегодно затрачивает 18 млн долларов.] Данный инструмент нашел применение в целом ряде учреждений сферы защиты детства, и благодаря появлению новых сопоставимых данных, партнерство POC обнаружило серию существенных трудностей, зафиксированных многими провайдерами услуг. В частности выяснилось, что родители приходят на первую встречу не в течение 3-5 дней после изъятия детей из семьи (как того требуют правила), а в течение трех недель или даже позже. Опасаясь осуждения со стороны социальных работников и непонимания со стороны детей, родители нередко пропускают назначенное время, объясняя свое отсутствие трудностями с транспортом. Помимо этого, на качество общения отрицательно влияет стерильная обстановка казенных зданий, где для детей нет даже игрушек. Изучив эту информацию, социальные службы навели уют в помещениях для встреч, приступили к использованию инновационной технологии Uber, позволяющей решить проблему с транспортом, и посоветовали родителям чаще обмениваться с детьми текстовыми сообщениями. Следствием этих изменений стало увеличение количества встреч, проводимых в установленные сроки, и, что особенно важно, взаимодействие между членами семьи стало более доверительным и открытым. Получение таких важных практических результатов благодаря применению нового инструмента является очевидным успехом, который заслуживает внимания представителей государственного сектора, частных доноров и провайдеров социальных услуг, заинтересованных в повышении эффективности программ для уязвимых категорий населения.

Источник: The Stanford Social Innovation Review

Советы профессионала: как организовать работу с данными, чтобы показать успехи и преимущества социальных преобразований

Без названия (1)Подразделение международной НКО Habitat for Humanity в Большом Сан-Франциско (США) возрождает жизнь в местном сообществе, занимаясь восстановлением домов и помогая людям приобретать жилье. Выполнению этой сложной задачи во многом способствуют актуальные сведения о существующих потребностях и возможностях развития территории. О том, как продемонстрировать успехи и перспективы с помощью разных видов данных, рассказывает глава департамента по измерению и обучению Лорен Шонесси (Lauren Shaughnessy).

  • Анализируйте данные в тесной привязке к местному контексту. Отправной точкой в рассуждениях о местной жизни и вариантах ее преобразования нередко является не внутренняя, а именно внешняя информация. Например, данные Бюро переписи населения (Census) и результаты исследований Университета Berkeley (шт. Калифорния), полученные в рамках проекта «Городские переселения» (The Urban Displacement project), помогают команде Habitat for Humanity Greater San Francisco(Habitat GSF) определять качество городской среды, в которой находятся дома организации, и оценивать демографические показатели ее жилищных программ. Благодаря такому подходу НКО установила, что в силу более доступной стоимости квартир, в ее домах чаще селятся большие семьи с детьми (в среднем 5 человек; 46%), а также одинокие люди (18%), в то время как аналогичные показатели по Сан-Франциско составляют всего лишь 18% и 8% соответственно.
  • Точно определите виды данных, которые необходимо собрать. Чтобы не тратить время на получение лишней информации ответьте на три вопроса: (1) За создание какого социального эффекта ваша организация несет ответственность перед обществом и отчитывается перед ключевыми стейкхолдерами? (2) Какие сведения вам нужны для подтверждения происходящих изменений? (3) Уверены ли вы в том, что действительно способны собрать эти данные? Ответы направят ваши мысли в нужное русло. Например, в рамках программы финансового образования сотрудники Habitat GSF опрашивали участников относительно их финансовых привычек после каждого семинара, второй раз — через 60 дней, и в последний раз — через полгода. Однако после тщательной проработки первого вопроса в списке дел осталось всего лишь два опроса — накануне семинара и через шесть месяцев, а в списке показателей – только самые основные параметры, позволяющие решить главную задачу — убедиться в том, что целевая аудитория готова к получению кредита на приобретение жилья Habitat GSF.
  • Создавайте условия для получения информации, имеющей практическое значение. Если НКО всерьез решила наладить процесс работы с данными, то ей неизбежно потребуется система, которая сведет воедино разрозненные элементы информации, представленные бесчисленными таблицами Excel, устаревшими базами данных Access и текстовыми файлами (в том числе – на бумажных носителях). Habitat GSF, например, приобрела программу компании Salesforce, известную какHomeKeeper, которая открыла новую страницу в жизни организации. Если раньше НКО не могла ответить даже на такой простой вопрос, как «Сколько детей заселилось в дома Habitat GSF?», то теперь ей доступно и кое-что посложнее: «Сколько людей, прошедших обучение на наших семинарах по управлению финансами, в итоге подают заявку на приобретение жилья в рамках наших инициатив?». Программа HomeKeeper оказалась оправданной инвестицией, но коллеги из других НКО могут выбрать и другой продукт. Самое главное, чтобы он отвечал уникальным задачам организации, связанным с проведением измерений и оценкой социальной эффективности.
  • Используйте сочетание качественных и количественных данных. Habitat GSF много лет публиковала информацию о том, что получение статуса собственника жилья стимулирует гражданскую активность людей, укрепляет семьи, расширяет образовательные возможности для детей и молодежи и т.д. Подобные сообщения, как правило, сопровождались двумя-тремя историями из жизни конкретных семей. Однако, по мнению Лорен Шонесси, было бы намного лучше, если бы организация могла сказать, что «…улучшения, произошедшие в семье Х, характерны для 85% других семей, участвующих в программе». Сегодня такой уровень доказательства пока недоступен для Habitat GSF, но с появлением HomeKeeper сотрудники НКО постоянно совершенствуют свою практику, и не упускают случая, чтобы дополнить наблюдения количественными данными и представить своим стейкхолдерам более полную и убедительную картину изменений в сообществе.

Источник: Markets for Good

Оценка и достоверные данные служат выполнению общественно значимых миссий

Без названия (1)Прошли те времена, когда один лишь факт проведения оценки был для НКО большим достижением и великим прогрессом. Сегодня этим уже никого не удивишь: с каждым годом оценочная деятельность становится все интереснее, сложнее и разнообразнее. Но самое главное – она должна быть полезной. Чтобы показать, каким образом работа с данными и оценка помогают повышать качество услуг, принимать взвешенные решения и добиваться лучших результатов, американское издание The Chronicle of Philanthropy опубликовало серию вдохновляющих историй, посвященных опыту самых эффективных национальных НКО.

  • Мобильные данные и смартфоны — современный подход к оказанию медицинской помощи. Начиная с 2007 года, международная организация Living Goods помогает жителям Уганды и Кении (прежде всего, женщинам) наладить бизнес, связанный с продажей витаминов, лекарственных препаратов и других продуктов для здоровья. НКО снабдила своих обученных агентов смартфонами со специальным приложением, в которое можно внести ответы на ряд вопросов, поставить клиенту диагноз, получить алгоритм действий в конкретной ситуации, и зафиксировать данные о течении болезни или беременности. В дальнейшем приложение рассылает пациентам регулярные напоминания о времени приема лекарств. Потребители называют смартфоны «карманным доктором» и с удовольствием общаются с распространителями полезной продукции. В свою очередь, супервайзоры программы тоже используют поступающие данные, но уже для контроля за деятельностью своих агентов. В частности, факт отсутствия обязательных визитов к пациентам обнаруживается практически сразу, в то время как раньше на обработку бумажных отчетов и выявление проблемы уходило от 3 до 6 месяцев. Также, система мобильных данных существенно сокращает количество ошибок при вводе информации и экономит значительные средства. Следует отметить, что первые тестовые версии системы вызывали у пользователей некоторые сложности, однако специалисты организации Medic Mobile помогли устранить неполадки в сжатые сроки. Благодаря системе удалось выяснить, что 80% предпринимателей проводят работу в радиусе 500 метров от своего дома, и дислоцировать агентов таким образом, чтобы они не боролись друг с другом за одних и тех же клиентов. Это открытие повысило эффективность программы в несколько раз.
  • Изучение и разоблачение сетевых структур, торгующих людьми. Проект «Полярная звезда» (Polaris Project) – это горячая линия, оказывающая содействие тем, кто оказался под угрозой похищения; тем, кто выжил; и тем, кто стал жертвами работорговцев. Информация, которую сообщают эти люди или их родственники, представляет собой огромную ценность: она помогает понять, как устроены преступные сети, кто в них входит, и кто стоит во главе жестокого бизнеса. Чтобы не утратить важные сведения и усилить с их помощью деятельность полиции и общественности, команда проекта обратилась к «технологическим» организациям Salesforce.comи Palantir Technologies, которые не только разработали базы данных, но и разместили новые ресурсы на своих платформах. Немаловажно, что созданный инструментарий позволяет обрабатывать не только внутреннюю информацию «горячей линии», но также сведения, находящиеся во внешних источниках. Благодаря такому «симбиозу» удалось выявить множество компаний, принадлежащих одному и тому же лицу и/или работающих под разными вывесками в США и за пределами страны. Для повышения эффективности профилактических мер и развития системы услуг для пострадавших, базы данных и иные сведения были переданы коллегам из Болгарии, Чехии, Греции, Южной Африки и Таиланда.
  • Как не потонуть в океане собственной информации. НКОYear Up борется с бедностью, обеспечивая профессиональной квалификацией молодых малоимущих граждан. Примерно 10 лет назад организация решила впервые оценить свою эффективность и начала собирать огромное количество данных и отслеживать все что можно: процент молодых людей, завершивших программу, степень их удовлетворенности, дальнейшую судьбу (поступление в колледж или трудоустройство) и т.д. Но сейчас специалисты НКО уделяют первоочередное внимание только тем данным, которые помогают определить перспективы успешного обучения и получения хороших индивидуальных результатов.  За прошедшие годы НКО сочла нецелесообразными и отказалась от первичных опросов «новобранцев» программы (в ходе которых неопытным людям предлагалось оценить свои навыки и компетенции), а также от Системы присвоения баллов за соблюдение Кодекса поведения, которая считалась поставщиком важных сведений для прогноза успешности. В момент выхода на стажировку всем участникам присуждалось по 200 баллов, и в дальнейшем эти показатели либо увеличивались, либо снижалось. Ноль баллов означал «вылет» из программы. Однако со временем выяснилось, что баллы не дают представления о том, насколько правильным оказался выбор специальности, и в какой мере люди готовы связать с данной профессией свою дальнейшую жизнь. Поэтому систему заместили оценкой удовлетворенности участников через два месяца после начала стажировки. Руководствуясь полученным опытом, команда Year UP призывает коллег собирать информацию только по самым важным показателям, которые действительно необходимы для оценки результатов и возможностей для улучшения практики.
  • Содействие сохранению дикой природы. НКОWilderness Society предлагает экологам воспользоваться «Индексом первозданности» (The Wildness Index), который представляет собой карту США с отмеченными охраняемыми территориями и зонами повышенной хозяйственной активности человека. Индекс составляется с учетом сведений о практике землепользования, плотности населения, протяженности и расположении транспортных коммуникаций, водных ресурсах и многих других факторах. В результате защитники природы получают информацию, позволяющую определять для своих инициатив приоритетные территории, обсуждать проблемы с общественностью и выдвигать обоснованные требования органам власти и участникам нормотворческого процесса. Иными словами, правильный подход к сбору и анализу данных является важным делом, благодаря которому представители некоммерческого мира могут улучшать свою работу и влиять на законодательство и практику как местного, так и на федерального уровня.

 Источник: The Chronicle of Philanthropy