Архив метки: оценка

НОВАЯ БОЛЬШАЯ КНИГА ОБ ЭФФЕКТИВНОСТИ

Критическое внимание давно состоявшегося дуэта Мэттью Бишопа (Matthew Bishop) и Майкла Грина (Michael Green)[1] в этот раз обращено к книге Стива Голдберга (StevenH. Goldberg) «Миллиарды капель в миллионы ведер: почему филантропия не ведет к социальному прогрессу» (BillionsofDropsinMillionsofBuckets: WhyPhilanthropyDoesn’tAdvanceSocialProgress. Wiley, 2009).   

Читать далее НОВАЯ БОЛЬШАЯ КНИГА ОБ ЭФФЕКТИВНОСТИ

НОВЫЙ УЧЕБНИК ПО БАЗОВОМУ ИЗМЕРЕНИЮ РЕЗУЛЬТАТОВ ГРАНТОВЫХ ПРОЕКТОВ

Фонд Мелинды и Билла Гейтс разработал руководство по измерению программной деятельности, реалистичное по сути, и не требующее дополнительных завтра. Читать далее НОВЫЙ УЧЕБНИК ПО БАЗОВОМУ ИЗМЕРЕНИЮ РЕЗУЛЬТАТОВ ГРАНТОВЫХ ПРОЕКТОВ

За деревьями леса не видать

И вновь размышления Марио Морино (MarioMorino), вице-президента VPP. В этот раз Марио делится своим беспокойством в связи с тем, что, несмотря на постоянно звучащие магические слова «воздействие», «измерение и оценка», «индикаторы», «отчетность» и прочие, большинство доноров и НКО, возможно, находятся у нижнего порога результативности, теряют время и распыляют ресурсы. А в некоторых случаях даже получают ровно противоположный эффект. Основная причина потери правильных ориентиров в деятельности, казалось бы, направленной на достижение блага для общества, состоит в том, что оценка и измерение становятся целью сами по себе, акцент смещается на процесс, а не его конечную цель. В противном случае:

  • Происходящий в секторе диалог в 95% случаев был бы посвящен вопросам миссии,  и только 5% его была бы про индикаторы.
  • Большинство усилий были бы направлены на уточнение формулировок результатов. Ясность и четкость целей может принести больше пользы, чем индикаторы и показатели!
  • Доноры и НКО не ограничивались бы упрощенными и суррогатными показателями.
  • Больше подчеркивалось бы различие между высоко-результативной организацией и качеством ее операционной деятельности. Какой смысл обсуждать непрямые расходы организации, если мы представления не имеем о том, какую пользу обществу она приносит?
  • Мы бы подходили бы к вопросу оценки деятельности не с точки зрения цифр, а с точки зрения изменения культуры, что требует значительных и систематических вложений времени, талантов и денег.

Господин Морино подчеркивает в своем эссе, что индикаторы измерения эффективности сегодня по большей части разрабатываются и предлагаются представителями государственных и частных доноров, а мнение некоммерческих сектора учитывается в очень незначительной степени. Ситуацию следует изменить, чтобы процесс выработки показателей оценки стал больше совместным действием, в котором учитываются и мнения некоммерческих лидеров. Определив показатели эффективности деятельности, установив зависимость поощрения и наказания от достижения этих показателей, целые организации и отдельные люди начнут придерживаться норм поведения, способствующих достижению поставленных целей. В случае если показатели слишком упрощены или демонстрируют отклонение от миссии, организация пойдет по ложному пути.

Комментарий Татьяны Бурмистровой:  Для очень небольшого числа доноров, действующих в России,   «оценка и измерение становятся целью сами по себе».  Обычно это американские фонды или НКО,  распределяющие государственные деньги США на территории РФ. Однако, один  пример из приведенного выше сюжета, абсолютно точно ложится на российскую реальность: доноров всегда интересует,  какой процент общего бюджета программы должен  идти на администрирование у «по настоящему эффективной организации».   Как правило, этот вопрос волнует корпоративных доноров,  которым свойственно предполагать, что  менеджмент НКО  вообще стоит по определению на порядки ниже, чем менеджмент в бизнес секторе. Зачастую, процент непрямых расходов становится единственным показателем эффективности,  что совершенно не соответствует действительности.

Источник: VPP

Трансформация искусства оценки в науку

Ведущая деловая газета США публикует статью, во многом суммирующую сегодняшний статус знакомой многим методики оценки социального возврата от инвестиций (SROI – socialreturnoninvestment), впервые озвученной в 1990 году фондом венчурной филантропии REDF.Среди всех заинтересованных групп филантропического мира, оборот которого составляет триллионы долларов, существует согласие в отношении необходимости наличия адекватных инструментов и стандартов оценки  — как минимум для того, чтобы не тратить впустую деньги. Однако филантропия – сфера много- и разно- уровневая с множеством нюансов, что усложняет задачу измерения успехов. Оценка социального эффекта должна опираться на неоспоримый факт, убедительное доказательство и принимать во внимание пользу, приносимую деятельностью, а не только ее стоимостное выражение. Некоторые используют методику оценки социального эффекта в качестве инструмента фандрайзинга, однако мы не располагаем доказательством того, что в этих целях он хорошо работает. Всякие усилия по оценке предполагают проведение содержательного анализа, который дает достаточно пищи для полезного размышления. Как и в случае коммерческих инвестиций, донорам не следует ориентироваться исключительно на соотношение вклада и социального возврата. Напротив, при принятии решения необходимо брать во внимание качество менеджмента организации, историю деятельности и стратегию развития. Эксперты также подчеркивают ограниченность количественных показателей – ошибочно будет верить только им. Важнее внимательно отнестись к аналитическому процессу, чем к полученной формуле. Анализ заставляет участников задаваться правильными вопросами и подстегивает их общение со стейкхолдерами. Анализ выявляет допущения и предположения, которые до этого никто не артикулировал. Существует,  как говорилось в более ранних выпусках, вопрос, какие именно данные следует собирать НКО и какие именно результаты следует приписывать филантропической ниве, а какие внешним факторам.  Это упражнение рекомендуется проделать еще до того, как будут предприняты шаги по измерению такого достаточно расплывчатого понятия, как «польза».  Легче поддается оценке социальный эффект т.н. «терапевтических» проектов, а не превентивных, т.е. проще указать на положительный результат, чем вычленить негативные последствия, которых удалось избежать. Так, например, деятельность НКО, которая помогает безработным трудоустроиться, поддается оценке проще, чем деятельность НКО, которая борется с молодежной преступностью. Еще сложнее применять методику оценки социального эффекта инвестиций для сравнения различных типов НКО. Разработка и достижение согласия по поводу единых стандартов оценки состоятся нескоро, поэтому  некоторые предпочитают не ждать, а разрабатывают инструменты для собственного применения — не столько для оценки рисков инвестиций, сколько для создания проверенных на собственном опыте теории изменений, истории общего воздействия и с искренней ориентацией на результат. Некоторые эксперты экстраполируют, вынося оценку за рамки социальных инвестиций в область «тройного критерия»(triplebottomline)[1]к всеобъемлющей отчетности по деятельности компаний и организаций.

Комментарий Татьяны Бурмистровой:  Статья несомненно полезна для российских некоммерческих организаций уже потому, что заставляет задуматься руководство   о собственной эффективности, о показателях, по которым можно судить об этой эффективности   и о «конечных» результатах ,  к которым  организация должна прийти в конце концов, достигнув своей цели.   Такое размышление, выстроенное как специальная деятельность, в которой принимают участие все ключевые сотрудники организации, влияющие на принятие решений, позволяет более точно определить приоритетные направления работы данной НКО, а также способы  и методы работы  с точки зрения логического соответствия целям и миссии. Подобное  упражнение, несомненно,  влияет на качество  менеджмента и  способствует осмыслению и формированию стратегии развития, на что  доноры, как правило,  и обращают внимание.  Для российских донорских организаций  и компаний, и фондов тема методологии оценки эффективности социальных инвестиций еще не стала широко обсуждаемой. Кстати, не  знакома с трехчастным подходом  «triplebottomline»,  полагаю, что  не только я. 

 

[1]«Тройной критерий акцентирует внимание корпорации не только на создаваемой ей экономической стоимости, но также на социальной и экологической стоимости, которую они создают или разрушают. В самом узком понимании, термин Тройной критерий используется в качестве  точки отсчета для измерения и отчетности о деятельности корпорации с учетом экономических, экологических и социальных параметров. В широком смысле терминиспользуется для охвата всей системы ценностей, задач и процессов, к которым должна обратиться компания для того, чтобы минимизировать любой вред, наносимый ее деятельностью, и чтобы создать экономическую, социальную и экологическую стоимость». Данный перевод термина приводится как один из нескольких существующих вариантов (http://www.blendedvalue.org/publications/index.html#paper-glossary, стр. 65)

Источник: WSJ 

 

Доноры хотят видеть изменения

Оба источника сообщают о том, что в США растет число крупных доноров, которые предпочитают поддерживать амбициозные проекты, направленные на решение глобальных и общественных задач и не поддерживать некоммерческие организации, такие как музеи, больницы и колледжи. О возрастающей избирательности доноров свидетельствуют
приводимые источниками цифры. Так, в 2009 году 50 из наиболее крупных филантропов Америки в сумме пожертвовали в пользу благотворительных организаций и на отдельные цели 4,1 млрд. долларов. Это чуть больше лишь четверти аналогичной цифры за 2008 — 15,5 млрд.
долларов. Оба источника также утверждают, что, несмотря на экономический спад, состоятельные американцы все чаще обращаются к филантропии как способу ускорения значимых изменений в обществе и хотят видеть больше творческого подхода и новаций в проектах НКО. Все больше доноров вкладывают свои деньги, влияние и видение в процесс выработки новых идей и подготовки новых лидеров в разных сферах — образовании, бизнес этике, экономике или изменении климата.
О.В.Федосеева « Статья показывает важный тренд, формирующийся у крупных жертвователей – поддержание
амбициозных проектов и вклад в решение глобальных проблем. История благотворительности в мире не так велика по сравнению с историей планеты Земля, но, тем не менее дополнительно к этой статье, по возможности хотелось бы получить ссылку на анализ влияния изменения
факторов – внешних и внутренних — на предпочтения доноров».

Источник: Philanthropy, Slate

Предмет оценки: эффективность организаций или изменения в сообществе?

В своем персональном блоге Кен Бергер, президент и исполнительный директор Charity Navigator, ведет полемический разговор с директором Community Driven Institute Хильдой Готтлиб, известной еще как популярный блоггер, участница интернет форумов, автор книг.
Разговор происходит в постоянной рубрике Кена, посвященной оценке результатов, и принимает довольно острый характер в связи с конкретно поставленным вопросом «Что делать
дальше с оценкой результатов?» Происходит ли оценка эффективности отдельных организаций в вакууме? Или настоящим и конечным объектом оценки должны стать
качественные изменения жизни сообществ? Оценка эффективности организации дает донорам пищу для размышления и основание для принятия решения о финансировании. С другой стороны, мудрое инвестирование выражает реальную заботу о сообществах. В этой связи оценка эффективности отдельно стоящей организации не  представляется как адекватная цель. Будем ли мы продолжать оценивать отдельные части целого, пренебрегая конечным интересом – улучшением жизни? Или же мы бросим значительные интеллектуальные силы на разработку  показателей и систем, измеряющих искомое? Размышления Хильды и ее оппонентов вскрывают неочевидное противоречие, заложенное в самой постановке вопроса и в моменте принятия критического решения, от которого зависит будущее направления развития оценки. Рекомендуем читателям ознакомиться не только с основной записью в данном блоге, но и со всеми просвещенными и содержательными комментариями к нему. ».
О.В.Федосеева «Для меня в данной ссылке важны для осмысления и применения в практической деятельности 2-х
идей:
— «мудрое инвестирование выражает реальную заботу о сообществах»;
— «оценка эффективности отдельно стоящей организации не представляется как адекватная цель. Будем ли
мы продолжать оценивать отдельные части целого, пренебрегая конечным интересом – улучшением жизни».

Источник: Kenscommentary

О роли доноров в оценке эффективности

В блоге Центра эффективной филантропии продолжают обсуждать разные грани оценки эффективности и финансирования социальных программ. В этот раз внимание заострено на необходимости большего числа доказательств успеха, озвученной в связи с предстоящей работой недавно созданного по указу президента Обамы Фонда социальных инноваций. Возможно, впервые так серьезно поднимается вопрос о роли донора в процессе оценки. Конкурсные материалы выдвигают перед донорами и будущими грантополучателями совсем не простые требования. Заметка интересна нам тем, что автор предлагает разделить бремя
определения точных данных между донорами и НКО вместо того, чтобы безответственно возлагать выполнение задачи на плечи НКО, которым зачастую недостает нужных сотрудников, ресурсов, навыков, знаний, т.д. Автор тверда в том, что доноры должны упреждать свои требования поддержкой – денежной и не денежной – грантополучателей с тем, чтобы разработать необходимые системы и данные для более тщательной проверки эффективности. Центр провел исследование среди 30 000 грантополучателей 250 доноров и приводит вот такие
данные: только 11% грантополучателей сообщили о том, что их доноры помогали им в разработке показателей деятельности; всего лишь 11% опрошенных сообщили, что их доноры   предоставили им помощь в проведении исследований или обеспечили их лучшими практиками; 58% участвующих в опросе сообщили о наличии опыта подготовки отчетов или опыта проведения оценки, однако меньше чем половина (44%) из них заметили, что после получения отчета доноры или оценщики обсудили с ними результаты. Доноры могут – или должны? – вмешиваться в процесс оценки и разделять с НКО ответственность за развитие более точных показателей деятельности.
О.В.Федосеева «В статье затронута важная тема — вовлечение донора в процесс оценки эффективности
социальных программ. Позиция вовлеченного филантропа – это, в первую очередь, создание зоны комфорта для
самого донора, когда деятельность НКО – получателя средств, и достигаемые результаты, и оказываемый
социальный эффект становятся понятными и прозрачными для жертвователя.
Но меня настораживает критический подход, на котором настаивает автор статьи: «разделить бремя
определения точных данных между донорами и НКО» и «доноры должны упреждать свои требования
поддержкой – денежной и не денежной». Для меня это индикатор того, что международные НКО пока не могут
или не знают как донести обоснованность или необоснованность расходов, связанных с оценкой проектов до
доноров. Точно так же, как в России НКО не могут донести обоснованность постоянных расходов, связанных с
институциональным содержанием своих организаций- получателей пожертвований- в структуре расходов на
реализацию программ.
Это вопрос о двустороннем развитии: наработка дополнительных компетенций НКО и просвещение самих
доноров»

Источник: Effectivephilanthropy

 

Худший (и лучший) способ выбора благотворительной организации

Philanthropy Action публикует статью своего главного редактора, в которой убедительно демонстрируется бессмысленность выбора некоммерческой организации, диктуемого соображениями ее непрямых – административных и фандрайзинговых – расходов. Это не очень полезный критерий, т.к. соотношение прямых и непрямых расходов практически ничего не скажет о фактической эффективности организации. Подобный подход при оценке НКО, скорее всего, приведет к тому, что организации перестанут развивать инструменты и знания, повышающие их эффективность. Более того, четких принципов расчета непрямых расходов организаций практически не существует, каждая организация интерпретирует понятие по-своему. И, что примечательно, 75% благотворительных или некоммерческих организаций, согласно экспертам учетной науки, неправильно рассчитывают свои непрямые расходы.

Обращаясь к существующим альтернативам, автор называет и дает краткое описание нескольких сайтов, созданных за последние три года в помощь потенциальным донорам в качестве основных источников достоверной информации о лучших организациях.  Каждый из этих сайтов ставит именно эффективность деятельности во главу угла оценки и предоставляет информацию, которая до недавнего времени была недоступна для доноров. Например, Great Nonprofits публикует отзывы конечных потребителей услуг НКО. Philanthropedia публикует сотни экспертно-оценочных заключений об отдельных благотворительных организациях. Give Well проводит серьезный анализ с целью выявления благотворительных организаций, демонстрирующих непосредственный результат деятельности.

Подробнее об этих сайтах читайте в источнике.

Источник: Philanthropyaction

Нетривиально об оценке результатов благотворительности

На сайте авторитетного Центра эффективной филантропии (CenterforEffectivePhilanthropy ) в одном из блогов появился неожиданный и действительно ценный  в силу тонкости и глубины знания дела комментарий об  уместности оценки результатов благотворительной деятельности. Ценность комментария тем важнее, что это реакция на изданный Центром труд под названием «Основы стратегий фондов». На первый взгляд, неоднозначность оценки результатов состоит в  том, что сотрудникам фондов не просто определить, какие именно данные нужно анализировать, а затем – как их собирать. Авторы отчета перечисляют причины, объясняющие возникающие сложности. Среди них – возможные технические затруднения, недостаточное обеспечение ресурсами и поддержкой, недостаток квалификаций и знаний грантополучателей. Однако автор комментария, указывая на злоупотребление количественной оценкой результатов, вообще подвергает ее ценность сомнению.  Предпочтительнее ли качественная оценка результатов? Или лучший «рецепт» оценки эффективности – сравнительный анализ? Может, цена вопроса станет решающим фактором при принятии решения, приступать к оценке или, возможно, не стоит? Эксперт поднимает эти и другие острые вопросы оценки, а также дает в ходе размышлений ряд практических советов, которые, как минимум, могут снизить расходы некоммерческой организации на организацию оценки деятельности. О подводных камнях оценки читайте подробнее на сайте Центра.

Источник: Effectivephilanthropy