Методики
Оценка - очень широкое понятие. Попробуем здесь разобраться в подходах и методиках. На данный момент мы предлагаем познакомиться с библиотекой собранных на русском языке руководств и пособий по проведению оценки социальных проектов, а также серию видеоматериалов, по итогам экспертных сессий в рамках проекта разработки и апробации модели оценки социально-экономического эффекта социальных проектов НКО.
А самое интересное - наши небольшие и доступные для СО НКО и других заинтересованных сторон сервисы, которые мы планируем выкладывать здесь в течение всего проекта. На данный момент это:
Во-первых, Универсальный оценочный профиль, который мы разработали на основе проведенных исследований, экспертных встреч и обсуждений.
Во-вторых, Сервис самоопределения в рамках Целей устойчивого развития
В-третьих, Калькулятор экономического вклада волонтеров
В-четвертых, Сервис оценки влияния СО НКО на показатели эффективности губернаторов
Пятый веб-сервис Теория позитивных изменений работает в режиме beta-версии, но уже предоставляет базовый функционал и общий подход, включая расчет интегральных показателей доказательности и обоснованности проекта.
Ключевым решением для всех сервисов оценки является подход, реализованный в формате Уникального оценочного профиля как базовый элемент модели оценки социально-экономического воздействия проектов НКО.
Основанием разработки методики уникального оценочного профиля (УОП) является отсутствие распространенных в практике оценки методик и подходов, которые:
1. Реализованы в интересах и с учетом потребностей НКО, причем – любого масштаба.
2. Позволяют расширить представление НКО о возможностях рассмотрения и анализа результатов своей деятельности.
3. При этом, имеют потенциал повышения эффективности проектной деятельности НКО.
4. Имеют потенциал унификации, но при этом – отражения индивидуального профиля деятельности НКО.
5. Позволяют рассматривать уровни не только непосредственных результатов (output), но и влияния/воздействия проекта (outcome).
Предпосылками использования УОП являются:
· Необходимость учета всего спектра возможных характеристик проектной деятельности.
· Важность перехода от универсальной стратегии «широких мазков» к стратегии универсального, но учитывающего особенности конкретного проекта, алгоритма.
· Невозможность учета всего спектра возможных характеристик модели в формате двухмерного, и даже 3D, 4D и т.д. подхода.
· Вариативная модель Эбрагима, в рамках которой уже предложен вариант унификации подхода при сохранении учета индивидуальных особенностей.
· Важность учета потребностей самой НКО в определенных областях и сферах возможной оценки.
· Необходимость простоты и доступности предлагаемого решения, возможности его использования НКО без привлечения третьих сторон.
УОП представляет собой методику самооценки характеристик проекта, в формате опросника, результатом которой является генерация индивидуального профиля, на основании которого создается уникальный для данной организации (проекта) алгоритм последующей деятельности по оценке. В зависимости от индивидуальных и специфических характеристик проекта, в его модель оценки будут включены те элементы и процедуры, которые в наибольшей степени способствуют повышению эффективности данного конкретного проекта.
Алгоритм разработки УОП может быть следующим. В его разработке участвуют не менее трех представителей организации: руководитель проекта, член проектной команды, работающий с благополучателями, специалист, отвечающий за внешние коммуникации. Желательным является также включение в команду разработки УОП руководителя организации. Всем участникам команды разработки предлагается для индивидуального заполнения опросник, в котором предлагается оценить проект по шкале от 1 до 10, по нескольким критериям (предположительно – порядка 10-15). Перечень таких критериев может включать:
1. Определенность причинно-следственной связи (по Эбрагиму)
Максимальный балл (10) по данному критерию предполагает высокую степень определенности в отношении причинно-следственной связи проекта, его воздействия (использования социальной технологии) и получаемых результатов. То есть, мы точно знаем, что можем рассчитывать на такой-то результат на уровне изменений в жизни благополучателей.
Минимальный балл (0) по данному критерию предполагает низкую степень определенности в отношении причинно-следственной связи используемой социальной практики и полученных результатов. Другими словами, мы не можем сказать точно, каких изменений в жизни благополучателей мы можем ожидать. Как правило, это свойственно проектам, в которых высока степень зависимости от внешних факторов, а также проектам с локальной, сфокусированной активностью, являющейся одной из многочисленных, оказывающих влияние на жизнь благополучателей (например, проект по обеспечению питания бездомных, являющийся одним из факторов изменений в жизни бездомных).
2. Возможность измерения результатов на уровне outcome (по Эбрагиму)
Максимальный балл (10) по данному критерию отражает ситуацию, когда существует возможность контроля результатов проекта на уровне изменений в жизни благополучателей (то, что часто называют социальным воздействием, импактом, а также outcome).
Минимальный балл (0) по данному критерию отражает ситуацию, когда результаты проекта не могут быть оценены на уровне изменений в жизни благополучателей (то, что часто называют социальным воздействием, импактом, а также outcome). Такая ситуация свойственна, например, проектам, не предполагающим долговременного воздействия (например, оказание экстренной помощи), эффективность которых зависит от многих факторов и может меняться из года в год с изменением ситуации и т.п.
3. Возможность получения обратной связи от благополучателей
Максимальный балл (10) по данному критерию отражает ситуацию, когда в рамках проекта существуют широкие возможности обращения к благополучателям с целью сбора обратной связи, мнений о проекте (в каком-либо формате - интервью, опроса, беседы, лично или онлайн и т.п.).
Минимальный балл (0) по данному критерию отражает ситуацию, когда по каким-либо причинам в рамках проекта полностью отсутствуют возможности обращения к благополучателям с целью сбора обратной связи, мнений о проекте (в любом из возможных форматов обращения).
4. Необходимость измерений экономических показателей
Максимальный балл (10) по данному критерию отражает ситуацию, когда измерение экономических показателей по проекту (в любых форматах - возврата инвестиций, экономики реализуемых социальных услуг, соотношения затрат/выгод и т.п.) является необходимой задачей, которую обязательно требуется решить в рамках оценки проекта.
Минимальный балл (0) по данному критерию отражает ситуацию, когда измерение экономических показателей по проекту в рамках его оценки не требуется.
5. Наличие системы индикаторов для описания результатов
Максимальный балл (10) по данному критерию отражает ситуацию, когда для проекта уже разработана и используется система показателей (индикаторов) оценки его эффективности для каждого этапа реализации; данные показатели описаны, разработана методология для их оценки (инструменты и порядок сбора данных).
Минимальный балл (0) по данному критерию отражает ситуацию, когда в проекте в настоящий момент не используется (отсутствует) система показателей/индикаторов эффективности его реализации.
6. Наличие доказательной базы социальной технологии
Максимальный балл (10) по данному критерию отражает ситуацию, когда проект основан на социальной технологии (практике), которая обоснована с точки зрения научных теорий и концепций, результатов научных исследований в данной области, а также на основании мнений и опыта благополучателей.
Минимальный балл (0) по данному критерию отражает ситуацию, когда отсутствуют данные о доказательности и обоснованности используемой в проекте социальной технологии (практики).
7. Наличие системы оценки и контроля медиа эффектов
Максимальный балл (10) по данному критерию соответствует ситуации, при которой в организации в целом и на уровне проекта в частности разработана и внедрена система оценки медиа эффективности – сбора и анализа данных об отражении проекта в СМИ (традиционных, социальных медиа). Данные регулярно собираются, анализируются, результаты анализа оперативно учитываются в дальнейшем взаимодействии со СМИ.
Минимальный балл (0) по данному критерию соответствует ситуации, при которой в организации в целом и на уровне проекта в частности отсутствует система сбора и анализа данных о медиа эффективности (отражении проекта в традиционных СМИ, социальных медиа).
8. Масштаб деятельности организации (характеристики охвата ЦА)
Максимальный балл (10) по данному критерию соответствует ситуации, при которой охват проекта, с учетом всех целевых аудиторий, составляет более тысячи человек, либо более 50% всей возможной аудитории (например, людей с определенным типом заболевания, при направленности проекта на людей с данным типом заболевания, жителей определенной территории, при направленности проекта на жителей данной территории и т.п.)
Минимальный балл (0) по данному критерию соответствует ситуации, при которой охват проекта с учетом всех целевых аудиторий, составляет менее тысячи человек, либо менее 50% всей возможной аудитории.
9. Необходимость предоставления данных об эффективности третьей стороне
Максимальный балл (10) по данному критерию соответствует ситуации, при которой существует необходимость предоставления данных об эффективности проекта третьей стороне (например, грантодающей организации, инвестору).
Минимальный балл (0) по данному критерию соответствует ситуации, при которой отсутствует необходимость отчетности перед третьими сторонами, оценка ориентирована исключительно на внутренний запрос организации или команды проекта.
10. Вовлеченность особенных целевых аудиторий, имеющих ограничения в предоставлении обратной связи
Максимальный балл (10) по данному критерию соответствует ситуации, когда более половины благополучателей проекта имеют ограничения в возможности предоставления обратной связи по проекту, своего мнения о нем, оценки удовлетворенности получаемой услугой, сравнения ее с другими и т.п. – дети, люди с ментальной инвалидностью и т.п.
Минимальный балл (0) по данному критерию соответствует ситуации, когда в проекте не предусмотрено вовлечение целевых аудиторий, имеющих ограничения в возможности предоставления обратной связи по проекту, своего мнения о нем.
11. Необходимость включения проекта в международный контекст
Максимальный балл (10) по данному критерию отражает ситуацию, когда проект предполагает возможное включение в международный контекст – презентацию на международных событиях, представление зарубежным экспертам и т.п.
Минимальный балл (0) отражает ситуацию, когда проект не предполагает включения в международный контекст.
12. Наличие системы регулярного сбора данных для проведения мониторинга
Максимальный балл (10) по данному критерию отражает ситуацию, когда по ходу реализации проекта проводится регулярный сбор данных о его реализации – ведется статистика (обращений, количества оказанных услуг, посетителей, звонков), сбор обратной связи (анкетирование, интервью) и т.п.
Минимальный балл (0) отражает ситуацию, когда в рамках проекта не ведется какой-либо фиксации каких-либо показателей его реализации.
13. Ресурсы проведения оценки
Максимальный балл (10) по данному критерию отражает ситуацию, когда на разработку и реализацию программы оценки проекта заложено отдельное финансирование, предполагающее возможность привлечения внешних экспертов, сбор эмпирических данных, проведение исследований и т.п.
Минимальный балл (0) по данному критерию отражает ситуацию, когда в рамках проекта не предусмотрено выделение отдельного финансирования, ее реализация предполагается исключительно за счет имеющихся в организации ресурсов (силами организации).
После индивидуального заполнения опросника, выставления оценок по каждому из критериев, полученные УОП сравниваются, определяются критерии, получившие различные оценки, путем обсуждения участников проекта разработки определяются интегральные показатели по ним. Таким образом, создается интегральный УОП проекта, представляемый в формате лепестковой диаграммы. Для самостоятельного тестирования мы создали специальный раздел
В зависимости от характеристик полученного УОП, организация получает индивидуальную рекомендованную модель оценки данного проекта. Условно, оценки разделяются на низкие, средние (пограничные) и высокие. В зависимости от сочетания этих оценок, организации может быть рекомендовано, например:
1. Разработать детальную или описательную теорию изменений
2. Обеспечить/усилить доказательную базу проекта
3. Внедрить систему измерений медиа показателей
4. Описать деятельность в соответствии со стандартами социальной отчетности
5. Разработать систему оценки экономического воздействия своего проекта
6. Внедрить систему мониторинга результатов проекта
7. Внедрить согласованную систему сбора данных
8. Разработать систему индикаторов, включающую понятия целей устойчивого развития (SDG)
Важно отметить, что рекомендации строятся исходя из комплексного анализа всех показателей. Например, при большом охвате аудитории благополучателей, невозможности предоставления ими обратной связи и наличии, например, слабой доказательной базы, рекомендацией, вероятно, станет разработка детально проработанной теории изменений, с использованием, например, методов контрибутивной оценки, а также акцентом на необходимости усиления доказательной базы проекта.
В зависимости от полученных рекомендаций, организации предоставляются методические рекомендации, в удобном формате, с использованием инфографики, о том, как каждый из элементов может быть реализован, а также ссылки на полезные, проверенные и эффективные материалы по дальнейшей работе по ее реализации.
Стоит отметить, что привлечение внешних специалистов к работе над созданием УОП (например, для модерации обсуждения интегрального УОП), а также для последующей работы по формированию мер для реализации полученной модели оценки, является возможным, желательным, но не обходимым. Таким образом, такой подход предполагает возможность индивидуальной работы НКО над своим проектом, без необходимости привлечения внешних специалистов. Однако важным условием успешного внедрения данного подхода является удобство его использования, и в частности – автоматизация всех описанных выше процессов. В целом, максимальная возможная автоматизация всех процессов и алгоритмов является одной из наиболее желательных для реализации всех предложенных мер. В частности, рекомендовано провести анализ возможностей специализированных решений, предлагаемых Yandex и Google для НКО. В том числе, рекомендуется рассмотреть сервисы построения дашбордов (в том числе – Yandex Lens), предлагаемых различными поставщиками, а также выстроить возможный технический алгоритм для обращения к базам открытых данных, аналитике и т.п.