Читать онлайн Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023) бесплатно

«Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном

Наталья Гладких

DOI 10.55140/2782–5817–2023–3–1–4–15

Майкл Куинн Пэттон – один из наиболее известных экспертов в мире в области оценки проектов и программ[1]. В этой сфере он работает с 1970-х годов, когда оценка в некоммерческом секторе была относительно новым явлением. Доктор Пэттон – автор известных концепций оценки, которые используют специалисты по всему миру, обладатель нескольких международных премий за выдающийся вклад в развитие этой области, автор 18 книг по различным вопросам практического использования оценки[2]. В интервью главному редактору журнала Майкл Пэттон рассказал о взглядах на профессию оценщика[3], импакте профессии, трендах развития сферы оценки, «золотом стандарте» методологии проведения оценки, а также о том, какое будущее ждет эту сферу.

Майкл Пэттон

Наталья Гладких

к. психол. н., ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ

Какие наиболее значимые изменения в сфере оценки проектов и программ вы можете отметить за свой долгий путь в профессии?

Я уже больше 50 лет в оценке. За эти годы данная сфера стала очень разнообразной. Подобно тому, как существует множество программ, существует множество видов оценки. И самая сложная задача – согласовать их между собой.

Изменилось ли за это время восприятие профессии специалиста по оценке проектов и программ?

Я надеюсь, что в общественном восприятии эта область стала более профессиональной, ведь сейчас существует более 100 национальных организаций, таких как сообщество оценщиков в России, Европейская ассоциация оценщиков и другие. У них есть стандарты, программы обучения, публикации. По нашим данным, в мире сейчас насчитывается около 75 000 специалистов по оценке программ. Конечно, все это говорит о том, что сфера профессионализируется.

А изменились ли требования к специалистам по оценке?

Каковы сейчас требования к профессиональным оценщикам?

В большинстве стран отсутствует сертификация специалистов по оценке. В Канаде существует программа сертификации через Канадское общество оценки. В Новой Зеландии и Японии есть ряд сертификационных программ. Американская ассоциация оценки не имеет официальной программы сертификации.

Проверять квалификацию и определять, обладает ли оценщик необходимыми навыками, приходится тем, кто нанимает оценщиков.

Если брать пример Канады, есть ли в этой стране программа высшего образования (например, магистратуры) или это сертификация профессиональной ассоциации? Каков процесс получения сертификата?

Канадское общество оценки организует тренинги. Люди участвуют в них, завершают обучение, представляют примеры сделанных ими работ по оценке. Получая сертификат Канадского общества оценки, они становятся так называемыми сертифицированными оценщиками.

Не существует «золотого стандарта» оценки. Главное – это адаптивность, уместность, соответствие потребностям конкретной программы.

По вашему мнению, какой вариант лучше – сертификация или отсутствие сертификации, когда заказчик решает, является ли конкретный оценщик наилучшим специалистом для этого конкретного проекта?

Я думаю, что иметь сертификат полезно, потому что это позволяет людям, которые не очень глубоко разбираются в оценке, понимать, что перед ними человек, прошедший подготовку. Однако область оценки в США и в Европе настолько разнообразна, что до сих пор не удалось прийти к общему пониманию, в чем заключаются азы профессии. В Канаде смогли договориться о базовых понятиях, которые оценщик обязан знать, поэтому там возможна сертификация оценщиков. Маловероятно, что это случится в США, потому что там эта сфера слишком разнообразна.

Поговорим о методологии оценки. Произошли ли какие-то изменения в этой сфере?

Конечно. Появился искусственный интеллект (ИИ), большие данные и их источники. Пандемия принесла с собой большие перемены: благодаря онлайн-ресурсам стало возможным проводить интервью и фокус-группы онлайн. По-новому стали использоваться спутниковые снимки. Например, благодаря спутникам теперь не нужно ехать куда-то в поля, чтобы проверить, используется ли там новая сельскохозяйственная техника. Если мы хотим узнать, сколько детей находится в школе в развивающейся стране, опять же можно использовать спутниковые снимки.

Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.

Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?

Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.

Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность – это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.

Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?

Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.

Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?

Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу – насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.

Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.

Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?

К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам – с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.

Сегодня оценка – это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами.

Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?

Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.

А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.

Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка – это не только методики, но еще и межличностные отношения.

В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?

Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.

Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.

То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.

Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.

В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?

Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.

В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.

Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.

Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.

Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?

Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.

Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.

Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.

В так называемом мире постправды или антинауки оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней.

Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?

Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц – мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи – это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?

Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.

Голубые фишки – это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.

Недооцененная акция – это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации – это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.

Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.

Теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями.

У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке – если опять же, исходить из концепции оценки, ориентированной на использование.

Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.

Здесь много о чем нужно договариваться и многое адаптировать, даже при общем критерии инвестирования в социальные проекты. Еще нужно определить, что означает инвестирование в социальные проекты и эффективность таких инвестиций в конкретной ситуации. И здесь как раз нужна оценка с упором на использование, потому что она обеспечивает диалог с клиентами и помогает им сформулировать сроки, критерии, степень риска, которую они готовы принять, и требуемый уровень отдачи инвестиций.

Использование логики оценки финансовых инструментов помогает инвесторам социальных проектов понять логику оценки программ.

Следующий вопрос касается теории трансформации. В чем разница между предложенным вами термином «теория трансформации» и теорией изменений?

Отличный вопрос. Идею теории изменений предложила в 1995 году социолог Кэрол Вайс, которая наблюдала, как фонды начали реализовывать программы, не зная, какие данные об эффективности показывали исследования. Они не знали о достижениях социальных наук, о том, как бороться с бедностью или с наркозависимостью.

Теперь мы перешли к попыткам изменить целые системы (климатические, сельскохозяйственные, продовольственные, здравоохранения). Когда вы начинаете изменять систему, вы выходите за рамки одного конкретного проекта.

Теория изменений рассматривает индивидуальный проект или программу, а теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Например, в кампании по борьбе с курением не одна теория изменений. Вам нужно просвещать людей о вреде курения, работать с рекламой и маркетингом, со здравоохранением. Вам нужны нормативно-правовые акты и стимулирующие меры, активная работа с производителями табачной продукции, с молодежью, с пожилыми людьми.

Существует много разных подходов к борьбе с курением, каждый из которых имеет собственную теорию изменений, а теория трансформации пытается интегрировать все эти разные теории изменений, чтобы добиться общего системного воздействия.

Мне кажется, это касается и концепции Blue Marble[4], над которой вы сейчас работаете. Не могли бы вы кратко описать основные идеи этой концепции?

Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями. Например, на состояние сельского хозяйства в любой стране влияют изменение климата, мировые рынки, политика правительства, политика международных агентств, торговля, транспорт. Идея оценки Blue Marble заключается в том, что мы должны понимать не только то, что происходит в конкретной локальной программе, но и как на эту программу влияют глобальные и международные тенденции, например, пандемия или изменения климата.

Концепция оценки Blue Marble соединяет локальное с глобальным. В английском для этого есть слово «glocal», сочетающее слова «local» и «global», «локальный» и «глобальный». Оно означает поиск взаимодействий и взаимосвязей локального и глобального, таким образом наше понимание на глобальном уровне основано на понимании локальных процессов, а понимание происходящего на локальном уровне обусловлено пониманием глобальных тенденций.

Давайте поговорим о реализации этой концепции в практической работе оценщиков. Например, если оценщик решает использовать концепцию оценки Blue Marble в своей работе, с чего ему надо начинать?

Давайте в качестве примера снова возьмем инвестирование в социальные проекты. Для любой инвестиции в социальный проект важно рассмотреть конкретный проект, в который будут вкладываться средства, однако с точки зрения Blue Marble оценщики также должны знать, чем занимаются другие инвесторы социальных проектов. Что происходит в других странах? Каковы мировые тенденции в инвестировании в социальные проекты? Какие сети задействованы? Чем больше денег поступает в социальные проекты на глобальном уровне, тем важнее применять к каждому конкретному проекту глобальные тенденции и шаблоны.

Работа оценщика в этом случае включает не только разработку оценки конкретного социального воздействия, но и знание глобального контекста, что происходит в других проектах оценки социального воздействия, чему можно у них научиться, какие там показатели, как это связано с целями устойчивого развития. Например, связана ли конкретная инвестиция в социальный проект с одной целью устойчивого развития или несколькими целями устойчивого развития? Конкретно это означает, что оценщику необходимо научиться помещать отдельный проект в широкий глобальный контекст.

Есть ли у вас руководство или список вопросов, которые специалист по оценке должен задать? Например, чтобы не забыть про климат и другие глобальные вопросы.

Да, такой список вопросов есть. Как вы предположили, первая часть вопросов относится к климату – как проект соотносится с устойчивым развитием, восстановлением, смягчением последствий изменения климата? Потому что мы находимся в чрезвычайной климатической ситуации, и любые наши действия могут оказать на нее влияние.

Еще одна группа вопросов касается социальной справедливости, потому что разрыв между богатыми и бедными людьми, между более богатыми и более бедными странами не прекращает увеличиваться. Есть этический критерий – как конкретный проект поддерживает гендерное и социально-экономическое равенство, расовую справедливость. Таким образом, вопросы социальной справедливости и равенства и вопросы воздействия на изменение климата стали универсальными, они должны учитываться во всех оценках программ.

Мой последний вопрос – о будущем. Если попытаться заглянуть в ближайшее будущее оценки программ, какие изменения мы можем ожидать?

Я думаю, будет больше сетей оценщиков, обменивающихся данными и коммуницирующих друг с другом, потому что мы занимаемся системными изменениями. Например, я работаю с Глобальным альянсом за будущее продовольствия, это 30 благотворительных фондов на 4 континентах. Это фонды из Северной Америки, Европы, Южной Америки и Азии.

Для решения глобальных проблем и отслеживания системных изменений требуется совместная работа команды оценщиков из разных стран, говорящих на разных языках и имеющих разные методологические навыки. В прошлом году я с командой оценщиков Blue Marble участвовал в оценке Саммита ООН по продовольственным системам.

Сейчас я работаю с новой академией международной оценки, и у нас есть участники из всех стран мира, я вхожу в российское общество оценщиков и оказываю содействие Международной организации по сотрудничеству и оценке. Международные и глобальные сети и группы оценщиков станут частью нашего будущего.

“If You Use Evaluation You Make Better Decisions and Help People More.” Interview with Michael Patton

Natalia Gladkikh

DOI 10.55140/2782–5817–2023–3–1–4–15

Michael Quinn Patton is one of the world’s most renowned experts in project and program evaluation[5]. He has been working in this field since the 1970s, when evaluation in the nonprofit sector was a relatively new phenomenon. Dr. Patton is the creator of well-known evaluation concepts that are used by specialists around the world. He received several international awards for outstanding contributions to the field, and he wrote 18 books on various issues related to practical use of evaluation[6]. In an interview with our Editor-in-Chief, Michael Patton shared his views on the profession of an evaluator[7], the impact of the profession, trends in evaluation, the “gold standard” of evaluation methodology, and what the future holds for this field.

Michael Patton

Natalia Gladkikh

PhD in Psychology, Leading Expert Institute of Social and Economic Design at the Higher School of Economics

What are the most significant changes in project and program evaluation over your long professional journey?

I’ve been in evaluation for over 50 years. The field has grown very diverse in this time period. Just as there are many programs, there are many types of evaluation. And the most difficult task is to coordinate them with each other.

Has the perception of the profession of project and program evaluator changed during this time?

I hope that this area has become more professional in the public perception, because there are now more than 100 national organizations, such as the Association of Specialists in Program and Policy Evaluation in Russia, the European Association of Evaluators, etc. They have established standards, training programs, publications. According to our data, there are now about 75,000 program evaluators worldwide. Of course, all these facts suggest that the field is getting more professional.

Have the requirements to evaluators changed over time? What are the requirements to professional evaluators today?

Most countries do not certify evaluators. Canada has a certification program through the Canadian Evaluation Society. There are a number of certification programs in New Zealand and Japan.

The American Evaluation Association has no formal certification program. It is up to those who hire evaluators to verify their qualifications and determine if the evaluator has the necessary skills.

If we take Canada as an example, does this country have a higher education program (such as a master’s degree), or is it a certification program run by a professional association? What is the process for obtaining a certificate?

The Canadian Evaluation Society organizes trainings. People attend the trainings, complete the curriculum, and present examples of past evaluation work. By acquiring certification from the Canadian Evaluation Society, they become certified evaluators.

There is no “gold standard” for evaluation. The main challenge is adaptability, appropriateness, also the program needs are the key.

In your opinion, when a customer decides whether a particular evaluator is the best person for their particular project, which option is better – certification or no certification?

I think having a certificate helps, because it allows customers, who may not be very proficient in evaluation, to understand they are dealing with someone who has been trained. But the field of evaluation in the United States and in Europe is so diverse that it has not been possible so far to achieve a common understanding of the basics of this profession. In Canada, we were able to agree on the basic concepts that an evaluator must be familiar with, that is why certification is possible there. It is unlikely to happen in the U. S. because the field is too diverse there.

Let’s talk about evaluation methodology. Have there been any changes in this area?

Of course. Artificial intelligence (AI), big data and its sources have emerged. The pandemic brought forth great changes: online services have enabled conducting interviews and focus groups remotely. Satellite iry has been used in new ways.

For example, thanks to satellites, it is no longer necessary to go somewhere in the field to check whether new agricultural equipment is being used there. If we want to know how many children attend a school in a developing country, we can use satellite iry again.

Remote data collection, AI, big data, the Internet, and new data visualization techniques allow for better communication. It has become easier to distribute evaluation results thanks to the development of the Internet and social media, to find people to interview, to follow a person on social networks. All of these technological advances are making their way into the field of evaluation.

So many changes and so many possibilities. Does every evaluator need to be familiar with all these new products? What are the most important qualities and requirements for a good evaluator, and can we talk about the “gold standard” of an evaluator?

The way I see it, we have defined the “gold standard” as the ability to evaluate a program in the proper way, which meets the needs of that specific program. Methodologically, there is no “gold standard.” In any case, I do not believe that randomized controlled trials are better than other methodologies, because the program needs are the key, and because such phenomena as the pandemic, climate change, global political instability, growing numbers of refugees, famine and drought, the speed of change in the world around us, create the need for evaluation approaches that can adapt quickly to new conditions, similar to those caused by the pandemic.

Programs need to change, and so does evaluation. There is no single method that would represent the “gold standard.” The main challenge and difficulty is adaptability and appropriateness. You need to understand what a particular program needs at a particular point in time.

If an evaluation involves, for example, the use of advanced sociological tools, which I am not familiar with as an evaluator, I would not be able to conduct an evaluation at the proper level, would I?

Absolutely. This is partly why it is so important to have professional associations. Today, thanks to them, to social media, to networking, you can always find someone to help you learn these methods. Many evaluations these days are done collectively, so no single evaluator would have all the necessary techniques and skills. However, if you can find the right people through an association, the Internet, or social media, you can find evaluators with all those skills.

Would you say that most clients today require the use of advanced sociological analysis methods?

They need to be able to get feedback from the beneficiaries, if that’s what you mean by sociological analysis. Programs should have good opportunities to get high-quality, real-world data from program participants, so they can find out what is really going on. Perhaps the most important and most common thing is that evaluators get direct, independent and real feedback from the target audiences involved in the program – how well the program is working, whether they are getting the help they need, and what can be improved.

You need to be a good interviewer, to know how to do surveys, use social networks, and get data directly from people.

You are a professional sociologist. In your experience, is it common for evaluators to have a background in sociology or psychology, a professional mastery of SPSS and similar programs, or is it really not necessary?

Fortunately, there is additional training available. Much of my sociological education was strictly academic, and I had to learn evaluation by doing. When I started, there were no courses, no seminars. I had to take interviews and surveys as sociological methods and adapt them to evaluation. Psychologists had to do the same with tests, and economists with cost-benefit analysis. Working in evaluation requires the ability to adapt these academic research methodologies. This is a key skill.

Today evaluation is not only about techniques, but also about interpersonal relationships. Evaluators must be good listeners, able to work with people from different cultures, be able to make connections, communicate well, solve problems and manage conflicts.

Let’s talk about the so-called “soft skills.” Are they really important to the evaluator?

That’s a good question. The American Evaluation Association has established a set of competencies that are essential to an evaluator. Of course, these include methodological competence, project management, knowledge of professional and ethical standards.

And then there are interpersonal competencies. Evaluators must be good listeners, able to work with people from different cultures. They must treat people with respect. Be able to make connections, communicate well, solve problems and manage conflicts.

One of my recent books focuses on the relevant skills for working with stakeholders at various levels. This is an important change, as evaluation today is not only about techniques, but also about interpersonal relationships.

In some of your publications, you mentioned the concept of evaluative thinking and suggested sharing this type of thinking with the project team, with the client. Doesn’t this threaten the existence of the evaluators as a profession? Wouldn’t evaluation become just a management function?

I don’t consider this a danger. You described the situation very well, but evaluative thinking in management only means that you have better communication because you speak the same language. People understand the concepts of logical frameworks, theories of change, SMART goals, different types of evaluation for different purposes, but in order to do the actual evaluation, you still need a fresh perspective, you still need people who can look at things differently.

When people do have an evaluative mindset, they begin to appreciate having a specialist who helps them look at things through the eyes of an outsider. It is something I do often. As an evaluator, I help managers, employees and even shareholders understand how evaluators think, how they define criteria and interpret data, how they draw conclusions – but they would still need an evaluator to make their job easier, to have another pair of eyes to look at things from a different perspective. Helping to think in an evaluative way is about improving communication and understanding of what’s going on.

So you don’t think that evaluation will become just a part of management, because the evaluator has other functions besides allowing you to understand what’s really going on.

Yes, that’s right. Evaluators also give an additional point of view. Even where there are internal evaluators in the management, their job is to do the evaluation and make sure there’s good data and make sure people take the time to interpret it. I believe the evaluator function will remain, but the better management understands evaluation, the better communication and use of evaluation results will be.

In your 2009 article, “The Future of Program Evaluation,” you wrote that the “gold standard” of evaluation methodologies would be hotly debated over the next few decades. Can we say that the answer to this question has changed significantly since then? Or do we still have the same leader – randomized controlled trials?

The debate continues, but it’s becoming increasingly clear that in a rapidly changing world, we need fast-turnaround techniques that produce real data in real time. Randomized controlled trials are really not very useful in a complex, dynamic, rapidly changing world. They work best in a stable situation where there are clear fixed interventions.

In a rapidly changing world, we need fast-turnaround techniques that produce real data in real time and provide them just as quickly to people.

If you have to work on topics like pandemics, climate change, or civil unrest when things are changing rapidly, randomized controlled trials are not appropriate – they are too rigid and too time-consuming.

The speed of change means that the evaluation must produce results quickly, in real time, and provide them just as quickly to people who need to make decisions in a time-constrained environment.

The evaluator’s profession is changing in response to what is going on, but evaluators themselves are also changing the world. What do you think this profession has already given to the world?

I think we are living in a time of a worldwide battle between approaches based on evidence, facts, and science, on the one hand, and a part of the world that ignores them and only seeks to promote ideology. Evaluation is part of this worldwide data. Evaluation proves that if you use data, you make better decisions and help people more.

We’ve seen it work with people who refused COVID vaccination, who don’t believe the pandemic and vaccination data. In the so-called post-truth or anti-science world, where people can say whatever they believe and assume it to be true, evaluators help people appreciate the importance of evidence, looking at reality and working with it rather than with subjective perceptions and beliefs. This is our contribution.

In the so-called post-truth or anti-science world evaluators help people appreciate the importance of evidence, looking at reality and working with it.

You are the author of many program evaluation concepts used by evaluators around the world. We would like to discuss some of them. The first question concerns the concept of utilization-focused evaluation. In it, you emphasize the client’s role and interest, their desire to participate in the use of the evaluation results. Nowadays, investors in social projects and even the state (as in the social impact bond model, SIB), often become the evaluators’ clients. They are not involved in the project itself, but are its customers. Is it possible to use the evaluation principle with an em on its use in this specific situation? Are there any peculiarities of its application in this case?

This is an important question. Utilization-focused evaluation requires considering different levels and different types of stakeholders – we call them intended users. Who is this evaluation for? If the intended users are social investors, then I would want to engage them in defining the criteria they are seeking. What do they want to know to make a better investment?

When I work with social investors, part of what I do is help them understand as clients that there are different ways to do evaluation, because there are many different types of programs. For example, when I work with boards of directors investing in social projects or charitable foundations, I do an exercise with them. I make a list of different types of financial instruments: blue chip stocks, high growth stocks, undervalued stocks, that is, stocks of companies in transition or struggling, long-term bonds, short-term bonds, mutual funds. These people are well aware of the different types of financial instruments and the differences in their profitability. Then I take a set of projects and draw parallels between different kinds of projects and different kinds of financial instruments.

Blue chips are well known programs like the World Food Program or UNICEF; they are world-famous, stable, and have a good reputation. A program that seeks to scale, to enter other territories within or outside the country is the equivalent of high-growing stock in the financial market.

Undervalued stock is a program that is in transition and needs help to get through and adapt to change. Long-term bonds are the equivalent of operating support for a program without specifying what specific project the program will implement.

This exercise helps social investors understand that they value different financial instruments differently. They look at different types of stocks, investment funds or bonds using different criteria, and we also evaluate different programs using different criteria depending on the nature of the program and the nature of the investment. Using the logic of evaluating financial instruments helps them understand the logic of evaluating programs.

The theory of transformation, trying to change systems, must consist of many different theories of change. The Blue Marble evaluation is related to the theory of transformation: once we start dealing with large systems, we are dealing with global impacts.

Investors in social projects also have internal networks and have developed a number of methodological approaches. For example, they are very fond of the social return on investment (SROI) method. Sometimes it is even taken as the only possible, no-alternative method for evaluating the results of any project. This seems to go at odds with the evaluation specialists’ views – again, based on the utilization-focused evaluation concept.

The social effectiveness of investments still needs to be interpreted and adapted, depending on whether we are talking about long-term or short-term social effectiveness of investments, about innovative high-risk programs, high-risk programs with high performance potential, or low-risk, low-return programs. When I talk about parallels between different kinds of financial instruments and different kinds of programs, I’m talking about how much risk social project investors are willing to take, how innovative they want to be, what the time span is for investment and return, whether they are looking for several different indicators or just one measure of success.

There is a lot to negotiate and a lot to adapt, even with the general criteria of investing in social projects. It is also necessary to determine what it means to invest in social projects and the effectiveness of such investments in a particular situation. And this is where utilization-focused evaluation is needed, because it provides a dialogue with clients and helps them articulate the timing, the criteria, the degree of risk they are willing to accept, and the required level of return on investment.

Using the logic of evaluating financial instruments helps social investors understand the logic of evaluating programs.

The next question concerns the theory of transformation. What is the difference between your proposed term “theory of transformation” and theory of change?

That’s a great question! Theory of change was a concept suggested in 1995 by sociologist Carol Weiss, who observed how foundations began to implement programs without knowing what data on effectiveness the studies showed. They didn’t know about advances in social sciences, about how to fight poverty or drug addiction.

Now we have moved on to trying to change entire systems (climate, agriculture, food, healthcare). When you start changing the system, you go beyond one particular project.

The theory of change looks at an individual project or program, while the theory of transformation, trying to change systems, must consist of many different theories of change. For example, the anti-smoking campaign has more than one theory of change. You need to educate people about the dangers of smoking, work with advertising and marketing, with healthcare. You need regulations and incentives, active work with tobacco manufacturers, with young people, with the elderly.

There are many different approaches to fighting smoking, each with their own theory of change, and the theory of transformation attempts to integrate all of these different theories of change to achieve an overall systemic impact.

I think this also applies to the Blue Marble concept[8] that you’re working on right now. Could you briefly describe the main ideas of this concept?1

The Blue Marble evaluation is related to the theory of transformation: once we start dealing with large systems, we are dealing with global impacts. For example, the state of agriculture in any country is affected by climate change, world markets, government policies, the policies of international agencies, trade, and transportation. The idea behind the Blue Marble evaluation is that we need to understand not only what is happening in a particular local program, but also how that program is affected by global and international trends, such as pandemics or climate change.

The Blue Marble evaluation concept connects the local with the global. The English word for this is “glocal,” which is a portmanteau of “local” and “global.” It means looking for interactions and interconnections between the local and the global, so that our understanding at the global level is based on an understanding of local processes, and our understanding of what is happening at the local level is conditioned by an understanding of global trends.

Let’s talk about the implementation of this concept in the evaluators’ practical work. For example, if an evaluator decides to use the Blue Marble concept in his work, where should they begin?

Let’s take investing in social projects as an example again. For any social project investment, it is important to consider the specific project towards which the funds will be invested, but from the Blue Marble perspective, evaluators also need to know what other social project investors are doing. What is happening in other countries? What are the global trends in social project investment? What networks are involved? The more money goes into social projects on a global level, the more important it is to apply global trends and patterns to each specific project.

The work of the evaluator in this case includes not only developing a specific social impact evaluation, but also knowing the global context, what is going on in other social impact evaluation projects, what can be learned from them, what the indicators are, and how this relates to the sustainable development goals. For example, is a particular social project investment linked to one sustainability goal or several sustainability goals? Specifically, this means that the evaluator needs to learn how to place the individual project in a broader global context.

Do you have a manual or a list of questions that the evaluator should ask? Like not forgetting climate change and other global issues, for example.

Yes, I do have such a list of questions. As you suggested, the first part relates to climate – how does the project relate to sustainable development, recovery, climate change mitigation? The thing is that we are living in a climate emergency, and any action we take can have an impact on it.

Another set of questions concerns social justice, because the gap between rich people and poor people, between richer and poorer countries, keeps growing endlessly. There is an ethical criterion for how a particular project supports gender, social and economic equality and racial justice. Thus, social justice and equity issues and climate change impacts have become universal aspects to be considered in all program evaluations.

My final question is about the future. If we try to look into the near future of program evaluation, what changes can we expect?

I think there will be more networks of evaluators exchanging data and communicating with each other, because we are dealing with systemic change. For example, I work with the Global Alliance for the Future of Food, which combines 30 charities on four continents. This includes foundations from North America, Europe, South America and Asia.

Solving global problems and tracking systemic change requires a collaborative team of evaluators from different countries, speaking different languages and with different methodological skills. Last year, me and a team of Blue Marble evaluators participated in the evaluation of the UN Food Systems Summit.

Currently I am working with the new International Evaluation Academy, which has participants from all over the world. I am part of the Russian Association of Specialists in Program and Policy Evaluation, and I’m assisting the International Organization for Cooperation and Evaluation. International and global networks and evaluation teams are definitely part of our future.

Без стандартов, но по призванию. Является ли оценка проектов и программ профессией?

Юлия Вяткина

DOI 10.55140/2782–5817–2023–3–1–16–27

Тема профессионализации оценки проектов и программ (в социальной сфере, культуре, науки, экологии и т. д.) существует в повестке международных организаций второй десяток лет, в российской практике – около десяти. Появляется много публикаций, проводятся дискуссии, специалисты по оценке обсуждают статус ее как профессии на региональном и международном уровне. В нашей стране эта тема рассматривается на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП). Так является ли оценка проектов и программ профессией, и если да, то как это можно понять и узнать?

Юлия Вяткина

Редактор журнала «Позитивные изменения»

СТАДИИ ПРЕВРАЩЕНИЯ ЗАНЯТИЯ В ПРОФЕССИЮ

Прежде чем начать разговор о профессионализации оценки (здесь и далее под оценкой мы будем понимать оценку проектов и программ – прим. ред), рассмотрим, каким образом то или иное занятие превращается в профессию.

Американский социолог Гарольд Виленски, исследовавший функционирование различных организационных структур в современном обществе, предложил в 60-х гг. прошлого века модель, согласно которой формирование профессии проходит несколько стадий[9].

Все начинается с того, что некое занятие приобретает статус полной занятости. Т. е. достаточно много людей занимаются некой деятельностью с утра до вечера и зарабатывают этим на жизнь. Полная занятость – это отправная точка, иначе занятие не может превратиться в профессию. Кроме того, она возможна, когда есть спрос на услуги.

Вторая стадия – это появление школы профессиональной подготовки людей, которые занимаются этим видом деятельности. Такая школа чаще всего ассоциирована с университетами. Далее появляется профессиональная ассоциация – объединение людей, которые занимаются этой деятельностью на постоянной основе. Ассоциация делает определенные шаги, чтобы со стороны государства были приняты какие-то нормативные документы, которые бы позволяли в установленном порядке лицензировать, сертифицировать деятельность, чтобы появилась своего рода профессиональная монополия. Также профессиональная ассоциация влияет на профподготовку специалистов, появляется теория, методы, стратегии деятельности и компетенции специалистов.

Следующий шаг – этический кодекс, который обеспечивает предотвращение злоупотреблений авторитетом и властью. Профессиональные ассоциации демонстрируют общественности, что они контролируют соблюдение этического кодекса и являются саморегулируемыми.

Еще один этап – формирование позитивного имиджа в обществе. Когда имидж есть, можно говорить о том, что появляется профессия.

ЧТО ТАКОЕ ПРОФЕССИЯ?

Есть два подхода к определению профессии. В первом случае ее обозначают как деятельность, занятие, работу. Во втором – как группу людей.

Профессия как деятельность – это оплачиваемая работа, особенно та, которая предполагает длительное обучение и формальную квалификацию. Соответственно, профессионал – это человек, который прошел такое обучение, получил подтверждение своей квалификации и занимается такой работой.

Генеральный директор и старший вице-президент по оценке в Группе Всемирного банка Кэролайн Хайдер выделяет важные черты состоявшихся профессий[10]:

• Существует установленный порядок получения высшего образования, обязательного для каждого члена профессии, а для некоторых профессий требуется регулярное обновление знаний и навыков.

• Профессия требует, чтобы новые выпускники практиковали в тесном сотрудничестве и под наблюдением более опытных практиков.

• Есть сильные, признанные профессиональные ассоциации, которые обеспечивают соблюдение и укрепление стандартов.

• Имеется законодательство, устанавливающее требования и обеспечивающее основу для обращения в суд в случае злоупотребления служебным положением.

ОЦЕНКА – ЭТО ПРОФЕССИЯ?

Мы решили провести собственное небольшое исследование и обратились к экспертам, которые в теме оценки уже достаточно давно. Наши спикеры ответили, что пока еще рано говорить о том, что оценка – это зрелая профессия. Причем степень ее зрелости в разных странах отличается.

«Мне кажется, что эта профессия в стадии становления. Есть много признаков, свидетельствующих об этом. Если взять процент тех, кто закончил высшие учебные заведения по специальности «Оценка», в мире таких специалистов немного. В России пока нет такой специализации. Люди приходят в оценку из разных сфер деятельности с разным бэкграундом», – говорит генеральный директор компании «Процесс Консалтинг» Алексей Кузьмин.

Всегда стоит помнить о том, что когда мы говорим про профессию, то мы должны понимать, что у нее должен быть целый ряд атрибутов. В России часть из них есть, а другой части нет, обращает внимание Ирина Ефремова-Гарт, первый заместитель директора Форума Доноров.

Одним из основных признаков профессионализации той или иной деятельности является самоорганизация сообщества. Например, в нашей стране в 2014 году создана Ассоциация специалистов по оценке программ и политик (АСОПП), миссия которой – развитие и продвижение оценки как профессии в России. Сибирским центром поддержки общественных инициатив и Центром социальных технологий «Гарант» проводятся летние школы по оценке, активно работает клуб PROОЦЕНКУ, на заседаниях которого коллеги обмениваются наработанными практиками и уроками. Не менее важным атрибутом профессионализации является наличие принципов и стандартов, сформулированных сообществом специалистов. В России, как и в других странах, где работают профессиональные ассоциации, такие принципы были разработаны и приняты АСОПП[11]. Их отличительной чертой является то, что каждый из шести принципов содержит рекомендации не только для специалистов по оценке, но и для заказчика, и участника оценки. Еще один признак профессионализации – система сертификации, когда специалист, обладающий опытом и знаниями в сфере оценки, получает официальное подтверждение этому факту. В нашей стране сертификации специалистов по оценке нет, в то же время этого нет во многих странах мира, за исключением Канады и Японии.

В список признаков можно включить и рост интереса вузов к профессиональной подготовке специалистов по оценке: например, в Московском государственном психолого-педагогическом университете появилась магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства». Одним из факторов, способствующих развитию оценки в России, стала организация и проведение стратегического аудита со стороны Счетной палаты Российской Федерации. Он проводится в целях оценки реализуемости, рисков и результатов достижения стратегических целей, а также оценки влияния внешних и внутренних факторов на уровень достижения стратегических целей.

«Все это свидетельствует о том, что оценка развивается как профессия», – резюмирует Ирина Ефремова-Гарт.

Президент Сибирского центра поддержки общественных инициатив (СЦПОИ) Елена Малицкая отмечает, что в нашей стране появляется запрос со стороны государства на специалистов по оценке. «Правда, этот запрос специфический – на определенный тип оценки, который связан с экспертизой заявок, проектов и программ», – говорит Елена Малицкая.

С возросшим запросом на специалистов и обучение оценке согласна и Марина Михайлова, директор центра «Гарант».

«Пока что оценка – это экспертная область, а не профессия. Но если лет 15–20 назад это был разговор между специалистами, которые этим занимаются, то сейчас ситуация сильно изменилась. С одной стороны, про оценку стали гораздо больше говорить. С другой стороны, всем, кто подается на конкурсы Фонда президентских грантов и другие, необходимо оценивать результаты проектов. Кроме того, стало больше образовательных продуктов, которые учат самооцениванию», – говорит Марина Михайлова.

По ее словам, появились конкурсы, которые награждают людей и организации, которые уделяют внимание оценке. Сообщество экспертов стало обращать внимание на годовые отчеты, есть ли там информация про оценку результатов работы организации. Также пришло понимание того, что оценка – это не удел единичных суперспециалистов, а то, чем все так или иначе занимаются. Просто иногда сотрудники организаций не отдают себе в этом отчет.

Оценка прошла приличный путь профессионализации, но в то же время ей еще далеко идти вперед, считает Наталья Кошелева, президент Ассоциации специалистов по оценке программ и политик, консультант по мониторингу и оценке программ и проектов социальной направленности.

«Любая профессия постоянно куда-то развивается. Профессии становятся все более нишевыми, оценка – в том числе. Это маленькая профессия, но довольно быстрорастущая», – говорит она.

ОТКУДА БЕРУТСЯ СПЕЦИАЛИСТЫ ПО ОЦЕНКЕ?

Во всем мире людей, которые получили диплом по специальности «Оценка» не так много, как юристов или экономистов. У западных коллег есть программы магистратуры и PhD по оценке, но с учетом того, что оценка – профессия междисциплинарная, то количество профессионалов в этой области не определяется числом тех, кто получил диплом в вузе, считают эксперты.

Так откуда же появляются специалисты и как они строят профессиональную карьеру? Алексей Кузьмин говорит, что в американской, канадской, европейской ассоциации специалистов по оценке, насчитывающих несколько тысяч человек, состоят люди с очень разным бэкграундом.

«Давайте, я перечислю: по базовому образованию это психологи, социологи, педагоги, медики, инженеры, специалисты по компьютерным технологиям, экономисты, менеджеры, статистики. Конечно, если ты закончил университетскую программу, где было обучение методам социологических исследований, то это хорошее подспорье», – говорит он.

Сам эксперт пришел в оценку в конце 1990-х гг. из сферы консультирования в области организационного развития. В 1999 году стал членом Американской ассоциации оценки, посещал за рубежом конференции и семинары, читал литературу на английском языке, а в 2001 г. решил пойти на программу PhD в Штатах и закончил ее со специализацией в области организационного поведения и оценки программ.

«У многих людей за рубежом, которых я знаю, профессиональная карьера складывается как у специалистов по оценке внутри организаций. Это в больших структурах, конечно, происходит. Общий знаменатель для всех историй – в какой-то момент человек сталкивается с необходимостью проведения оценки, что-то внутри резонирует, ему это кажется интересным. И дальше начинается разворот в этом направлении, поиск информации, обучение, поиск специалистов, которые этим занимаются», – говорит Алексей Кузьмин.

Елена Малицкая также называет 1998–1999 год, когда ее работа стала тесно связана с оценкой. «Мы сами тогда, как Сибирский центр поддержки общественных инициатив, проводили грантовые конкурсы. И у нас возникла потребность в мониторинге, оценке и обучении. И мы просто начали внедрять оценку в свою работу и работу членов нашей сети ресурсных центров. А в 2000 году мы провели первую школу и международную конференцию в Новосибирске по оценке, которые позже стали регулярными», – говорит Елена Малицкая.

Руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому», член правления Ассоциации специалистов по оценке программ и политик Алена Богомолова – одна из тех, кто проходил обучение от СЦПОИ и «Гаранта» на Международной школе оценки. По своему основному образованию Алена Богомолова – социолог. По ее словам, в период обучения в университете у нее было много практических проектов, которые так или иначе были связаны с оценкой, только тогда это называлось по-другому. «В начале 2000-х, во всяком случае у нас в Череповце, это называлось «социологическое сопровождение». И включало в себя комплекс мероприятий, которые сейчас мы понимаем под оценкой или под дизайном оценки. Я училась, учусь и дальше буду учиться, потому что оценка – это очень живая профессия», – говорит она.

Ирина Ефремова-Гарт и Наталья Кошелева получили образование в магистратуре американских университетов. Ирина получила степень MPA (Master of Public Administration), закончив School of Public Administration в Университете Делавера.

«За два года обучения в моем расписании были классы по различным методам исследования, по оценке, по оценке в деятельности некоммерческих организаций. И это было настолько вкусно, интересно, зажигательно, что все мои планы заниматься госуправлением ушли в самый низ листа приоритетов. И, вернувшись в Москву, я понимала, что буду заниматься оценкой и некоммерческими организациями», – говорит эксперт.

По ее словам, она побывала в разных ролях: заказчиком оценки, внутренним оценщиком, внешним оценщиком. А работа в IBM позволила сделать интересные наблюдения: некоммерческие организации, умеющие работать с данными и пользующиеся цифровыми технологиями, значительно чаще достигают своей миссии, могут доказательно рассказать, какой вклад они вносят в решение социальной проблемы.

Наталья Кошелева узнала об оценке, еще обучаясь в магистратуре в School of Public and Environmental Affairs (Школе общественных и экологических вопросов) Университета Индианы.

«Это было в марте 1996 года. Мне попалось объявление, что нужен человек для оценки двух проектов экологической направленности, которые финансировал IREX (Совет международных научных исследований и обменов – прим. ред.). Я тогда первый раз увидела, что есть такая штука, как оценка. Прелесть американского университета в том, что там есть открытая библиотека. Я просто пошла, нашла книжки по этой теме, почитала, поняла общий принцип, и подала заявку. И меня взяли», – рассказала Наталья Кошелева.

Специалист по оценке эффективности проектов и программ Международной организации труда (МОТ) Ирина Синелина получила степень магистра в США по специальности Nonprofit Management, проходила стажировку в некоммерческой организации в Нью-Йорке. И потом вернулась в Москву, где работала сначала в некоммерческой организации, где нужен был анализ результатов воздействия тренингов, а потом пришла в Международную организацию труда, где появилась позиция evaluation officer.

«В МОТ, как и во всех организациях ООН, существует определенная система проведения оценки. Это делается с целью подотчетности донорам, увеличения опыта и совершенствования работы. Мы работаем, как и вся ООНовская система, по стандартным критериям Организации экономического сотрудничества и развития – ОЭСР (the Organisation for Economic Co-operation and Development, OECD). Их базовых пять: актуальность, эффективность, действенность, устойчивость и воздействие. А два года назад еще была добавлена согласованность», – рассказывает Ирина Синелина.

Марина Михайлова училась принципам и подходам к оценке у «Процесс Консалтинг» и у Сибирского центра поддержки общественных инициатив, на международных школах, в том числе по оценке организационного развития и оценке персонала.

«Из разных кусочков потихоньку складывался уже теоретический опыт. И на практике – это, во-первых, большой опыт оценки проектов, поданных на грантовые конкурсы. Потому что мы, как «Гарант», были организаторами таких конкурсов с 2001 года в Архангельской области. Потом было участие в экспертизе за явок в рамках других конкурсов, оценка результатов тех проектов, которые были нами же поддержаны. Также у меня был небольшой опыт в оценке, когда я была директором кадрового агентства, это оценка персонала и оценка системы управления в организации», – говорит Марина Михайлова.

ЗНАНИЯ И КОМПЕТЕНЦИИ

Тема знаний и компетенций в оценке тесно связана с темой обучения. Если мы знаем, какие должны быть компетенции, мы знаем, чему учить и как сформулировать должностные инструкции.

С конца 80-х гг 20 века разные профессиональные объединения специалистов по оценке стали публиковать перечни компетенций. Так, Группа оценки ООН считает, что специалист по оценке должен обладать: базовыми профессиональными компетенциями, техническими навыками, навыками управления, межличностными навыками, продвигать культуру оценки.

Канада – страна, в которой есть сертификация специалистов по оценке, – предложила следующие сферы компетенций для практического осуществления оценки[12]:

1. Рефлексивная – компетенции, относящиеся к фундаментальным нормам и ценностям в сфере оценки, а также осознанию уровня собственной экспертизы и потребностей в профессиональном росте.

2. Техническая – компетенции, относящиеся к специфическим аспектам оценки: планирование, сбор данных, анализ данных, подготовка отчета.

3. Ситуативная – компетенции, относящиеся к оценочному мышлению, применяемому для анализа и учета специфических для каждой оценки интересов, проблем и обстоятельств.

4. Управленческая – компетенции, относящиеся к процессу управления проектом/оценкой (бюджетирование, ресурсное обеспечение, руководство).

5. Межличностная – компетенции, относящиеся к коммуникации, переговорам, разрешению конфликтов, сотрудничеству. Ассоциация специалистов по оценке программ и политик пока такой список компетенций не имеет. Президент АСОПП Наталья Кошелева из основных компетенций специалистов по оценке в России выделяет понимание того, как работают программы и проекты. Не менее важно умение собирать, анализировать и представлять данные. Для тех, кто занимается внешней оценкой, необходимы коммуникационные и межличностные компетенции. И сейчас все больше требуются навыки визуальной коммуникации.

Алена Богомолова говорит о том, что специалисту по оценке необходима возможность обмена мнениями, знаниями.

«Нужны группы людей или площадки, где ты можешь говорить о том, что у тебя получается/не получается и обсуждать еще на старте оценки, как лучше поступить, какие вопросы сформулировать, какой дизайн использовать. Нужна возможность разговаривать про это с другими людьми. Потому что в вакууме развиваться очень сложно. Что еще очень важно? На мой взгляд, иметь свою ценностную профессиональную позицию, исходя из которой ты будешь делать оценку», – говорит она.

С ней солидарна Марина Михайлова: «Чтобы быть хорошим специалистом, надо быть внутри профессионального сообщества, обмениваться опытом, учиться у других, общаться. И важно, чтобы люди, которые хотят быть оценщиками, соблюдали этические нормы. Все-таки оценка – это не аудит, не ревизия. И здесь важно, что оценка проводится не для того, чтобы поставить двойку или пятерку, а для того, чтобы ответить на какие-то вопросы и принять нужные решения. Специалист по оценке – это человек, который пришел помочь разобраться», – поясняет Марина Михайлова.

Сфера оценки невероятно интересная, отмечает Ирина Ефремова-Гарт, потому что, когда мы говорим про те навыки, которыми специалист по оценке должен обладать, они далеко не из одной сферы.

«Ты должен на высочайшем уровне владеть навыками проведения разных исследований, уметь работать с данными. У тебя должны быть очень хорошие управленческие навыки. Потому что оценка силами одного человека делается очень редко. Обычно это команда и ты должен уметь правильно выстроить процессы, распределить роли в команде и управлять результатами. У тебя должны быть навыки рефлексии, критического мышления», – говорит эксперт.

Ирина Синелина считает, что важно иметь хорошее базовое гуманитарное образование, которое формирует аналитические способности, и знание английского языка, потому что большое количество материалов про оценку написаны на английском. Дальнейшему можно научиться на практике.

ПРОФЕССИОНАЛЬНЫЙ СТАНДАРТ

Как уже говорилось ранее, один из этапов развития профессии – это профессиональный стандарт. Зачем вообще профстандарт нужен в любой деятельности? Как отмечается в Постановлении Правительства РФ от 22 января 2013 г. № 23, профессиональные стандарты применяются[13]: при формировании кадровой политики, разработке должностных инструкций, образовательных программ и стандартов.

Как рассказал Алексей Кузьмин, в 2015 году была предпринята попытка разработки профстандарта для специалиста по оценке программ и политик в социальной сфере. Инициатором стал независимый бизнес-эксперт Александр Овчинников. Заявка на эту разработку была зарегистрирована на сайте Минтруда России. Была сформирована рабочая группа, в которую входили представители компании «Процесс Консалтинг» и АСОПП, проведены первичные исследования и анализ вида профессиональной деятельности, разработана первая редакция профстандарта, проходило общественное обсуждение, однако на одном из этапов работа над документом остановилась, и профстандарт не был утвержден министерством.

«Я думаю, сегодня еще немного преждевременно создание такого профстандарта. Профессии пока нет, она еще не сформировалась. В должных масштабах, как это видит Минтруд, на эту профессию пока нет ни спроса, ни предложения», – объясняет Алексей Кузьмин.

Наталья Кошелева предполагает, что у министерства были задачи сделать профстандарты на базовые профессии, а специалист по оценке программ и политик таким пока не является.

«У Минтруда тогда были другие ожидания, и у него была задача покрыть все массовые профессии. Наша точно не массовая. Я думаю, что с этим все было связано. Но стандарт в какой-то момент действительно может появиться, на уже более поздних стадиях развития профессии. Когда мы станем настолько заметными, что государство решит нас урегулировать. Это как история с лицензированием всякой деятельности. Чтобы вас видели, вас должно быть достаточно много», – говорит Наталья Кошелева.

Проекты профессиональных стандартов в России также рассматривает Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. На основании заключений Национального совета принимается решение об утверждении профессиональных стандартов. Как пояснил Артем Шадрин, генеральный директор АНО «Национальное агентство развития квалификаций», при разработке профстандарта важно не дублировать уже существующие, которые утверждены под схожим названием. Хорошо бы заручиться поддержкой авторитетных организаций, которые работают в этой сфере, а также профильного федерального министерства, которое бы подтвердило целесообразность разработки такого документа.

Когда профстандарт согласован Минтрудом России, дальше он направляется в Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. И в случае одобрения Национальным советом, в котором представлены ведущие организации работодателей, такие как РСПП, Торговопромышленная палата, профсоюзы и федеральные министерства, этот профстандарт утверждается приказом Минтруда России, регистрируется в Минюсте России.

Почему не все до конца доводят историю с профстандартами? Какие могут быть причины?

«Во-первых, может не поддержать Минтруд, сказать, что такой профстандарт не нужен. Это такая классическая нерешенная задача. Например, нет профстандарта предпринимателя. Это, вроде, не трудовая функция, но, с другой стороны, можно считать, что это вид профессиональной деятельности. И Минтруд пока не согласовал создание такого профстандарта», – говорит Артем Шадрин.

По его словам, также бывает, что инициативной группе по разработке профстандарта не удается согласовать его с профильным министерством или получить поддержку профессиональных ассоциаций.

«Не имея консенсуса в профессиональном сообществе, не получится утвердить стандарт. В этом сложность, что разработка профстандарта – это поиск общего. Его разработка – это длинная история, но, тем не менее, нет ничего невозможного. Было бы желание и поддержка профильного министерства, это всегда важно», – говорит Артем Шадрин.

ЧТО ПРОФЕССИЯ СПЕЦИАЛИСТА ПО ОЦЕНКЕ СТРЕМИТСЯ ДАТЬ ОБЩЕСТВУ?

Американский философ Томас Швандт в 2017 году написал статью, в которой обозначил необходимость обсуждения этоса оценивания[14]. Т. е. стиля жизни общественной группы, которая ассоциирует себя с оценкой. По его словам, сейчас в основном в профессиональном сообществе говорят лишь о компетенциях и об обучении. В частности, он пишет:

«…Наиболее вопиющим является отсутствие активных дискуссий о том, что означает профессионализм в оценке и что сама профессия стремится принести обществу»… «Критический вопрос для глобального сообщества оценщиков как это сообщество понимает свою роль по отношению к своим клиентам и обществу в целом».

Что на этот счет думают представители российского сообщества специалистов по оценке программ и политик и как они сами отвечают на вопрос, поставленный Томасом Швандтом?

«Для меня профессия оценщика – это объективность и грамотный подход к принятию управленческих решений. Потому что в оценке есть принцип триангуляции. Прежде чем принять какое-то решение, посмотри с разных сторон на свой вопрос. Бывает триангуляция по признаку, по методу, по источнику данных. На основе какого-то одного факта принимать решение не нужно», – говорит Алена Богомолова.

Ирина Ефремова-Гарт считает, что оценка дает обществу чувство уверенности в качестве управления и надлежащем уровне эффективности программ, которые реализует государство, компания, некоммерческая организация.

«Если говорить о некоммерческом секторе, то увидим, что часто внимание сфокусировано на том, сколько проектов поддержано, какое количество благополучателей и сколько грантов выдано. Это важные индикаторы, но они не дают нам никакой информации о том, какие изменения происходят благодаря работе НКО. В лучшем случае это характеристики продуктивности работы грант-менеджера. Но не характеристики того, как наша жизнь или жизнь отдельных групп меняется к лучшему», – говорит эксперт.

Когда у тебя есть доказательная база, и ты можешь показать, что сделано для решения той или иной социальной проблемы в обществе и с каким эффектом, то это очень ценно, потому что помогает укрепить доверие в обществе.

Ирина Синелина из Международной организации труда полагает, что общественное благо, которое дает оценка, – это подотчетность в использовании денег.

«МОТ, как международная организация, использует деньги налогоплательщиков разных стран. Оценка – это возможность понимать, насколько хорошо были потрачены средства, и как можно в дальнейшем их лучше потратить, как усовершенствовать проекты, что-то видоизменить. Собираем данные, узнаем, изучаем степень полезности нашей деятельности. Дальнейшие решения принимаем с учетом этих знаний», – говорит Ирина Синелина.

Наталья Кошелева согласна с тем, что оценка помогает более эффективно использовать ресурсы для улучшения жизни людей. Она напомнила, что оценка социальных проектов и программ появилась в США и впервые была использована в проектах, направленных на борьбу с бедностью и преодоление социального неравенства.

«Глобально, оценка – это же про улучшение жизни наиболее уязвимых групп людей. Я когда на оценке стала специализироваться, поняла, что это действительно анализ, который позволяет улучшить качество программы. Это инструмент повышения осознанности деятельности, извлечения уроков из опыта и усовершенствования на основе эмпирических данных. Так как это не просто оценка, а оценка социальных проектов, это более эффективное использование ресурсов и повышение эффективности социальных проектов», – говорит она.

БУДЕТ ЛИ ОЦЕНКА ВОСТРЕБОВАНА В БУДУЩЕМ

Профессия специалиста по оценке, безусловно, будет востребована в будущем во всем мире, отмечают эксперты. «Это уже сейчас золотой стандарт в государственном и частном секторе», – говорит Ирина Синелина.

«Оценка не просто может, а станет обязательно профессией. Но это происходит эволюционным способом, путем накапливания знаний, понимания, зачем это нужно, формированием запроса на этих специалистов, формированием сообщества, которое может растить профессионалов, появлением образовательных продуктов», – говорит Марина Михайлова.

Будущее часто отождествляют с искусственным интеллектом. «Кто такой специалист по оценке проектов и программ?», – спросили мы у ChatGPT. И вот, что он нам ответил: «Специалист по оценке проектов и программ – это профессиональный эксперт, занимающийся оценкой стоимости проектов и программ. Он может работать в различных секторах экономики, а также на правовом рынке. Для успешной работы специалисту необходимо иметь образование и опыт в области финансовой аналитики, уметь работать с различными формами активов, уметь разрабатывать модели оценки, анализировать информацию, разрабатывать рекомендации для улучшения стоимости имущества».

Как видим из этого определения, нейросеть пока не понимает разницу между оценщиком имущества и специалистом по оценке проектов и программ. А значит у российского сообщества специалистов еще много работы, чтобы заявить о себе. Ведь профессия только зарождается. А путь ее становления по формированию спроса, полной занятости специалистов, школ профессиональной подготовки, разработки и утверждения профессионального стандарта, этического кодекса, формирования имиджа еще достаточно длинный. Как говорится, время покажет, как будет развиваться профессионализация оценки и сможет ли искусственный интеллект с ней конкурировать.

При подготовке статьи были использованы презентации Алексея Кузьмина и видеозапись с конференции АСОПП «Оценка в меняющемся мире: партнерства и инфраструктура», сессия «Профессионализация оценки в России и мире».

No Standards, Just Calling. Is Project and Program Evaluation a Profession?

Yulia Vyatkina

DOI 10.55140/2782–5817–2023–3–1–16–27

The topic of professionalizing project and program evaluation (in the social sphere, culture, science, environment, etc.) has been on the agenda of international organizations for more than a dozen years, or about ten years in the Russian practice. There are numerous publications and discussions between evaluation specialists talking about the status of evaluation as a profession at the regional and international level. In our country, this topic is addressed at the annual conferences of the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP). So is project and program evaluation a profession, and if so, how can we find out and tell?

Yulia Vyatkina

Editor, Positive Changes Journal

THE STAGES OF TURNING AN OCCUPATION INTO A PROFESSION

Before we start talking about the professionalization of evaluation (referring specifically to evaluation of projects and programs), let us consider how an occupation becomes a profession.

Harold Wilensky, an American sociologist who studied the functioning of various organizational structures in the modern society, proposed in the 1960s a model describing the formation of a profession in several stages[15].

The process starts with a certain occupation acquiring full-time status. That is, with enough people engaged in some kind of activity from morning till night and making a living off of it. Full-time employment is the mandatory starting point, otherwise the occupation cannot turn into a profession. In addition, it is possible when there is a demand for services.

The second stage is the emergence of a school of professional training for the people engaged in this type of activity. Schools like this are often associated with universities. The next step is a professional association – an association of people engaged in this activity on a permanent basis. The association takes actions forcing the state to adopt certain regulations establishing the procedure for licensing and certifying activities, thus establishing a kind of professional monopoly. Also, the professional association affects the professional training of specialists, promoting the development of a theory, methods, strategies of activity and competences of the specialists.

Next, a code of ethics is developed, which helps prevent abuse of authority and power. Self-regulated professional associations demonstrate to the public that they control the code of ethics.

The final step is the formation of a positive i in the society. When you have established an i, you can say that you have a new profession.

WHAT IS A PROFESSION?

There are two approaches to defining a profession. In the first case, it is defined as an activity, an occupation, a job. In the second, as a group of people.

A profession as an activity is a paid job, especially one that involves lengthy training and formal qualifications. Accordingly, a professional is a person who has undergone such training, received confirmation of his/her qualifications and is engaged in that job.

Caroline Heider, former Director General and Senior Vice President, Evaluation, World Bank Group, highlights the key features of established professions[16]:

• There is an established stream through the tertiary education system that each member of the profession has to complete, and some professions require regular training to update knowledge and skills;

• The profession requires that new graduates practice in close collaboration and under the supervision of more experienced practitioners;

• There are strong, recognized professional associations that enforce and reinforce standards;

• Legislation is in place that sets out requirements and provides the basis for legal recourse in the case of malpractice.

IS EVALUATION A PROFESSION?

We decided to do a little research of our own and turned to experts who have been working in evaluation for quite a long time. Our speakers responded that it is too early to call evaluation a mature profession yet. By the way, its degree of maturity varies from country to country.

“I think it is a profession in its nascent stages. There are many signs indicating this. If you look at the percentage of those who graduated from higher education institutions and majored in «Evaluation», that number is really small anywhere in the world. Russia does not have such specialization at all. People come to evaluation from different fields and have different backgrounds,” says Alexey Kuzmin, Owner, Process Consulting Company.

It’s always worth remembering that when we talk about a profession, we have to understand that it has to have a number of attributes. Some of these are present in Russia, some are not, says Irina Efremova-Garth, First Deputy Director of the Donors Forum.

One of the key signs of professionalization of an activity is the self-organization of the related community. For example, in Russia we have the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP), established in 2014 with the mission to develop and promote evaluation as a profession. The Siberian Civic Initiatives Support Center and the Garant Center of Social Technologies hold summer schools on evaluation; the PROOCENKU Club has been working actively, with the colleagues actively sharing their experiences and lessons learned during its meetings. An equally important attribute of professionalization is the existence of principles and standards formulated by the specialist community. In Russia, as in other countries where professional associations operate, these principles have been developed and adopted by the ASPPE[17]. Their distinctive feature is that each of the six principles contains recommendations not only for evaluators, but also for the clients and the participants of the evaluation process. Another sign of professionalization is the certification system, wherein a specialist in the field of evaluation would receive official confirmation of his/her experience and knowledge. There is no certification of evaluators in our country; at the same time, it does not exist in many countries of the world either, with the exception of Canada and Japan.

The list of signs can also include growing interest of universities in the professional training of evaluation specialists: for example, Moscow State Psychological and Pedagogical University has launched a Master’s degree program “Evidence-Based Design and Evaluation of Programs in the Field of Social Risk Management in Childhood”. One of the factors contributing to the development of evaluation in Russia was the strategic audit organized and conducted by the Accounts Chamber of the Russian Federation. It is carried out to assess the feasibility, risks and results of achieving strategic goals, as well as the impact of external and internal factors on the progress towards these strategic goals.

“All these facts serve as an evidence that evaluation is developing as a profession,” Irina Efremova-Garth summarizes.

Elena Malitskaya, president of the Siberian Civic Initiatives Support Center (SCISC) notes that there is a growing demand from the state for specialists in evaluation in the country. “However, this demand is quite narrow – for a specific type of evaluation only, related to a review of applications, projects and programs,” Elena Malitskaya says.

Marina Mikhailova, director of the Garant Center, agrees that the demand for specialists in evaluation and the respective training is growing.

“So far, evaluation remains an expertise, not a profession. But 15–20 years ago, it was merely a discussion between specialists; today the situation has changed greatly. On the one hand, there is a lot more talking about evaluation. On the other hand, every applicant in the presidential and other grant competitions needs to evaluate the results of their projects. In addition, there are more educational products that teach self-evaluation,” Marina Mikhailova says.

There are contests rewarding people and organizations that pay attention to evaluation, she continues. The expert community started looking at the annual reports to see whether they contain information about the evaluation of the organization’s performance. They also started realizing that evaluation is not the tool of a few super-specialist, but something everyone has to do, one way or another. Sometimes employees of organizations are just unaware of this.

Evaluation has come a long way towards professionalization, but it still has a long way to go, says Natalia Kosheleva, president of the Association of Specialists in Program and Policy Evaluation, a consultant on monitoring and evaluation of socially oriented programs and projects.

“Any profession is constantly evolving in some direction. Professions are becoming more and more niche, evaluation is no exception. It’s a small profession, but it’s growing pretty fast,” she says.

WHERE DO EVALUATION SPECIALISTS COME FROM?

There are not as many people around the world with a degree in evaluation as there are lawyers or economists. Our colleagues in the West have Master’s and PhD degree programs in evaluation, but given its interdisciplinary nature, the number of people in this profession is not determined by the number of those who received a University degree, experts say.

So where do specialists in evaluation come from, and how do they build a professional career? Alexey Kuzmin says that the Association of American, Canadian, and European specialists in evaluation, which has several thousand members each, consists of people with very different backgrounds.

“Let me list: just in terms of the underlying education, there are psychologists, sociologists, educators, medics, engineers, computer technology specialists, economists, managers, statisticians. Of course, if you graduated from a University program where you received training in sociological research methods, it’s a good help,” he says.

The expert himself came to the evaluation in the late 1990s from organizational development consulting. In 1999 he became a member of the American Evaluation Association, attended conferences and seminars abroad, read literature in English, and in 2001 he decided to attend a PhD program in the United States, specializing in organizational behavior and program evaluation.

“A lot of people overseas that I know of have professional careers as internal evaluation specialists. This is, of course, common in large companies. The common denominator for all stories is that at some point a person faces the need for evaluation, and something resonates inside, they find it exciting. And that’s where you start a turn in this direction – searching for information, training, searching for specialists who do this,” says Alexey Kuzmin.

Elena Malitskaya also cites 1998–1999 as the years in which her work became closely tied to evaluation. “At that time, we at the Siberian Civic Initiatives Support Center were conducting our own grant competitions. So we had a need for monitoring, evaluation and training. We just started integrating evaluation into our work routine and into the work of our network of resource centers. In 2000, we held the first school of evaluation and international conference in Novosibirsk, which eventually grew into regular activities,” Elena Malitskaya says.

Alena Bogomolova, head of the Resource and Methodological Center of the Road Home Charitable Foundation and a board member of the Association of Specialists in Program and Policy Evaluation, is one of those who received training from SCISC and The Garant Center at the International School of Evaluation. Alena Bogomolova is a sociologist by education. She says she had done many practical projects during her University years that were related to evaluation in one way or another, except that it was called differently at the time. “It was called sociological support in the early 2000s, at least in Cherepovets. But the set of activities was the same as what we now call evaluation, or evaluation design. I have studied before, I am studying now, and I will continue to study, because evaluation is a constantly evolving profession,” she says.

Irina Efremova-Garth and Natalia Kosheleva received their Master’s degrees from American universities. Irina earned her MPA (Master of Public Administration) from the School of Public Administration at the University of Delaware.

“In my two years of training, my schedule included classes on various research methods, on evaluation in general, on evaluation in nonprofit organizations. It was so delicious, so interesting, and so exciting that all my plans to go into the government went straight to the bottom of my priority list. I returned to Moscow realizing that I would be involved in evaluation and nonprofit organizations,” the expert continues.

She says she has been in different roles: the customer of evaluation, internal evaluator, and external evaluator. Her work at IBM had given her some interesting insights: data-savvy and digitally savvy nonprofits are much more likely to achieve their mission, to be able to prove their contribution to addressing the social problem at hand.

Natalia Kosheleva learned about evaluation during her Master’s degree studies at Indiana University’s School of Public and Environmental Affairs.

“It was March 1996. I came across a vacancy announcement for a specialist to evaluate two environmental projects funded by IREX (International Research and Exchanges Board). That was the first time I saw evaluation might be a thing. The beauty of an American university is that it has an open library. I just went in, found some books on the topic, read them, got an idea about the general principle, and applied. And they hired me,” Natalia Kosheleva explains.

Irina Sinelina, a specialist in program and project evaluation at International Labor Organization (ILO), received her Master’s degree in Nonprofit Management in the United States and interned at a nonprofit organization in New York. Then she returned to Moscow and got her first job at a nonprofit organization, where she was to analyze the effectiveness of trainings, before coming to work at the International Labor Organization, as an evaluation officer.

“Like all UN organizations, ILO has an internal evaluation system. This is done for the purpose of donor accountability, increased experience, and work improvement. Like the rest of the UN system, we follow the standard criteria developed by the Organization for Economic Co-operation and Development (OECD). There are five basic principles: relevance, effectiveness, efficiency, sustainability, and impact. Two years ago, another one was added – coherence,” Irina Sinelina says.

Marina Mikhailova learned the principles and approaches to evaluation (including organizational development evaluation and personnel evaluation) from Process Consulting and the Siberian Civic Initiatives Support Center, and international schools.

“All the small pieces got together, one after another, to build the big theoretical experience. In practice, it is, first of all, extensive experience in evaluating projects submitted for grant competitions. We, at the Garant Center, have been organizing these contests since 2001 in Arkhangelsk Region. Later I took part in reviewing applications for other contests and evaluating the results of the projects we had supported. I also had some experience in evaluation from the times I was the director of a recruitment agency. as such, I had to evaluate personnel and the management system in the organization,” Marina Mikhailova continues.

KNOWLEDGE AND COMPETENCIES

The topic of knowledge and competencies in evaluation is closely related to the topic of learning. If we know what the competencies are needed, we know what to teach them, and how to write job descriptions.

Since the late 1980s, various professional associations of evaluators started publishing lists of competencies. For example, the UN Evaluation Group believes that an evaluator should have basic professional competencies, technical skills, management skills, interpersonal skills, and promote a culture of evaluation.

Canada, a country that has established a certification system for evaluators, suggests the following areas of competence for a practicing evaluation specialist[18]:

1. Reflexive – competencies related to fundamental norms and values in the field of evaluation, as well as awareness of one’s own expertise and needs for professional growth.

2. Technical – competencies related to specific aspects of evaluation: planning, data collection, data analysis, reporting.

3. Situational – competencies related to evaluative thinking applied to analyze and consider the interests, problems, and circumstances specific to each evaluation.

4. Managerial – competencies related to the project/evaluation management process (budgeting, resourcing, management).

5. Interpersonal – competencies related to communication, negotiation, conflict resolution, cooperation.

The Association of Specialists in Program and Policy Evaluation has not yet produced a similar list of competencies. Natalia Kosheleva, ASPPE President, emphasizes an understanding of how programs and projects work as one of the core competencies of evaluation specialists in Russia. Equally important is the ability to collect, analyze and present data. Communication and interpersonal competencies are necessary for those involved in external evaluations. Finally, visual communication skills are increasingly demanded lately.

Alena Bogomolova says that an evaluator needs to be able to exchange opinions and knowledge freely.

“You need groups of people or platforms where you can talk about what you’re getting/not getting and discuss everything before embarking on the journey of evaluation: the best ways to proceed, questions to formulate, design to use. You need to be able to talk to other people about it. Because it is very difficult to develop in a vacuum. What else is important? In my opinion, it is vital to have your own value-based professional position, from which you will make an evaluation,” she says.

Marina Mikhailova agrees: “To be a professional, you have to be part of the professional community, sharing experiences, learning from others, communicating. And it is important that would-be evaluators follow ethical standards. Still, evaluation is not an audit, not an inspection. And here it is important to remember that evaluation is not about giving an A or an F; it is about answering the right questions and making the right decisions. An evaluator is a person who has come to help sort things out,” Marina Mikhailova explains.

Evaluation is an incredibly interesting field, Irina Efremova-Garth notes, because an evaluator must have skills from many different areas.

“You have to be extremely proficient at doing different kinds of research, extremely good at data crunching. You must have very good management skills. After all, evaluation is rarely done by just one person. It usually requires a team, so you have to be able to build processes properly, allocate roles in the team and manage results. You have to have reflection, critical thinking skills,” the expert adds.

Irina Sinelina believes that it is important to have a good basic education in liberal arts, which builds analytical skills, and a good knowledge of English, because much of the material about evaluation is written in English. The rest you can learn by practice.

PROFESSIONAL STANDARD

As mentioned earlier, one of the stages in the development of a profession is a professional standard. Why do we need a professional standard in any activity? As noted in Decree No.23 of the Russian Government dated January 22, 2013 professional standards are applied[19]