Індекс оцінки ефективності державних інституцій

Про інструменти підвищення ефективності державних інституцій

Присвячується пам’яті Сергія Лобойка – людини, яка була ініціатором позитивних змін.

Автори

Повномасштабне вторгнення прискорило та загострило процеси розвитку України і як держави, і як суспільства – спільноти людей. Ми з вами є учасниками цих тектонічних подій. 

Ми бачимо, скільки гострих дискусій та навіть сварок зараз відбувається навколо цього у суспільстві. І ми розуміємо, наскільки зараз потрібні інструменти покращення взаємодії державних інституцій і суспільства, інструменти підвищення ефективності держави та її інституцій. Без цих інструментів, як і без зброї на фронті, нам буде важко, навіть неможливо, виграти битву за наше майбутнє. Вони нам потрібні зараз, негайно.

На щастя, такі інструменти вже є. Частина з них навіть пройшла апробацію на практиці та готова до впровадження. 

У цьому матеріалі ми розповімо про один з них – Індекс оцінки ефективності роботи державних інституцій (далі – Індекс). Ця комплексна методика пройшла апробацію в кінці 2024 року і наразі готова до впровадження в широку практику. 

Які можливості Україні та українцям дає Індекс, як він побудований, які результати були отримані під час його апробації – про все це далі.

Ще раз – навіщо потрібен “Індекс”?

Ми бачимо на власні очі, і це підтверджують дослідження, як змінюється в Україні ставлення суспільства до державних інституцій. Одним з індикаторів цих змін є довіра. У документальному фільмі-дослідженні “Довіра до” (який вийшов у листопаді 2024 року) українські та міжнародні експерти проаналізували процес соціальних трансформацій в Україні, зокрема довіру українців одне до одного та до державних інституцій. Експерти дійшли висновку, що ми, українці, стали значно більш свідомими і, відповідно, більш прискіпливими у своєму ставленні до держави та її інституцій. На перший погляд здається, що рівень довіри зменшився. Але при детальному вивченні стає зрозумілим, що радше йдеться про зміни не рівня, а типу довіри: українське суспільство стрімко дорослішає і стало значно більше приділяти уваги діяльності державних інституцій, стало більш вимогливим до їх ефективності – тїєї користі, яку вони приносять країні та кожному конкретному її громадянину. Відтак – більш критичним до слів і більш вимогливим до реальної ефективності. 

Разом з тим, оцінки ефективності роботи державних інституцій все ще залишаються суб’єктивними та розрізненими. Відсутня єдина “шкала оцінки” ефективності роботи держави та її інституцій, відсутня можливість порівняти оцінки різних державних інституцій. 

Відтак – відсутня можливість об’єктивного аналізу та розробки шляхів, підходів до вирішення гострих проблем і врешті-решт – до збільшення ефективності і конкретних інституцій, і держави в цілому. 

Одним з інструментів вирішення цієї актуальної проблеми став проєкт “Індекс оцінки ефективності державних інституцій, пілот якого був реалізований восени 2024 року об’єднанням провідних експертів та дослідницьких компаній “Дослідницький оборонний кластер (ДОК)” за підтримки міжнародного Фонду “Відродження” і оперативним керівництвом “Центр розвитку інновацій”.

Задум “Індексу” полягає в тому, щоб створити інструмент максимально об’єктивного регулярного визначення оцінки стейкхолдерами (перш за все – суспільством) ефективності виконання конкретними державними інституціями своїх функцій у різних сферах управління державою. Простими словами – це “термометр”, який регулярно та об’єктивно заміряє, наскільки ефективно з точки зору суспільства діє та чи інша державна інституція.

Сформульована та обчислена оцінка ефективності держави (в особі її ключових інституцій) дає можливість суспільству більш точно розуміти стан справ та формулювати свої завдання до держави. А державі та її окремим інституціям – мати систематизований та оцифрований відгук суспільства на свою роботу. 

Фактично йдеться про побудову єдинометричного простору, в якому за однією системою та шкалою регулярно проводиться оцінка ефективності всіх ключових державних інституцій та держави в цілому.

Як побудовано Індекс?

Розробники моделі Андрій Кашпур (ReputationLab Ukraine) і Дмитро Хопта (ГО “Назустріч Сонцю”) взяли за основу “Індексу” тривимірну матрицю, яка включає: перелік функцій, з яких складається загальний функціонал держави; оцінку важливості кожної функції (в загальному контексті конкретної сфери діяльності в управлінні державою); оцінку ступеня належності функції до тієї чи іншої державної інституції. 

Дмитро Савчук (Info Sapiens), спільно з авторами моделі, розробив математичну формулу обчислення “Індексу”. Ця формула є сталою, тобто може застосовуватись для оцінки ефективності різних державних інституцій. І дає можливість коректно порівнювати Індекси різних періодів: сьогодні, завтра, післязавтра. Таким чином відслідковується динаміка змін. 

Формула складається з середньої оцінки ефективності виконання державою конкретної функції, середнього ступеня належності функції до конкретної державної інституції, середньої важливості кожної функції та кількості функцій. 

Також модель дає можливість обчислення суб-Індексів – оцінок ефективності державних інституцій окремо по кожній з функцій. 

Метою пілотного проєкту була практична апробація розробленої моделі, визначення перспектив її застосування та напрямків розвитку / доопрацювання методики. 

Для пілотного проєкту, зі зрозумілих причин, було обрано тему Оборони України. У рамках цієї теми було визначено перелік з 9 державних інституцій, які прямо відповідають або вагомо впливають на обороноздатність України. Після консультацій з експертами у сфері оборони було сформульовано перелік з 19 ключових функцій, з яких складається генеральна функція “Оборона України”. 

З урахуванням обмежень пілотного проєкту було визначено три стейкхолдерні групи (за критерієм ступені їх залученості до оборони України): військовослужбовці, військовозобов’язані громадяни України, НЕвійськовозобов’язані громадяни України. 

Реалізація проєкту відбувалася під операційним управлінням “Центр розвитку інновацій” і складалась з комплексу кількісних та якісних досліджень. Кількісні дослідження були проведені компанією Info Sapiens, якісні – Active Group. 

Результати якісних та кількісних досліджень аналізувалися групою експертів (незалежно одне від одного з фінальним спільним обговоренням та формулюванням висновків) у складі: Ігор Жданов, Ph.D. («Фонд Відкрита політика», співзасновник “Центру Разумкова”), Артем Захарченко, Ph.D. (CAT-UA), Віталій Кулик («Центр досліджень проблем громадянського суспільства»), Юрій Цурко, Mgr., (PROTECT 2, екс-ГШ ЗСУ). 

Задача якісних досліджень (фокус-груп і глибинних інтерв’ю) полягала у перевірці підходів та архітектури Індексу, виявлення внутрішніх якісних факторів впливу на оцінку ефективності та визначенні сприйняття стейкхолдерами розподілення функцій між державними інституціями.

Кількісні дослідження дали обчислені параметри необхідні для розрахунку Індексу. Також додатково були проведені оцінка рівня довіри та ефективності комунікації ключових державних інституцій у сфері оборони.

Дмитро Хопта, Голова ГО “Назустріч Сонцю”: «У світі досі не існувало методик вимірювання ефективності оборонних інституцій держав у стані війни. Проте такі дані потрібні суспільству набагато більше, ніж у мирні часи – бо від ефективності дій оборонних інституцій та від її оцінки суспільством напряму залежить виживання країни. Ми дуже вдячні за можливість втілити розроблену нашою групою методику та сподіваємося на її системне застосування».

Результати якісних досліджень

Якісні дослідження охопили дві аудиторії: цивільних громадян України (по 2 фокус-групи в Харкові, Києві, Івано-Франківську) та більш дотичних до військових справ експертів (глибинні інтерв’ю: 4 з військовими і 5 з громадськими діячами та волонтерами). 

Цілком закономірно, що і цивільні громадяни, і більшість опитаних експертів вважають ключовими інституціями в Обороні України Генеральний Штаб ЗСУ та Міністерство Оборони. Також респонденти окремо виділяють “силовий блок” (МОУ, МВД, СБУ). Цивільні респонденти та експерти згадують у переліку інституцій іноді називають ще й Президента (та/або його Офіс).

Більшість опитаних цивільних громадян України не мають чіткого уявлення про те, з чого складається генеральна функція “Оборона України”. Але можуть дати оцінку конкретним функціям, наприклад “будівництво фортифікацій”, “забезпечення СОУ зброєю” тощо. Це підтвердило базову гіпотезу, що загальна оцінка ефективності державних інституцій має проводитись через оцінку ефективності конкретних функцій, які є більш предметними та зрозумілими респондентам. 

Загальна (інтуїтивна) оцінка ефективності державних інституцій у сфері оборони демонструє доволі позитивні відгуки про роботу, як-от діяльність Генерального штабу ЗСУ та Міністерства оборони, але в цілому їх робота оцінюються радше як посередня. 

Робота Уряду в цілому та окремих міністерств зокрема загалом оцінюється низько (за виключенням Міністерства цифрової трансформації). Уряд «зібрав у собі» практично всю критику до дій влади загалом. У фокус-групах майже відсутні конкретні позитивні оцінки щодо діяльності Уряду чи міністерств.

Робота обласних військових адміністрацій та органів місцевого самоврядування оцінюється учасниками глибинних інтерв’ю через їхню здатність сприяти обороні. Ті ОВА, про які відомо, що вони підтримують Сили Оборони, отримують переважно позитивні відгуки. Місцева влада високо оцінюється там, де ефективно ліквідуються наслідки російських обстрілів. Натомість відсутність інформації про діяльність деяких адміністрацій часто призводить до негативних оцінок. Місцева влада також отримує критику щодо «розкрадання гуманітарної допомоги».

Проблеми з логістикою та недостачею матеріального забезпечення призводять до значної критики військових адміністрацій та органів місцевої влади, знижуючи рівень довіри до них та до системи влади в цілому. 

Натомість, РНБО та Генеральний штаб ЗСУ отримують оцінки вище середнього завдяки видимій активній роботі та внеску в обороноздатність країни. Проте загальним викликом залишається недостатня обізнаність громадян про діяльність усіх інституцій, що дає можливості для поліпшення комунікації та прозорості.

Забігаючи наперед відзначимо, що кількісні дослідження та обчислені Індекси також підтвердили це. 

Вцілому якісні дослідження підтвердили обгрунтованість підходу до формування Індексу, зокрема формування загальної оцінки ефективності державної інституції через комплекс оцінок конкретних функцій – значно більш зрозумілих громадськості, ніж “загальний функціонал”. Та винесення зі складу “Уряду” в окремі позиції інституції “силового блоку”. 

Також було підтверджено і високий рівень актуальності / запиту на інструментарій об’єктивної оцінки державної інституції та покращення зворотного зв’язку між державними інституціями та суспільством. 

Результати кількісних досліджень

Кількісні дослідження проводились компанією Info Sapiens методом комп’ютеризованих онлайн-інтерв’ю (CAWI) на власній онлайн-панелі компанії. У межах дослідження було опитано 2031 респондентів. Структура вибірки відповідає структурі населення України 18-64 років за даними Державної служби статистики станом на 01.01.2022 року за такими параметрами як стать, вікові категорії, розмір населеного пункту та макрорегіон. Похибка аналогічної за розміром простої випадкової вибірки загально не перевищує 2%, та по стейкхолдерним групам: для військових – 8,4%, для військовозобов’язаних – 3,7%, для невійськовозобов’язаних – 2,5%. Контроль якості включав: контроль тривалості заповнення анкети та питання на уважність, також була використана ротація варіантів відповідей, де це було можливо.

Кількісні дослідження в цілому підтвердили та деталізували висновки блоку якісних досліджень та дали необхідний об’єм відповідей для обчислення Індексів. 

Але й були певні несподіванки. Так, наприклад до трійки найбільш важливих в Обороні України інституцій, крім Генерального Штабу ЗСУ та Міністерства Оборони України увійшло Головне управління розвідки МОУ (ГУР МОУ) (мал. 1). 

Оцінюючи ефективність державних інституцій (мал. 2.) найбільш ефективними респонденти визнають ГУР МОУ, Генштаб ЗСУ та СБУ.

Найменш ефективними – Уряд та місцеві органи влади. 

МОУ, РНБО та МВС отримують середні оцінки. При цьому НЕвійськовозобов’язані надають вищі оцінки ефективності порівняно з військовими для МОУ, МВС, Уряду, Генштабу та РНБО. По оцінці змін ефективності за останній рік – ситуація схожа. 

Розглядаючи оцінки ефективність держави в динаміці (поточні оцінки та суб’єктивні оцінки зміни ефективності за минулий рік) по окремим функціям ми бачимо, що аудиторія НЕвіськовозобов’язаних дає більш позитивні оцінки, ніж військові (мал. 3 та 4). 

Майже половина функцій (8 з 19) знаходиться в секторі “виконуються ефективно та ефективність покращилась за останній рік”. Ще 3 функції знаходяться у жовтому секторі: виконується НЕефективно, але ефективність покращилась. Разом з тим значна частина (8 з 19) функцій знаходиться у червоному секторі: виконуються НЕ ефективно і ефективність погіршилась. Серед цих функцій – багато таких, які респонденти оцінили як важливі (оцінка ваги функції представлена на діаграмах розміром кола та надана детально на мал. 5). 

Стейкхолдерна група “військові” (мал. 4) більш критична в своїх оцінках. Вони оцінюють як НЕефективне виконання державою переважної більшості функцій з оборони. Але є й певна позитивна динаміка – ефективність виконання деяких функцій покращується.

На основі зібраних даних було обчислено Індекси для державних інституцій. Зокрема ГШ ЗСУ, МОУ, МВД, СБУ та Уряд (мал. 6).

Очевидно, що показники Індексу для більшості державних інституцій є негативними – меншими за 50%. Також очевидним є те, що військові найбільш критично оцінюють ефективність державних інституцій, а НЕвійськовозобов’язані – більш позитивно.

Серед наведених Індексів найгірші показники має Уряд України (крім МОУ та МВС). А найкращі – Служба Безпеки, Генеральний Штаб та Міністерство Внутрішніх справ.

Варто звернути увагу на той факт, що МВС отримало доволі низьки показники в загальному рейтингу ефективності (мал. 2), але за підсумками обчислення Індексу стало одним з лідерів ефективності. Пояснення цього може полягати в тому, що Індекс враховує ступінь приналежності кожної функції у сфері оборони до конкретної державної інституції. Відтак, цілком ймовірно, що загальна оцінка ефективності державної інституції може бути нижча, ніж Індекс її ефективності, конкретно у сфері оборони, оскільки у більшості державних інституцій є й інші сфери відповідальності. Так в цьому дослідженні у МВС не виділялись окремі її складові, такі як Нацгвардія, ДПСУ тощо. Відповідно оцінки респондентами саме функціоналу в сфері оборони мають бути вищими, ніж загальна оцінка ефективності міністерства. 

Також цілком закономірним є той факт, що чим “ближче” стейкхолдерна група до війни, тим критичніші її оцінки ефективності державних інституцій. 

Важливим моментом застосування Індексу – є відслідковування динаміки його змін. Для цього необхідно проводити заміри мінімум раз на півроку, або навіть частіше – раз на квартал.

Дмитро Савчук, дослідницька компанія Info Sapiens: “Користь цього і подібних індексів – не у конкретних значеннях, а у можливості порівнянь між різними оцінюваними об’єктами та в часі. Цей індекс дозволяє більш детально розкрити оцінку сприйняття ефективності, ніж загальне запитання, оскільки відштовхується від сприйняття респондентами важливості та відповідальності щодо різних державних функцій.”

Довіра, комунікації та довіра до комунікацій 

Також у рамках проєкту було досліджено рівень довіри та права на помилку і, окремим блоком, ефективність комунікацій державних інституцій. Ці блоки досліджень мали задачу допомогти е оцінити потенціал для позитивних змін.

Рейтинг довіри та права на помилку  (мал. 7.) свідчить, що суспільство має високий рівень довіри до ключових у сфері оборони державних інституцій. Також усі стейкхолдери відзначають високий рівень їх зусиль у виправленні помилок. І тут знову, доволі несподівано, лідером стало ГУР МОУ, а Генеральний штаб ЗСУ посів лише друге місце.

Критично низький рівень довіри має Міністерство внутрішніх справ. Тут варто зауважити, що фокус-групи показали що респонденти досить чітко розділяють МВС та Нацгвардію, яка бере участь у бойових діях і до якої ставлення позитивне. І це, власне, було підтверджено обчисленими Індексами, де респонденти доволі позитивно (порівняно з іншими інституціями) оцінили ефективність МВС саме у виконанні функцій оборони.

А от Уряд України має і низький рівень довіри і один з найнижчих показників Індекса. Більш того – суспільство вкрай низько оцінює його ефективність у виправленні своїх помилок.   Фактично рейтинг довіри та права на помилку співпадає з рейтинговою оцінкою загальної ефективності (мал. 2) та показниками Індексів (мал. 6).

Незважаючи на низьки показники МВД, Уряду та місцевих органів влади аналітична група проєкту оцінює загальну картину як таку, що свідчить про наявність достатнього підґрунтя та потенціалу для впровадження реформ, які сприятимуть збільшенню ефективності державних інституцій. І провідні інституції мають достатній “запас міцності” для цього. Про це свідчить, зокрема, показники “права на помилку” ГУР МОУ, ГШ ЗСУ та навіть СБУ.

Однією з критично необхідних складових таких реформ є система комунікації з громадськістю. Разом із зростаючим суспільним запитом на збільшення ефективності держави, зростає запит на більш чесну та відверту комунікацію саме з боку держави.

Одним з важливих результатів цього проєкту стало підтвердження гіпотези про високий рівень комунікаційної пов’язаності різних груп нашого соціума. Зокрема це проявляється в тому, що другим та четвертим за значимістю каналом комунікацій є отримання інформації “особисто від військових” та від “друзів та знайомих” відповідно. З відповідним найвищим рівнем довіри до військових та волонтерів як спікерів і вкрай низьким рівнем довіри до офіційних спікерів (мал. 8).

Ці та інші фактори очевидно вплинули і на оцінку стейхолдерами ефективності комунікацій державних інституцій в цілому (мал. 9.).

Порівнюючи показники Індексів (мал. 6) та рейтинг ефективності комунікацій (мал. 9.), ми бачимо, що публічні комунікації впливають на оцінку ефективності державних інституцій, але  є єдиним та домінуючим фактором впливу. Оскільки, як зазначалось вище, українське суспільство є комунікаційно поєднаним – українці значною мірою обмінюються інформацією (оцінками та судженнями) напряму поза офіційними каналами, спікери яких до того ж мають вкрай низький рівень довіри. Тобто українці “в курсі, як воно є в реальності”, а не в медіа, й активно обмінюються інформацією між собою.

Дослідження зафіксувало, що більшість державних інституцій провалила свою комунікацію з суспільством. У тому числі й тому, що не змогли переконати суспільство, що їх інформація і їх спікери варті довіри.  

Це створює додатковий виклик для державних інституцій – як відновити довіру до себе, якщо ваша комунікація з суспільством вкрай неефективна. Адже мало розробити та впровадити позитивні зміни, збільшити свою ефективність. Тепер ще й треба прокомунікувати їх так, щоб суспільство вам повірило. 

Аналітична група проєкту вважає, що ключем до вирішення цієї проблеми є впровадження діалогових форматів комунікації, які мають прийти на зміну “pr-монологам”. Що власне і є однією з задач проєкту “Індекс” в цілому.

Підсумки

Хоча проєкт “Індекс оцінки ефективності державних інституцій” є лише пілотним, він продемонстрував доволі сумну, але закономірну поточну ситуацію: українське суспільство незадовільно оцінює ефективність більшості державних інституцій у сфері оборони. 

Разом з тим є вагомі позитивні моменти.

По-перше, суспільство очевидно стає більш свідомим і прискіпливим у своєму ставленні до держави та державних інституцій. Відповідно, драматично зростає актуальність інструментів об’єктивної оцінки ефективності роботи держави в цілому та її окремих інституцій. 

По-друге, значна частина функцій має позитивну оцінку ефективності їх виконання, так само як і ключові державні інституції у сфері оборони. Відповідно, такі проєкти як “Індекс” дають можливість більш точного та оперативного визначення, які конкретні дії держави чи реформа виконання яких функцій були найбільш позитивно оцінені суспільством. 

По-третє, ключові державні інституції у сфері оборони, перш за все ГШ ЗСУ, мають значний потенціал (у тому числі суспільної довіри) для проведення реформ та інших дій, які дозволять підвищити їх ефективність. А впровадження Індексу – як системи обʼєктивної оцінки – зменшує поле для ворожих маніпуляцій та нагнітання відчуття тотальної зради. 

Головний висновок проєкту полягає в тому, що зараз склалась унікальна ситуація, коли швидко зростає суспільний запит на збільшення ефективності держави і одночасно існує можливість створення та впровадження інструментів об’єктивної оцінки, які зменшать поле для маніпуляцій та дадуть цінну інформацію для реального покращення роботи державних інституцій та держави в цілому.