ZAKOŃCZENIE

11.2. EWALUACJA

Ewaluacja jest najistotniejszym elementem etapu zakończenia w wielu procesach konsultingowych. Bez ewaluacji nie jest możliwa ocena, czy zadanie osiągnęło swoje cele oraz czy uzyskane rezultaty usprawiedliwiają wykorzystane zasoby. Bez ewaluacji ani klient, ani konsultant nie mogą wyciągnąć wniosków z zadania.

Mimo to wiele zadań nigdy nie doczekało się ewaluacji lub też ich ewaluacja była powierzchowna i nie budziła większego zainteresowania. Przyczyną tego są pewne trudności wywodzące się z ewaluacji zmian w organizacjach i systemach ludzkich. Liczba czynników wpływających na takie systemy jest dość znaczna i wyizolowanie akurat tych, które uległy zmianie wskutek interwencji klienta, może okazać się trudne. Na przykład, jeżeli celem zadania było zwiększenie wydajności, ewaluacja nie może brać za pewnik, że jakakolwiek wyższa wydajność zanotowana pod koniec zadania wynika jedynie z interwencji konsultanta. Być może wynika ona z innych czynników, a wkład ze strony zadania był znikomy lub żaden. Niektóre zmiany trudno jest zidentyfikować, zmierzyć, opisać i ocenić.

Poza tym ewaluacja może okazać się najbardziej delikatnym elementem relacji konsultant – klient i lepiej jej uniknąć, szczególnie jeśli klient nie jest zbytnio zadowolony z pracy konsultanta i istnieją podstawy do przypuszczenia, że nie będzie chciał współpracować z nim po raz kolejny. Ważną rolę odgrywają również powody finansowe: nawet najprostsze ćwiczenie dotyczące ewaluacji będzie wymagało czasu i pieniędzy, a klient być może wolałby, ażeby te pieniądze zostały zaoszczędzone.

KTO POWINIEN PRZEPROWADZAĆ EWALUACJĘ

Tak samo jak w przypadku pozostałych aspektów procesu konsultingowego, efektywna ewaluacja wymaga współpracy. Zarówno klient, jak i konsultant muszą wiedzieć, czy zadanie doprowadziło do osiągnięcia swoich celów i czy może zostać ocenione jako zakończone sukcesem.

Klient ma oczywiście własne specyficzne interesy i punkty widzenia. Przeprowadza on ewaluację nie tylko zadania, ale także konsultanta i jego działań. Gdyby klient chciał sam wypaść lepiej następnym razem, przeprowadzi również ocenę samego siebie, własnych działań technicznych i z zakresu zarządzania w trakcie współpracy z konsultantem, sposobu monitorowania postępów zadania i czerpania korzyści z uzyskanych porad.

Ile z tego będzie wykonane wspólnie i jakimi informacjami podzielą się konsultant i klient, jest kwestią wzajemnej oceny i stopnia zaufania. W przypadku zadania, które wymagało prawdziwego wysiłku i współpracy, ewaluacja jest zwykle otwarta i konstruktywna. Jednakże nikt nie może zmusić klienta i konsultanta do podzielenia się konkluzjami wynikającymi z ewaluacji.

Ewaluacja skoncentruje się na dwóch podstawowych aspektach zadania: korzyściach dla klienta i procesie konsultingowym.

EWALUACJA KORZYŚCI DLA KLIENTA

Powody oceniania korzyści wynikających z zadania są oczywiste. Korzyści określają osiągnięte zmiany, które muszą być postrzegane jako zmiany na lepsze, jako nowa wartość dodana do działalności klienta. Należy przypomnieć sobie nasze omówienie celów i założeń konsultingu w rozdziałach 1 i 2. W zasadzie korzyści podlegają ewaluacji na podstawie porównania dwóch sytuacji – przed rozpoczęciem projektu i po jego zakończeniu. Jest to możliwe, jeśli ewaluacja była przewidziana podczas planowania zadania, czyli podczas określania rezultatów, jakie mają być osiągnięte i kryteriów oceny rezultatów.

Ewaluacja stanowi próbę odpowiedzi na następujące pytania:

• czy zadanie osiągnęło swój cel?
• jakie konkretne rezultaty i korzyści wynikają z niego dla klienta?
• jakich oczekiwanych rezultatów nie udało się osiągnąć?
• czy zadanie doprowadziło do osiągnięcia nieoczekiwanych i dodatkowych rezultatów?

W przypadku typowych zadań z zakresu konsultingu zarządczego istnieje sześć rodzajów korzyści lub rezultatów:

• nowe umiejętności,
• nowy system,
• nowe relacje,
• nowe możliwości,
• nowe zachowania,
• nowe sposoby działania.

Nowe umiejętności. Są to nowe zdolności nabyte przez klienta: umiejętność diagnozowania i rozwiązywania problemów, umiejętność komunikacji i zarządzania zmianą oraz specyficzne umiejętności techniczne i dotyczące zarządzania nabyte w konkretnych dziedzinach związanych z zadaniem (np. nowe sposoby zdobywania środków finansowych dla swojej działalności). Niezmiernie istotne są nowe umiejętności klienta związane z obsługą jego klientów (np. możliwość dostarczania nowych produktów i usług czy też umiejętność sprostania wymogom jakościowym na nowych rynkach w innych krajach). Do nowych umiejętności zaliczają się również takie nabyte cechy klienta, jak zwiększona zdolność do podejmowania działań, kreatywność, duch przedsiębiorczy, zdolności innowacyjne, wrażliwość na kwestie środowiskowe itp. W skrócie – klient powinien stać się bardziej kompetentnym i niezależnym decydentem.

Nowe systemy. Wiele zadań umożliwia wprowadzenie zmiany konkretnych systemów, takich jak np. nowy system informatyczny, system rekrutacji personelu i oceny wyników pracowniczych, system konserwacji zapobiegawczej itp. Systemy te mogą być klasyfikowane jako wynik zadania, jeżeli działają lub mają zacząć działać.

Nowe relacje. Zadanie mogło pomóc w nawiązaniu nowych kontaktów w dziedzinie biznesu i relacji innego rodzaju, istotnych dla przyszłych interesów klienta, takich jak np. układy strategiczne, uzgodnienia w zakresie zlecania wykonania zadań, konsorcja służące wdrożeniu skomplikowanych projektów lub umowy benchmarkingowe.

Nowe możliwości. Mogą one dotyczyć różnych części lub aspektów działalności klienta. Konsultacje mogły pomóc zidentyfikować nowe potencjalne rynki, tańsze źródła surowców, nowe technologie, które mogą zostać wykorzystane, tereny i budynki, które można nabyć itp.

Nowe zachowania. Zmiana zachowania oznacza robienie rzeczy w inny sposób. Określenie to dotyczy zwykle relacji interpersonalnych (np. między menedżerami a ich podwładnymi lub między zespołami operacyjnymi dwóch różnych departamentów). Obejmuje ono jednak również pojedyncze zachowania w sytuacji pracy (np. czy robotnik korzysta ze sprzętu zabezpieczającego przed wypadkami, jak pracownicy działu sprzedaży traktują klienta oraz czy dyrektor naczelny przestał odsuwać w czasie nieprzyjemne decyzje).

Nowe wyniki. Nowe wyniki są możliwe do osiągnięcia, jeżeli zmiany dotyczące pięciu wspomnianych wyżej aspektów zaowocują poprawą ekonomicznych, finansowych i społecznych wskaźników wykorzystywanych do badania wyników działalności. Zmiany te można obserwować na poziomie indywidualnym (stanowisko pracy), jednostki (warsztat, zespół, grupa, fabryka, wydział) czy organizacyjnym (przedsiębiorstwo, agencja, ministerstwo).

Lepsze wyniki działalności to cel nadrzędny i powinien on być wykorzystywany przy ocenie rezultatów i wykazywaniu korzyści. Konsulting, który doprowadziłby do poprawy umiejętności bez dążenia do poprawienia wyników, mógłby być dobrym ćwiczeniem akademickim, a także luksusem z finansowego punktu widzenia. Zdarza się, że zmienione wyniki działalności nie mogą być wykorzystane do oceny rezultatów (np. nastąpił rozwój nowych umiejętności i rozpoznano nowe możliwości, klient musi jednak odłożyć zastosowanie tych czynników, które doprowadziłyby do podniesienia poziomu działalności). Poza tym wyższe umiejętności klienta z zakresu zarządzania działalnością mogą w pewnych okolicznościach być postrzegane jako korzyść wyższego rzędu i zmiana bardziej długotrwała niż natychmiastowa wymierna poprawa wskaźników ekonomicznych i finansowych.

KORZYŚCI KRÓTKOTERMINOWE I DŁUGOTERMINOWE

W przypadku niektórych projektów może okazać się koniecznością rozróżnienie korzyści krótko- i długoterminowych. Imponujące wyniki krótkoterminowe mogą nie odzwierciedlać przyszłych możliwości i potrzeb działalności i nawet wpłynąć negatywnie na długoterminowe interesy klienta. Z drugiej strony, brak wyników krótkoterminowych można usprawiedliwić, jeżeli zadanie skoncentrowane zostało na korzyściach długoterminowych. Przyszłe perspektywy dla działalności klienta oraz wyniki długoterminowe należy zawsze brać pod uwagę, nawet jeżeli zadanie miało na celu osiągnięcie przede wszystkim krótkoterminowych korzyści.

OCENA PROCESU KONSULTINGOWEGO

Ocena procesu konsultingowego opiera się na założeniu, że efektywność procesu ma znaczny wpływ na wyniki zadania.

Dotyczy to zadań odnoszących się przede wszystkim do zmian behawioralnych: jeżeli mają zostać wprowadzone nowe formy zachowania i procesy w organizacji klienta (wynik), konsultant musi wybrać i zaproponować klientowi styl konsultingu i metodę interwencji (proces), które doprowadzą do uzyskania oczekiwanych rezultatów. Na przykład uzyskanie prawdziwych zmian w zakresie umiejętności klienta w dziedzinie rozwiązywania problemów poprzez wygłoszenie wykładu lub rozesłanie instrukcji dotyczącej rozwiązywania problemów i podejmowania decyzji jest mało prawdopodobne.

Relacje między konsultantem a klientem, jak również metody interwencji rozwijają się w trakcie wykonywania zadania. Można korzystać z różnych metod, a proces może w mniejszym lub większym stopniu opierać się na współpracy i może być mniej lub bardziej efektywny. Wszystko to powinno zostać wykryte podczas ewaluacji. Podstawowe wymiary procesu konsultingowego powinny być oceniane w sposób przedstawiony poniżej:

Projekt zadania (kontrakt). Najlepiej rozpocząć od analizy początku relacji. Należy zadać między innymi pytania typu:

• Kto i w jaki sposób ustalił potrzebę konsultacji?
• W jaki sposób wybrano konsultanta? Jakie wykorzystano kryteria i procedury?
• Czy cel konsultacji był jasno zdefiniowany? Czy nie był zbyt wąski lub ogólny?
• Czy projekt zadania był klarowny, realistyczny i odpowiedni dla potrzeb i warunków organizacji klienta?
• Czy wstępna definicja celów, założeń i wkładu stanowiła dobre ramy i punkt wyjścia dla planu zadania? Czy założenia były dostatecznie ambitne, ale możliwe do zrealizowania?
• Czy styl konsultingu został odpowiednio zdefiniowany, przedyskutowany i zrozumiany? Czy ludziom udzielono informacji odnośnie do ich roli i odpowiedzialności w związku z zadaniem?

Ilość i jakość wkładu. Poza oceną oryginalnej definicji wymaganego wkładu dokonaną w planie zadania ewaluacja zawiera analizę wkładu ze strony konsultanta i klienta. Podstawowe pytania brzmią:

• Czy konsultant zapewnił zespół o wymaganych rozmiarach, strukturze i kompetencjach?

• Czy klient udostępnił zasoby (ludzkie i inne) potrzebne do realizacji zadania?

Stosowany styl (model) konsultingu. W tym kontekście konsultant i klient retrospektywnie oceniają wydarzenia, jakie miały miejsce, i zależności, jakie istniały w trakcie realizacji zadania. Stawiają sobie pytania:

• Jaki był charakter relacji między konsultantem a klientem? Czy panowała atmosfera wzajemnego zaufania, zrozumienia, szacunku i wsparcia?
• Czy wykorzystano odpowiedni model konsultingu? Czy został on przystosowany do możliwości i preferencji klienta oraz do potrzeb realizowanego zadania?
• Czy wykorzystano każdą możliwość, aby zwiększyć zaangażowanie klienta w zadanie?
• Czy zwracano odpowiednią uwagę na wymiar edukacyjny zadania? Co zrobiono w celu przekazania know-how i wiedzy klientowi?
• Czy konsultant obserwował skrupulatnie wszelkie etyczne i behawioralne normy stosowane w danej profesji?

Zarządzanie zadaniem przez konsultanta i klienta. Luki i błędy w oryginalnym planie projektu mogą być poprawione, a modyfikacje wymagane z powodu zmiany warunków wprowadzone, jeżeli zadanie było właściwie zarządzane przez obie strony. W trakcie ewaluacji zadajemy w tej kwestii następujące pytania:

• Czy niezbędna elastyczność została ujęta w oryginalnym projekcie zadania?
• W jaki sposób firma konsultingowa zarządzała zadaniem i wspierała je?
• W jaki sposób klient kontrolował i monitorował zadanie?
• Czy konsultant i klient przestrzegali grafiku?
• Czy sporządzano okresowe raporty i dokonywano ewaluacji w kluczowych momentach zadania? Jakie działania podjęto na ich podstawie?

NARZĘDZIA EWALUACJI

Priorytetową sprawą jest zbieranie i analiza konkretnych danych pozwalających na wymierną i ilościową ocenę. Poza tym istotne jest identyfikowanie i analiza opinii, szczególnie dla potrzeb oceny relacji między konsultantem a klientem oraz stylu konsultingowego. Wykorzystywane są klasyczne techniki, łącznie z wywiadami, obserwacjami, kwestionariuszami i dyskusjami na spotkaniach (patrz: rozdział 8).

Szczera dyskusja między klientem a konsultantem jest sprawą zasadniczą. Krok po kroku dyskusja powinna prowadzić do odkrycia, jakie zdanie na temat określonych zdarzeń ma konsultant, a jakie klient, oraz do odkrycia przyczyn konkretnych nastawień, zachowań, sukcesów i błędów.

Ewaluacja powinna zostać podsumowana krótkim raportem, który może zostać ujęty w końcowym raporcie podsumowującym zadanie czy też przedstawiony oddzielnie (np. jeżeli ewaluacji rezultatów dokonuje się kilka miesięcy po zakończeniu zadania).

KIEDY OCENIAĆ

Okazja do oceny pojawia się, kiedy zadanie zbliża się ku końcowi. Niektóre korzyści dla klienta można już zidentyfikować i retrospektywnie ocenić proces konsultingowy. Ocena kończąca zadanie jest zdecydowanie najważniejsza. Nie powinna jednak być jedyna. Odkładanie oceny do końca implementacji może oznaczać, że jest już za późno na sugerowanie jakichkolwiek usprawnień w zakresie strategii, metodologii i zarządzania zadaniem, mogą one jedynie zostać wykorzystane w przyszłych zadaniach. Dlatego należy dokonać oceny pośredniej pod koniec etapu diagnostycznego i pod koniec planowania działań. Powinno traktować się ją jako normalną część kontroli połączonej z monitorowaniem zadania, przeprowadzanym przez konsultanta i klienta. Jeżeli jest to konieczne (np. w przypadku zadań długotrwałych i skomplikowanych), ewaluację można przeprowadzić w trakcie trwania diagnozy, planowania działań i wdrożenia, co pomoże dostosować plan zadania i używane metody do postępów prac.

Z drugiej strony, często zakończenie ewaluacji wraz z zadaniem jest niemożliwe. Jeżeli wymierne rezultaty nie mogą być jeszcze określone lub przewidywane wyniki działalności nie mogą zostać osiągnięte przed upływem jakiegoś czasu, mamy do czynienia z koniecznością ewaluacji następującej po zakończeniu zadania.

NIEZALEŻNA OCENA DOKONANA PRZEZ KONSULTANTA

Klienci stosują własną politykę i praktyki służące ocenie pożyteczności konsultingu i innych usług zawodowych. Klient może nie zdecydować się na żadną formę oceny zadania po jego zakończeniu. Dla konsultanta ewaluacja zadania to jedno z podstawowych narzędzi wykorzystywanych do zarządzania jakością, kontrolowania i rozwoju pracowników oraz budowania pozytywnych relacji z klientami. Konsultant powinien z założenia oceniać każde zadanie na własny użytek, nawet jeżeli klient nie decyduje się na przeprowadzenie takiej ewaluacji.

Pytania, jakie należy zadać, nie różnią się od wymienionych powyżej, jedynie punkt skupienia może być zmieniony. Konsultant położy nacisk na samoocenę, przyglądając się przede wszystkim kwestiom, w stosunku do których firma konsultingowa napotkała na problem i chętnie wprowadziłaby udoskonalenia.

W przypadku samooceny zachowanie obiektywizmu jest bardzo trudne. Dlatego nawet najlepsze firmy konsultingowe szukają informacji zwrotnej od klientów, wykorzystując różne techniki gromadzenia danych i instrumenty oceny.

Najczęściej stosowanym narzędziem są kwestionariusze przedstawiane klientom. Pytania, jakie one zawierają, powinny zachęcać klienta do wyrażania głośno opinii na temat każdego aspektu relacji i wykonanej pracy, łącznie z kompetencjami i postawą konsultantów, ich elastycznością, zachowaniem, kreatywnością, dostępnością, pomocą i innymi cechami, które leżą u podstaw zadania przeprowadzonego marnie i doskonale[3]. Jeżeli klient zdecyduje się odpowiedzieć na pytania, konsultant powinien z kolei udzielić informacji zwrotnej klientowi, podziękować mu i poinformować, jakie działania będą podjęte w związku z jego odpowiedziami i sugestiami.

Inne powszechnie używane instrumenty to wywiady, dyskusje z personelem wyższego szczebla w firmie klienta, wizyty po zakończeniu zadania, studiowanie wewnętrznych raportów dotyczących ewaluacji (jeżeli zostaną one udostępnione klientowi) itp.

Należy zauważyć, że w przypadku certyfikatu jakości zgodnie ze standardami ISO 9001 ocena zadania przy wykorzystaniu informacji zwrotnej od klienta jest procedurą obowiązkową (patrz: rozdział 28).

Design (c) Studio TN

Copyright (c) 2003 SDG