Maja Wojciechowska
Biblioteka Szkoły Wyższej Ateneum
w Gdańsku

 

Prognozowanie scenariuszowe w sektorze usług bibliotecznych
na przykładzie Metody Delfickiej

 

Metoda Delficka (ang. Delphic Method lub Delphi Method), w niektórych źródłach nazywana również techniką delficką [7, s. 29], jest metodą ekspercką, służącą opracowywaniu długoterminowych prognoz, dotyczących wybranego problemu lub zjawiska, którego przyszły charakter może znacząco wpłynąć na funkcjonowanie biblioteki¹. Należy ona do grupy metod badania i analizy opinii. Ze względu na przygotowywanie w toku badań scenariusza przyszłych wydarzeń, przez niektórych specjalistów, uznawana jest również za metodę heurystyczną [1, s. 212-223; 4, s. 110; 6, s. 105]. Z powodu jej licznych zalet coraz częściej stosowana jest przez biblioteki . Pojawiają się również publikacje, wskazujące na możliwość jej wykorzystania w sektorze usług informacyjnych².

Nazwa metody wywodzi się od starożytnej wyroczni, usytuowanej w greckim mieście Delfy, która miała przepowiadać przyszłość. Również metoda Delficka, dzięki uzyskaniu opinii ekspertów, ma na celu próbę określenia przyszłych tendencji, zjawisk lub wydarzeń. Podkreślić jednak należy, iż są to jednak tylko prognozy specjalistów, czyli ich domniemania, co do kształtu przyszłości, nie zaś nowa wiedza w tym zakresie.

Metoda Delficka powstała w latach pięćdziesiątych XX-go wieku, choć trudno przypisać jej opracowanie jednej osobie, jak miało to np. miejsce w przypadku metody reengineeringu, czy burzy mózgów. Powstała ona w wyniku wzrastającego zainteresowania statystyczną analizą badania poglądów. Spopularyzowana została w latach sześćdziesiątych, a obecnie można zaobserwować również pewne nią zainteresowanie w kręgach bibliotekarskich, czego przejawem są coraz liczniejsze publikacje, w których wspomina się o walorach jej wykorzystania [2; 3, s. 119; 5, s. 81; 8, s. 62-64; 9] oraz pierwsze badania prowadzone Metodą Delficką, dotyczące m.in. przyszłości bibliotek akademickich [2]. Literatura [7, s. 38] podaje kilka odmian metody Delfickiej, tj. SEER³ , PROBE, SOON, które jednak nie zostały szerzej spopularyzowane i nie są stosowane w dziedzinie bibliotekoznawstwa.

Metoda Delficka polega na przesyłaniu ekspertom ankiet, w których mają się oni wypowiedzieć na temat przewidywanego przebiegu zdarzeń. W toku badań nie ujawnia się tożsamości specjalistów, nie mogą oni również kontaktować się między sobą, co wyklucza element wpływu autorytetów i perswazji. Ponadto najbardziej skrajne wypowiedzi są odrzucane, co wpływa na bezstronność i obiektywność wyników badania.

Eksperci nie są dobierani losowo, lecz w sposób celowy, z uwzględnieniem ich wiedzy i doświadczenia z zakresu poruszanego tematu. Szczególny nacisk kładziony jest na ich kompetencję, nie zaś tytuły naukowe lub stanowiska zajmowane w bibliotekach. Grupa specjalistów powinna składać się od 25 do 100 osób. Może być większa, lecz utrudnia to końcowe etapy, podczas których opracowywane są wyniki ankiet. Mniej niż 25 osób powoduje brak reprezentatywności wyników. W przeciwieństwie do burzy mózgów, w metodzie Delfickiej członkowie grupy nigdy nie pracują we wspólnym gronie. Jest to wręcz niewskazane i dlatego ankiety wysyłane są do nich pocztą lub przez Internet. Pytania ankiety powinny być sformułowane precyzyjnie, tak by nie budziły wątpliwości, oraz aby umożliwiały przeprowadzenie statystycznej analizy wyników. Dlatego też najczęściej skonstruowane są tak, by odpowiedzi można było podawać przy użyciu jednostek miar, wag, czasu lub poprzez potwierdzenie lub zaprzeczenie, np. w którym roku biblioteka X będzie oferowała usługę udostępniania treści swoich zbiorów przez Internet? Pytania powinny mieć niezależny charakter, tzn. odpowiedź na jedno pytanie nie powinna wpływać na odpowiedź na pytanie kolejne. Aby wyeliminować z ankiety wszelkie błędy, można przeprowadzić jej weryfikację współpracując z małą grupą ekspertów, którzy przedstawią jej mankamenty i błędy. Rozesłanie nieprawidłowo skonstruowanej ankiety podczas badań może spowodować brak możliwości prawidłowego uogólnienia odpowiedzi i opracowania wyników. Uzyskanie ponownych odpowiedzi na poprawioną już ankietę, może okazać się niemożliwe ze względu, na brak czasu i chęci wypełniania jej przez osoby uczestniczące w badaniach.

Badania prowadzone metodą Delficką składają się z dziesięciu etapów, które ilustruje rysunek 1.

Rys. 1. Etapy metody Delfickiej
Źródło: Opracowanie własne

Pierwsze dwa etapy to sformułowanie tematu badań, opracowanie ankiety i sporządzenie listy ekspertów, do których będą kierowane zapytania. Właściwe badania rozpoczynają się od etapu trzeciego, czyli od wysłania ankiet ekspertom. Pierwszy kwestionariusz z pytaniami powinien zostać uzupełniony o dodatkowe informacje, tzw. list przewodni, w którym organizatorzy badania przedstawiają cel badania oraz reguły współpracy (ekspert nie może być zaskakiwany kolejnymi ankietami, gdyż istnieje wówczas duże prawdopodobieństwo, że na nie nie odpowie). Organizatorzy badania mogą wcześniej nawiązać kontakt z ekspertami, wybrać z ich grona osoby rzetelne, które odeślą ankietę i uzyskać ich zgodę na współpracę. Wiąże się to jednak z przedłużeniem czasu badań i większymi kosztami. Możliwe jest również zaoferowanie specjalistom za udział w badaniach, wynagrodzenia finansowego. Najczęściej jednak kwestionariusze wysyłane są bez uprzedniego kontaktu z ekspertami, w wyniku czego większość z nich pozostaje bez odpowiedzi. Na odpowiedź przewiduje się ok. dwa-trzy tygodnie. Po tym czasie można wysłać przypomnienie.

Pierwszy kwestionariusz, przedstawiony w tabeli 1, oprócz pytań badawczych, zawiera prośbę o poddanie ocenie przez eksperta swoich kompetencji oraz zgodę na udział w dalszych badaniach.

Tab. 1. Wzór pierwszego kwestionariusza stosowanego w metodzie Delfickiej

Kwestionariusz 1
Pytania: 1. W którym roku w bibliotekach polski będą powszechnie stosowane nowoczesne metody zarządzania? 2. W którym roku w bibliotekach polskich standardem będzie zatrudnianie kierownika lub specjalisty ds. zarządzania? 3. ...	Odpowiedzi: ........ ........ ........
Ocena kompetencji eksperta*: jestem specjalistą w dziedzinie bibliotekoznawstwa; jestem kompetentny w dziedzinie bibliotekoznawstwa; znam dziedzinę bibliotekoznawstwa; orientuję się w podstawowych zagadnieniach dziedziny bibliotekoznawstwa; nie znam dziedziny bibliotekoznawstwa.
Ustosunkowanie się eksperta do udziału w dalszych badaniach*: wyrażam zgodę na kontynuowanie udziału w badaniach; nie wyrażam zgody na dalszy udział w badaniach. Nazwisko:................................................................. Podpis.......................................................................
* proszę zakreślić tylko jedną odpowiedź

Źródło: Opracowanie własne

Po otrzymaniu wypełnionych ankiet należy dokonać analizy i opracowania zawartych w nich danych. W pierwszej kolejności eliminuje się odpowiedzi ekspertów, którzy nie chcą uczestniczyć w dalszych badaniach, a następnie, przy pomocy metod statystycznych, analizuje się pozostałe wyniki odpowiedzi na poszczególne pytania. Dane zawarte w ankietach mogą być ilustrowane przy pomocy następujących wskaźników statystycznych:

1. Średnia arytmetyczna, tj. suma wszystkich elementów w zbiorze, podzielona przez ich liczbę.
2. Modalna, tj. elementy najczęściej występujące w danym zbiorze. Modalnej w histogramie odpowiada najwyżej położony punkt.
3. Mediana (M), tj. wartość środkowa, dzieląca wszystkie elementy zbioru na dwie równe części, z których pierwsza połowa ma cechy mniejsze lub równe medianie, zaś druga połowa cechy większe lub równe medianie.
4. Przedział międzykwartylowy - kwartyle to grupy dzielące na cztery części wszystkie elementy zbioru; kwartyl pierwszy (Q₁) dzieli elementy w zbiorze w taki sposób, że 25% z nich jest niższych lub równych pierwszemu kwartylowi, zaś 75% jest wyższych lub równych; kwartyl drugi(Q₂) to mediana, zaś kwartyl trzeci (Q₃) dzieli elementy w zbiorze w ten sposób, że ich 75% jest niższych lub równych trzeciemu kwartylowi, zaś 25% wyższych lub równych. Przedział pomiędzy kwartylem pierwszym, a kwartylem trzecim nazywany jest przedziałem międzykwartylowym i pomaga określić rozkład opinii ekspertów wokół średniej, a zarazem wykluczyć skrajne odpowiedzi;
5. Histogram, tj. wykres kolumnowy, ilustrujący liczbę powtarzających się tych samych odpowiedzi; na histogramie można dodatkowo zaznaczyć wszystkie wcześniej wymienione wartości.

Pięć wyżej opisanych metod prezentacji i opisu danych zostanie przedstawionych na rysunku 2, przy pomocy hipotetycznych odpowiedzi na pierwsze pytanie z kwestionariusza 1, tj. W którym roku w bibliotekach polski będą powszechnie stosowane metody zarządzania? W tabeli 2 zilustrowano treść odpowiedzi na pytania z pierwszego kwestionariusza.

Tab. 2. Przykładowe odpowiedzi na pierwsze pytanie kwestionariusza 1

Treść odpowiedzi	Liczba odpowiedzi	Procent odpowiedzi
2005	1	1,1
2006	3	3,3
2007	4	4,4
2008	7	7,7
2009	16	17,7
2010	20	22,2
2011	18	20
2012	11	12,2
2013	10	11,1

Źródło: Opracowanie własne

Średnia arytmetyczna wyników z tabeli 2 wynosi 2010,111, co oznacza, że przeciętnie według ekspertów, nowoczesne metody zarządzania, w bibliotekach polskich, powszechnie stosowane będą od 2010 roku. Modalna, którą wyznaczyło 20 odpowiedzi, stanowiących 22,2% całego zbioru, również wskazuje na 2010 rok. Mediana wypadająca na 2010 rok, oznacza, że 50% ekspertów uważa, iż nowoczesne metody zarządzania w bibliotekach polskich powszechnie stosowane będą jeszcze przed 2010 rokiem, zaś 50%, że będzie miało to miejsce dopiero po 2010 roku. Kwartyl pierwszy wyznacza rok 2009, zaś kwartyl trzeci rok 2011, w wyniku czego przedział międzykwartylowy stanowi lata 2009-2011. Dane te, w sposób graficzny, zilustrowano na rysunku 2.

Rys. 2. Graficzny rozkład odpowiedzi wykonany na podstawie tabeli 2
Źródło: Opracowanie własne

W przypadku, kiedy przewiduje się zadawanie pytań opisowych, zastosowanie metod statystycznych do opracowania wyników może okazać się niemożliwe. W tej sytuacji, odpowiedzi dzieli się na kilka grup pod kątem ich podobieństwa.

W następnej fazie badań do ekspertów wysłany jest drugi kwestionariusz (zob. tab. 3). Oprócz pytań (tych samych, co w kwestionariuszu 1) zawiera on wyniki odpowiedzi z pierwszego kwestionariusza. Ponadto ankietowany musi uzasadnić swoją poprzednią odpowiedź, jeśli znajdowała się ona poza przedziałem międzykwartylowym. Dzięki temu eksperci, mający zdanie znacznie odbiegające od większości ankietowanych, muszą ponownie zastanowić się nad swoją opinią i albo przyłączyć się do powszechnego przekonania, albo w przekonywujący sposób umotywować odmienne zdanie.

Tab. 3. Wzór drugiego kwestionariusza stosowanego w metodzie Delfickiej

Kwestionariusz 2
pytania	madiana	przedział międzykwartylowy	odpowiedź udzielona w kwestionariuszu	nowa odpowiedź	uzasadnienie poprzedniej odpowiedzi (jeśli znajdowała się poza przedziałem międzykwartylowym)
1. W którym roku w bibliotekach polskich będą powszechnie stosowane metody zarządzania? 2. ... 3. ...	2010	2009-2011	2005	..................	......................................
Nazwisko.................................................................... Podpis........................................................................

Źródło: Opracowanie własne

Po uzyskaniu odpowiedzi z drugiego kwestionariusza, przeprowadza się ich analizę, opracowuje nowy rozkład wyników, aby następnie wysłać je do specjalistów wraz z kwestionariuszem 3 (zob. tab. 4). Działania te powtarza się jeszcze raz, wysyłając kwestionariusz 4 (zob. tab. 5), lub dwa razy, jeśli rozrzut odpowiedzi jest zbyt duży. Kwestionariusze 3 i 4 uzupełniane są dodatkowo o argumenty przemawiające za wcześniejszym lub późniejszym wystąpieniem badanego zjawiska, na które muszą zwrócić uwagę specjaliści wypełniający ankietę. Za optymalną liczbę wysyłanych kwestionariuszy uważa się trzy lub cztery, gdyż jej zwiększenie nie wpływa znacząco na podniesienie jakości wyników badania [7, s. 36].

Dzięki wysyłaniu kolejnych ankiet, wraz z informacjami o otrzymanych uprzednio wynikach, specjaliści są motywowani do zajęcia stanowiska w stosunku do opinii innych ekspertów, bez podawania ich tożsamości. Specjaliści mogą albo pozostać przy swoich początkowych przekonaniach, albo też, pod wpływem umotywowanych opinii innych osób, poprzeć prognozę większości.

Tab. 4. Wzór trzeciego kwestionariusza stosowanego w metodzie Delfickiej

Kwestionariusz 3
pytania	madiana	przedział międzykwartylowy	argumenty przemawiające za wcześniejszym wystąpieniem zjawiska*	argumenty przemawiające za późniejszym wystąpieniem zjawiska*	nowa odpowiedź	krytyka argumentów nie do przyjęcia**
1. W którym roku w bibliotekach polskich będą powszechnie stosowane metody zarządzania? 2. ... 3. ...	...............	...............	...............	...............	...............	...............
Nazwisko.................................................................... Podpis........................................................................

* wypełnia osoba przygotowująca ankietę
** wypełnia specjalista

Źródło: Opracowanie własne

Tab. 5. Wzór czwartego kwestionariusza stosowanego w metodzie Delfickiej

Kwestionariusz 4
pytania	madiana	przedział międzykwartylowy	argumenty przemawiające za wcześniejszym wystąpieniem zjawiska*	argumenty przemawiające za późniejszym wystąpieniem zjawiska*	ostateczna odpowiedź eksperta**
1. W którym roku w bibliotekach polskich będą powszechnie stosowane metody zarządzania? 2. ... 3. ...	...............	...............	...............	...............	...............	...............
Nazwisko.................................................................... Podpis........................................................................

* wypełnia osoba przygotowująca ankietę
** wypełnia specjalista

Źródło: Opracowanie własne

W ostatnim etapie badań przeprowadza się ostateczną analizę uzyskanych danych i formułuje wyniki końcowe całego badania, przy czym największe znaczenie mają wyniki z kwestionariusza 4. Wyniki końcowe mogą być przedstawione w postaci tabeli, w której do każdego pytania podana jest średnia odpowiedzi osób, które w pierwszym kwestionariuszu określiły się jako specjaliści lub osoby kompetentne w dziedzinie bibliotekoznawstwa, mediana i przedział międzykwartylowy, tj. ilustruje to tabela 6 oraz raportu z badań. Jego skrócona wersja powinna zostać przesłana wszystkim specjalistom biorącym udział w badaniu.

Tab. 6. Forma prezentacji wyników końcowych w metodzie Delfickiej

pytania	średnia odpowiedzi "specjalistów" i "osób kompetentnych	madiana	przedział międzykwartylowy
1. W którym roku w bibliotekach polskich będą powszechnie stosowane metody zarządzania? 2. ... 3. ...
Nazwisko.................................................................... Podpis........................................................................

Źródło: Opracowanie własne

Metoda Delficka może być stosowana zarówno do opracowywania zagadnień o charakterze globalnym, narodowym, jak i regionalnym lub związanych tylko z jedną biblioteką, z czego wynika rozróżnienie kwestionariuszy na ogólne i wycinkowe. Temat badań metody delfickiej może być bezpośrednio związany z bibliotekarstwem lub też może dotyczyć warunków ogólnych, które mogą z kolei wpłynąć na działalność bibliotek. Metoda ta stosowana jest głównie w celu przeprowadzania szacunków i prognoz długoterminowych oraz badania przyczyn występowania zjawisk.

Wyniki badań przeprowadzonych metodą Delficką mają ogromne znaczenie podczas sporządzania planu strategicznego biblioteki. Wspomagają one planowanie działalności biblioteki, tj. wybór świadczonych usług: kontynuację dotychczasowych, rezygnację lub oferowanie nowych, zarządzanie personelem, finansami i środkami trwałymi. Ułatwiają podejmowanie decyzji w zakresie długoterminowego planowania zadań konsorcjów i sieci bibliotecznych oraz minimalizują skutki błędnych decyzji strategicznych kierownictwa biblioteki. Ponadto metoda Delficka może służyć do przewidywania wzrostu i struktury produkcji wydawniczej różnych źródeł informacji, liczebności i struktury różnych grup użytkowników oraz liczebności i struktury różnych typów bibliotek.

Metoda Delficka jest szczególnie przydatna w sytuacjach, kiedy podejmowane przez dyrekcję biblioteki działania, tj. np. planowanie nowej usługi bibliotecznej lub nowej kategorii gromadzonych dokumentów, będą odznaczały się wysoką czaso- i kosztochłonnością, a więc, kiedy ich ewentualne niepowodzenie będzie wiązało się z wysokimi stratami. Np. dyrekcja biblioteki, która w przyszłości planuje udostępnianie treści swoich zbiorów przez Internet i równoczesne zawieszenie nabywania dokumentów tradycyjnych, powinna przeprowadzić badania, które wykażą, jak może kształtować się rozwój techniki informatycznej, umiejętności czytelników w zakresie użytkowania sprzętu komputerowego, dostępność czytelników do stanowisk komputerowych, rozwój prawa autorskiego oraz określić możliwe preferencje użytkowników biblioteki, tj. ich aprobata lub dezaprobata spowodowana zmianą charakteru biblioteki.

Zaletą metody Delfickiej jest uzyskanie informacji od szerokiego grona ekspertów, także z zagadnień dotąd nie opracowanych lub o niskim poziomie opracowania. Materiały uzyskane dzięki niej, nie są wynikiem ekspertyzy jednego specjalisty lub indywidualnego przekonania eksperta, lecz opinii grupowej, która charakteryzuje się wyższą jakością i prawdopodobieństwem. Na jakość badania w metodzie Delfickiej wpływa ponadto możliwość weryfikacji przez eksperta wcześniej wyrażonej opinii, poprzez porównanie przez niego własnej opinii do opinii dominujących w grupie oraz ewentualnie jej zmiana, po wcześniejszym rozpatrzeniu motywów podjęcia stanowiska grupy. Dzięki zachowaniu anonimowości uczestników badania eliminuje się wpływ osób obdarzonych autorytetem lub władzą na pozostałych członków grupy. Ponadto, metoda Delficka, w przeciwieństwie do metod grupowego rozwiązywania problemów (np. burzy mózgów), realizowana jest przy współpracy specjalistów przebywających w różnych miejscach. Brak wymogu gromadzenia się członków grupy w jednym miejscu i czasie umożliwia zaangażowanie w badania większej liczby ekspertów, o wyższych kwalifikacjach, mogących pracować na całym świecie.

Metoda Delficka posiada także wady, które jednakże tylko w małym stopniu obniżają jej wartość. Największą z nich jest jej czasochłonność (kilka miesięcy do roku) oraz subiektywizm opinii. Ponadto powtarzający się kilkakrotnie cykl badania i zadawanie tych samych pytań, może wpłynąć na znużenie specjalistów i udzielanie przez nich tendencyjnych odpowiedzi, a w niektórych przypadkach nawet rezygnację z dalszego udziału w badaniach.

Metoda Delficka wspomaga proces zarządzania zmianami w bibliotekach. Umożliwia pozyskiwanie informacji, które mogą mieć wpływ na strategiczne zarządzanie biblioteką, planowanie zmian oraz jej rozwoju. Może być stosowana równocześnie z metodami scenariuszowymi i metodami ekstrapolacji trendów. Wszystkie należą one do grupy metod planowania długookresowego. Metody scenariuszowe polegają na opracowaniu, na podstawie analizy czynników otoczenia i wewnętrznych uwarunkowań zachodzących w bibliotece, kilku odmiennych planów funkcjonowania placówki, wdrażanych w zależności od zaistniałej sytuacji. Literatura [5, s. 82] wyróżnia trzy typy scenariuszów: scenariusze stanów otoczenia, scenariusze możliwych zdarzeń i scenariusze symulacyjne, dotyczące wyborów strategicznych biblioteki. Metoda ekstrapolacji trendów opiera się na założeniu, iż w otoczeniu biblioteki zachodzą zjawiska, tendencje, trendy, mające charakter ciągły, których rozwój jest możliwy do przewidzenia w określonym przedziale czasowym. Planując kierunek rozwoju trendów nie przewiduje się jednak zmian nagłych, zachodzących niespodziewanie. Metodę ekstrapolacji trendów biblioteki mogą stosować do próby przewidzenia rozwoju takich zjawisk, jak kierunek zmian demograficznych na obszarach objętych działalnością biblioteki, zmiany zachodzące w produkcji wydawniczej, prognozy dotyczące wykorzystywania nowych technik informacyjnych i sprzętu komputerowego itp.

Zarówno metoda Delficka, metody scenariuszowe, jak i metoda ekstrapolacji trendów, pomagają w przewidywaniu zmian zachodzących w otoczeniu biblioteki i pozwalają na jej wcześniejsze przygotowanie się do nich.

Bibliografia

1. Antoszkiewicz Jan: Metody heurystyczne. Wyd. 2 zmienione. Warszawa: Państwowe Wydawnictwo Ekonomiczne, 1990.
2. Feret Błażej, Marcinek Marzena: Przyszłość bibliotek i bibliotekarzy akademickich. Studium wykorzystujące metodę delficką. W: Elektroniczny Biuletyn Informacyjny Bibliotekarzy [Dokument elektroniczny], 2000, nr 1. Tryb dostępu: http://www.oss.wroc.pl/biuletyn/ebib09/feret.html. Stan z dnia 15.02.2004.
3. Głowacka Ewa: Studium zastosowania kompleksowego zarządzania jakością (TQM) w bibliotekoznawstwie i informacji naukowej. Toruń: Wydawnictwo Uniwersytetu Mikołaja Kopernika, 2000.
4. Lisiecki Marek: Metody i techniki organizatorskie i kierownicze. Warszawa: Wydawnictwo Wyższej Szkoły Zarządzania i Marketingu, 1997.
5. Marketing i jakość usług bibliotek akademickich: ogólnopolska IV Konferencja Bibliotek Niepublicznych Szkół Wyższych, Wrocław, 9-11 maja 2002 roku. Pod red. Stefana Kubowa, Wrocław: Dolnośląska Szkoła Wyższa Edukacji TWP, 2002.
6. Mikołajczyk Zofia: Techniki organizatorskie w rozwiązywaniu problemów zarządzania. Wyd. 3. Warszawa: Wydawnictwo Naukowe PWN, 2002.
7. Nowe techniki organizatorskie. Pod red. Michała Stępowskiego, Warszawa: PWN, 1977.
8. Wdrażanie nowoczesnych technik zarządzania w instytucjach non-profit na przykładzie naukowej biblioteki akademickiej (Kraków, 28-30 września 1998). Kraków: Pracownia Poligraficzna Akademii Ekonomicznej w Krakowie, 1998.
9. Zarządzanie przez jakość w bibliotece akademickiej, Bydgoszcz-Gniew, 10-13 września 2000 r. [Dokument elektroniczny]. Pod red. Lidii Derfert-Wolf i Bożeny Bednarek-Michalskiej. Tryb dostępu: http://ebib.oss.wroc.pl/matkonf/atr/indexpl.html. Stan z dnia 23.05.2003.

---

¹ m.in. przez Bibliotekę Politechniki Poznańskiej, w celu określenia przyszłej struktury personelu akademickiej biblioteki naukowej, w ramach podnoszenia jakości usług. Zob. Halina Ganińska - Jakość, koszty jakości i efektywność usług informacyjnych. [9].

² zob. Błażej Feret, Ewa Dobrzyńska-Lankosz - Nowoczesne techniki zarządzania [8, s. 55-66].

³ System for Event Evaluation Review - Metoda Przeglądu Ocen Zdarzenia