Apr 26, 2010 odsłon: 7,498 12 wypowiedzi
[up] Użyteczność — rozumiemy to?
[update 27.04.2010] Czytałem dziś artykuł na interaktywnie i aż mnie zakorciło, by wkleić słowa Andrea Resmini:
“Użyteczność to cały zestaw technik pomiarów i zaleceń, wynikających z długiej tradycji, której korzenie tkwią jeszcze w czasach sprzed ery komputerów: w ergonomii i wzornictwie przemysłowym.”
Kiedyś dawno temu nasza branża urodziła pojęcie “usability”, niefortunnie tłumaczone na polski “funkcjonalność” (w tłumaczeniu książki Pearrow-a by Helion), następnie “użyteczność”. Wykorzystując tylko te pojęcie można przeprowadzić pełnowartościowy test na profesjonalną przydatność w branży.
Przeczytajcie poniższe zdania:
- Usability tej aplikacji należy poprawić.
- Ten sajt ma niedostatecznie dobre usability.
- Interfejs jest zupełnie nie użyteczny.
- Słaba użyteczność to jak zła ekologia środowiska.
Jeżeli po przeczytaniu tego:
- nie macie ochoty pośmiać się lub popłakać,
- wasza twarz nie została skrzywiona poprzez niesmaczny grymas lub wyraz żałoby,
- wewnątrz nie rozpalił się ogień nienawiści,
- żadne z powyższych nie pasuje, a wciąż uważacie się za specjalistę,
- właśnie przypomnieliście sobie, że też nadużywacie powyższe zdania wykorzystując każdą (nie ważne czy właściwą) do tego okazję,
to gratuluję. Wykryto dyletanta, gdyż tylko dyletant może bez poczucia winy i własnego sumienia, z przerażającą stabilnością wykorzystywać termin, którego nie rozumie i nie umie używać właściwie.
Definicja zgodnie z ISO 9241–11 mówi, że:
Usability — the extent to which a product can be used by specified users to achieve specified goals with efficiency, effectiveness and satisfaction in a specified context of use.
Dodatkowo, trzeba pamiętać o innych definicjach (w poniższej tabelce zestawienie porównawcze “konceptów”):
| ISO 9241–11 | ISO 9126 | Schakel 1991 | Nielsen 1993 | Shneiderman 1998 |
| Efficiency | Learnability Understandability |
Learnability | Efficiency
Learnability |
Time to Learn Speed Performance |
| Effectiveness | Operability | Effectiveness | Memorability
Errors Safety |
Retention over time
Rate of errors by users |
| Satisfaction | Subjective attractiveness | Subjective attitude | Satisfaction | Subjective satisfaction |
| Portability | Flexibility |
Wystarczy 2-minutowej analizy, aby zrozumieć, że:
- Użyteczność jest stopniem kilku wskaźników. Nie może być ona zła czy dobra. Usability nie można polepszyć lub pogorszyć, ale zwiększyć lub zmniejszyć.
- Nie ma żadnego ogólnego stopnia użyteczności. Pojęcie użyteczności zawiera w sobie metryki, które mogą być skorelowane lub przeczyć sobie (np. szybkość uczenia się i szybkość “pracy” nie mogą być jednakowo wysokie).
- Usability nie jest synonimem określeń tj. “wygoda”, “przyjazność”, “intuicyjność”, “zrozumiałość”, “łatwość” itp. Mówiąc o przyjazności pamiętajmy, że te słowo oznacza “przyjaźnie nastawiony do kogoś/czegoś, życzący dobra”. Ani grama tu stopnia efektywności, skuteczności czy satysfakcji.
Krótko mówiąc, użyteczność (ang. usability) nie ma synonimów i nie będzie ich dopóki, dopóty szanowana społeczność specjalistów nie umówi się wspólnie dokładać kolejne przymiotniki, rzeczowniki i inne części nie mające nic wspólnego z użytecznością.
Użyteczność to pojęcie z ciężkim losem i najprostszym sposobem na złagodzenie jego cierpienia jest wyłączenie tego słowa ze swojego słownika do momentu pełnego zrozumienia czym “ono” jest.
Przy okazji tego wylewu pragnę wyrazić uznanie Robertowi Drozdowi, bez którego pięknych wpisów świat polskiego usability nie byłby taki interesujący.
Szczerze mówiąc zaskoczył mnie ten artykuł, opis wskazuje na pomieszanie tematu testów interakcji HCI. Wydaje mi się, że autor nie jest ekspertem badań, a mimo to próbuje je tutaj opisywać – nieudolnie niestety, co postaram się udowodnić.
Mieszanie różnych podejść, potocznego i naukowego empirycznego nie wyjaśnia sprawy. Panie Autorze! Pewnie Pan wie, że użyteczności to wymaganie niefunkcjonalne, czyli nie da się go zmierzyć wprost. Wiedzą to wszyscy od “usability”.
To od czego wychodzimy w tym artykule, to potoczne określenia jakości interfejsu “niedostateczne usability, nieużyteczny”. To co Pan później pisze o modelach pomiaru empiryczego — to proponowane miary w badaniach z użytkownikiem!
Oczywiście po raz kolejny powtórzę, że takimi badaniami z użytkownikiem powinni zajmować się wyłączenie psycholodzy znający podstawy badań, rozumiejący poprawną metodologię badań!
W artykule widać kompletny brak znajomości aktualnego poziomu wiedzy na temat badań eksperymentalnych w psychologii.
Modele użyteczności takie jak ISO, Nielsena czy Shneidermana zostały zweryfikowane. Obecnie służą nam do dziś (z pewnym prawdopodobieństwem wyniku) do oceny jakości. Podobnie jak testy IQ określają jedynie to co mierzą! Jak Pan wie mądrości też Pan nie zmierzy testem IQ, jednak jak się okazuje do dziś ten test jest stosowany dla dzieci w celu określenia pewnych predyspozycji czy też dysfunkcji. Znamy kilkadziesiąt testów inteligencji, ten najbardziej znany IQ też jest tylko modelem. Znając jego wady i zalety może się przydać do określonych czynności.
Wskaźniki, służą do określania spełniania modelu w naszym eksperymencie — teście użyteczności. Twierdzenie, że użyteczność jest “stopniem kilku wskaźników” to znowu nieprecyzyjność autora. Prawdzie może być powiedzenie, że wskaźniki użyte w badaniach wpływają zgodnie z przyjętym modelem teoretycznym (np. wg ISO). Tak więc użyteczność nie jest żadnym “stopniem”. A wpływ wskaźników wcale nie musi być prosty i liniowy, co w przypadku krzywych uczenia jest wcale nie takie banalne. To właśnie ogólne miary użyteczności, posługują się wskaźnikami, ich wpływ na siebie jest banalny. Wpływ wielu zmiennych na siebie jest badany w badaniach złożoności i zjawiskach chaosu. Podsumowując, tylko w tych wymienionych przez Ciebie modelach, pomiar jest uzyskiwany za pomocą konkretnych wskaźników. Jednak są też inne sposoby pomiaru, które nie składają wpływu tylko np. mogą badać efekt. Np. jeśli coś jest użyteczne to wiele osób zakupi dany towar itp.
Usability jest (!) w potocznym języku synonimem tych, podanych przez Ciebie określeń, jeśli mówimy o interfejsie! Co innego jeśli mówimy o usability jako pomiarze interakcji HCI — wtedy faktycznie złożona miara parametru “usability” odzwierciedla to na co wskazują miary z modelu teoretycznego. Mieszanie tych spraw w jeden kubeł to pomyłka.
Krótko mówiąc, autorze, proszę zastanów się zanim wrzucisz wszystko do jednego worka! Warto, żebyś zapoznał się też z metodami badań z użytkownikami, które od lat znane są w psychologii eksperymentalnej.
Ad.2. “Nie ma żadnego ogólnego stopnia użyteczności” — to też jest częściowa prawda. Jeśli czegoś nie da się zmierzyć bezpośrednio, to nigdy nie będzie zmierzone — racja?! …ale za to zawsze da się wymyślić model jak np ISO, który stara się zdefiniować ogólny stopień użyteczności (przecież sam o tym piszesz, aby sobie kawałek dalej zaprzeczyć!). Posłużmy się przykładem, nie da się zmierzyć poziomu “zdrowia”, mogę zmierzyć wiele czynników (samopoczucie, krew, RTG itp), aby stwierdzić jaki jest ogólny poziom mojego “zdrowia”. Czy to oznacza, że ogólny stopień zdrowia nie istnieje??? Naukowo oczywiście, że nie istnieje, a jednak wiele z lekarzy zna modele badań, które taki stopień określają. Każdy z nas z pewnością umie określić „ogólny poziom zdrowia”, bazując na objawach i odczuciach własnego organizmu.
Naprawdę istnieje bardzo wiele artykułów na temat zintegrowanych miar użyteczności i ogólnych modeli usability.
Twoja teoria ma też zasadniczy błąd. Jeśli faktycznie usability można opisywać tylko wskaźnikiem, to w moim prywatnym modelu empirycznym usability jest “przyjaznością”, a czasem “wygodą” (sam taki model zbudowałem i potwierdziłem wcześniej, i co wtedy?!).
Co więcej, jeśli nie brałoby się pod uwagę wskaźników np. niewerbalnych czy też danych jakościowych (jak np relatywne odczucie wygody z wykorzystania interfejsu), to nigdy nie wiedzielibyśmy co jest wynikiem interakcji użytkownika z interfejsem, nigdy nie mielibyśmy poprawnych interpretacji.
Mam nadzieję, że udało mi się wytłumaczyć, że o tym co piszesz to lekkie pomieszanie. Większość z tych rzeczy wynika z braku znajomości metodologii badań empirycznych HCI, jak i wiedzy naukowej i potocznej.
Pawel
Pawle, wiedzy naukowej i praktycznej (szczególnie) mi nie brakuje. Na co dzień mam styczność z artykułami z różnych Journals, gdzie oferowane są różne modele użyteczności, jakości, bazujące na różnych definicjach, mające zmierzyć właśnie za pomocą miar, liczb, jakichś konkretów rozumianą przez Ciebie w pojęciach semantycznych użyteczność. Ale da się to przenieść na zbiory rozmyte na przykład, i oceniać użyteczność za pomocą reguł decyzyjnych if-then, dokładnie tak samo, jak się to dzieje w wykrywaniu chorób za pomocą systemów eksperckich. W tym artykule chciałem pokazać, jak ciężko jest zgodzić się na coś, co dogodzi wszystkim, gdyż różne wymiary użyteczności są też różnie pojmowane przez specjalistów z branży. Po to też są te normy, standardy, aby chociaż jakoś zmusić nas do wspólnego mianownika. Zaś “przyjazność” i “wygoda” też ma wskaźniki, na pewno nie binarne, ale ma.
Co do badań — nie koniecznie (szczególnie ostatnio) badania są wykonywane bezpośrednio z użytkownikami. Ja się np. skupiam w swoich badaniach nad metodami automatycznymi, gdzie wykorzystuje się wzorce zachować wykrywanych za pomocą oprogramowania w serwisach webowych. Stąd też takie konkretne podejście.
Źle mnie zrozumiałeś, bo nie chciałem w żaden sposób podważać Twojej wiedzy. Może za bardzo się rozpisałem, jednak chciałem pokazać, że to nie takie proste.
Faktycznie masz rację, że dość różnie pojmujemy pojęcia. Jednak coraz większa liczba spotkań, formalnych i nieformalnych, wspólne pisanie artykułów tworzy pewna coraz bardziej do definiowaną przestrzeń dla użyteczności. Ci prawdziwi eksperci znają dość dobrze ISO i wykorzystują je choćby do opisu badań użyteczności. Tam normy ISO/CIF dość jednoznacznie wskazują na definiowanie miary standaryzowane czy też własne.
Ciekaw jestem bardzo Twoich badań automatycznych, bo z zakresie systemów złożonych i samej dynamiki interakcji wydaje mi się to za zadanie bynajmniej niełatwe. Miejmy nadzieję, że Ci się uda to zadanie, bo była by to wielka pomoc dla branży.
Ważne abyś pamiętał, że MY jako eksperci coraz częściej zamiast usability posługujemy się pojęciem User Expeirience, gdyż jak się okazuje jest lepsze do szerszej definicji sukcesu biznesowego.
Tak jak nieużyteczny facebook czy N-K, użyteczność może mieć odwrotny efekt lub nie wpływać na wynik interakcji, bo motywacja nie maleje. Ciekaw jestem czy takie efekty też uwzględniasz w swojej pracy?
Tak czy inaczej Twoja praca musi być niezłym wyzwaniem. Jak porównuję rozpoznanie choroby przez system ekspercki z rozpoznaniem użyteczności to widzę jedną zasadniczą różnicę. Interakcja z interfejsem podlega zasadą dynamiki, czyli wcześniejsze doświadczenia wpływają na kolejne. Co powoduje, że możemy mieć do czynienia z dynamiką chaosu deterministycznego, a określenie przestrzeni fazowych może tworzyć bardzo złożone wzory — tak jak u Lorentza. Wydaje mi się, że rozpoznanie choroby to raczej kwestia dobrego sprawdzenia wpływu wielu czynników, ale nie mamy tutaj aspektu czasowego? Interakcja kształtowana jest przez poprzednie doświadczenia, a sumaryczny efekt może nie być prosty.
Krótko mówiąc, bardzo trudno jest ocenić użyteczność interfejsu bez (nieliniowego elementu) użytkownika. Wydaje mi się, że podjęte przez Ciebie zadanie jest bardzo ważne. Jeśli udało by się faktycznie szybko oceniać i diagnozować “chorobę” to optymalizacja mogłaby przebiegać przecież automatycznie, odpowiednio dopasowując się pod każdego użytkownika czy to początkującego czy zaawansowanego.
Przepraszam za długie pisanie, ale Twoje zainteresowania, perspektywa użyteczności i praca naukowa, wydają mi się niezwykle ciekawe i perspektywiczne. Jeszcze raz życzę powodzenia i oczekuję na wyniki:)
Tak sobie Panowie dywagujecie, a dla mnie przyczyna przeniesienia suwaka głośności na lewo jest dość oczywista. Ja z reguły ustawiam głośność filmu na youtube zaraz po jego włączeniu — zakładam, że dalej już nie trzeba tłumaczyć o co chodzi
@tomek: Zrobiłem krótki user-test wśród grupy 15–26 lat. Jako sensowną zmianę wskazało jedynie 3%!!! użytkowników…
To samo ma plejada ze swoim playerem — powiększenie na full screen jest na dole po lewej, po najechaniu na video, co jest już do kwadratu nieintuicyjne…
Bym się kłócił…jak duża była ta grupa badawcza, skoro to krótki user-test? Dlaczego pytam, 3% wskazuje na to, że badałeś reakcję min. 33 użytkowników. Jeśli krótki, to pewnie sprawdzałeś ich reakcję na konkretną zmianę, a wiadomo że zmiana zawsze jest zła i potrzeba trochę czasu zanim ludzie zmienią swoje nawyki.
Tak sobie jeszcze myślę, że jeśli krótki i szybki test musiałeś pytać znajomych, a Ci z kolei są “specami” internetu i lubią krytykować — tak sobie tylko dywaguję
Playera plejady nie znam, także się nie wypowiadam.
3 grupy (PWr), 4,6% dokładnie (3 osoby), 18,46% (15) nie miała zdania.
dziendobry.tvn.pl ->zerknij
w zasadzie tu powinna być odpowedź:
znalazłem i znów się ni do końca zgodzę, nie jest oczywiście tam gdzie w pierwszej kolejności się szuka ale znaleźć można szybko, działa również doubleclick więc nie jest aż tak tragicznie.
Podsumowując: uważam przeniesienie regulacji głośności na lewo za niezły pomysł. Generalnie nie robi mi to żadnej różnicy i absolutnie takie czy inne eksperymenty nie wpłyną na moją częstotliwość korzystania z YT. Serwis jest użyteczny jak cholera (nie chodzi mi o usability) a to się liczy.
a propos wyników -> to tylko kolejne potwierdzenie, że demokracja jest złym ustrojem
[znów mi się te komentarze źle wrzucają — coś nie tak z użytecznością
]
znalazłem i znów się ni do końca zgodzę, nie jest oczywiście tam gdzie w pierwszej kolejności się szuka ale znaleźć można szybko, działa również doubleclick więc nie jest aż tak tragicznie.
Podsumowując: uważam przeniesienie regulacji głośności na lewo za niezły pomysł. Generalnie nie robi mi to żadnej różnicy i absolutnie takie czy inne eksperymenty nie wpłyną na moją częstotliwość korzystania z YT. Serwis jest użyteczny jak cholera (nie chodzi mi o usability) a to się liczy.
a propos wyników -> to tylko kolejne potwierdzenie, że demokracja jest złym ustrojem
Z tym się zgodzę w 100%