Řadu měsíců jsem si kladl otázku, jaký business přínos má zapojení LLM do produktového designu, zvláště pak v oblasti User Research. Vzhledem k tomu, že se využití foundation modelů v konzultační praxi věnuji delší dobu a pro řadu úkolů z User Research jsem se je naučil pravidelně používat, nazrál čas, abych tyto své poznatky shrnul v novém příspěvku na blogu. Na úvod bych podotknul, že mým cílem není napsat vědeckou studii , ale spíše se podělit a shrnout praktické zkušenosti pokročilejšího uživatele, podložené řadou měření času potřebného na některé úlohy bez GenAI a s využitím jednotlivých LLM modelů, včetně cenových nákladů. Chápu, že každá firma si User Research může dělat jiným způsobem a používat různé framework a tudíž mohou tento příspěvek použít jen jako základ na přemýšlení, jestli se vyplatí GenAI začít používat v designovém procesu v jejich organizaci. Primárně budu hovořit o Front-end User Research dle framework User-Centered Design (UCD) pro B2C produkty. Hlavní metodu pro zmapování sledované činnosti předpokládám Contextmapping, na základě této metody shrnutí poznatků ve formě insights, kde některé z nich chceme vizualizované pomocí Mind maps, případně Social Interaction maps. Insights jsou dále použity na definici požadavků na Minimum Viable Product + doplňujících požadavků na produkt, včetně cenových hladin. Podrobněji jsem o významu User Research psal v řadě příspěvků na svém blogu. Přípravná fáze uživatelského výzkumu Většinou máme na začátku nějakou ideu pro nový produkt a User Research nám má odpovědět na fundamentální otázky spojené s životaschopností naší ideje. Tedy jestli to, co chceme realizovat, bude mít pro uživatele našeho nového produktu takový přínos, zjednodušením, usnadněním jeho práce, že by si náš produkt kdyby existoval koupil. Dále pak jak velký přínos pro něj má změna sledované činnosti v hodnotovém vyjádření (měřeno penězi), z čehož vyplývá, kolik náš výrobek musí stát. V neposlední řadě, jaké vlastnosti náš produkt musí mít, aby maximalizoval přínos spojený s jeho použitím namísto toho jak člověk činnost dělá dnes. Celkově všem těmto informacím říkáme Design Challenge a slouží jako vstup pro fázi Product Define. Realizujeme li User Research je potřeba si nejdříve připravit definici cílového segmentu/ů, abychom kvalitativní výzkum dělali se správnými subjekty. Součástí této přípravné fáze by měla být taktéž jednoduchá business analýza poskytující představu o velikosti jednotlivých segmentů, konkurenci apod. Business analýze se ale v tomto článku věnovat nebudu, i když mohu říci, že pro řadu kroků je použití LLM velmi přínosné. S využitím foundation modelu, já používám ChatGPT 4, mohu na základě praktické zkušenosti z několika projektů říci, že jsem schopen pro jakoukoli ideu získat návrh jednotlivých segmentů trhu, kde by moje idea měla pro uživatele významný přínos. Používám ale výstup z modelu jen jako základ pro další přemýšlení. Porovnám li přístup s využitím LLM s přístupem bez LLM, vidím úsporu času sice relativně malou, mluvím li o absolutních číslech, ale značnou pokud jde o celkový čas strávený s rozmýšlením si celé problematiky. V dalších krocích uvidíme, že to je vcelku opakující se pravidlo. Já sice samotným psaním strávím třeba jen o 1 hodinu méně, ale ve výsledku jsem schopen s využitím LLM o problematice přemýšlet třeba o den méně se stejnou mírou jistoty, že postupuji správným směrem. Mám li definované segmenty, mohu přistoupit k přípravě rozhovoru, který chci s respondentem v rámci výzkumu vést. Jak jsem zmínil, využívám většinou Contextmapping. Nebudu zde zacházet do detailů této metodiky, její popis naleznete také v prvním čísle newsletteru nebo v tomto příspěvku na mém blogu. Pro přípravu rozhovoru opět používám ChatGPT 4. Tento model tuto metodiku zná a je tak schopen navrhnout strukturu s hlavními oblastmi rozhovoru, a jednotlivé otázky, na které potřebuji získat odpověď. Na začátku definuji zadání, kdy používám specifickou Persona, která se mi pro toto zadání osvědčila a následně doplňuji dodatečné oblasti, pro které potřebuji od daného člověka získat informace. Takto jsem schopen připravit rozhovor během 1/2-1 hodiny. Tady bych odbočil, protože chci zdůraznit, že je diametrálně rozdílná kvalita výstupů z modelu ChatGPT 3.5, případně dalších zdarma dostupných modelů jako je nyní Claude 3 Sonnet. Důrazně doporučuji pracovat pouze s modely kategorie ChatGPT 4. Vlastně se mimo ChatGPT jedná hlavně o Claude 3 Opus, dostupný za 18 EUR/měsíčně. Rozdíl oproti bezplatným modelům je ohromný. Používáte li jinou metodu pro uživatelský výzkum např. Focus Groups nebo obecně jakoukoli formu interview lze použít stejný postup jako popisuji. Realizační fáze výzkumu Při samotném výzkumu, což jsou Face2Face rozhovory, AI nepoužívám, budu tady mluvit o této fázi proto, že jsem v ní schopen ovlivnit, jak budu LLM moci využít ve fázi vyhodnocení. Abych mohl v dalších fázích LLM využít, potřebuji získat spolehlivý transcript rozhovoru se zkoumaným subjektem, člověkem. Nepoužívám transcript v reálném čase, ale převod z audiozáznamu rozhovoru. A právě kvalitní audiozáznam je nezbytný, abych dosáhl co nejmenší chybovosti přepisu a strávil s opravami co nejméně času. Ideální je používat diktafon, jaký mají novináři. V nejjednodušším případě lze použít mobilní telefon nastavený na rozhovor. Kdyby někdo chtěl být úplně high-tech, tak audio recorder se separovanými kanály jako používají filmaři. Co je pro transcript s nízkou chybovostí důležité? Zaprvé a platí to také pro jakýkoli rozhovor, kde chcete od někoho informace získat a ne se chlubit svými znalostmi, nechávejte mluvit hlavně zkoumaného člověka a pokud možno, vy vždy mluvte až on domluví. Dva hlasy přes sebe chybovost přepisu zvyšují. Snažte se mluvit zřetelně a pokud možno ne zběsile rychle a požádejte o to také respondenta. Vyvarujte se noise okolního prostředí a to i když máte zapnutý noise cancelation. V případě, že máte separované audio kanály odpadá problém s rozlišením hlasů. Takto zaznamenané rozhovory se zkoumanými osobami lze použít pro další AI zpracování nejjednodušeji. Někteří výzkumníci si kromě audiozáznamu píší poznámky, případně si poznámky dělá asistent. Cílem je zachytit si doplňující poznatky. Pro tento účel je ideální používat tablet s aplikací, která umožňuje rukou psané poznámky konvertovat rovnou do elektronického dokumentu. Já osobně tohoto multitaskingu nejsem schopen a soustředím se na samotný rozhovor. Vyhodnocení výzkumu Po uskutečnění rozhovorů se zkoumanými osobami, což je mimochodem včetně jejich organizace vždy nejdelší fáze, následuje zpracování a získání potřebných insights. Osobně dělám většinou 4-5 rozhovorů ve zkoumaném segmentu pakliže nejsou nějaké významné odchylky. Zpracování dělám většinou stejný den jako rozhovor. V případě, že jsem nepoužíval LLM, nedělal jsem přepis rozhovoru, ale po opakovaném poslechu záznamu jsem si začal rovnou psát požadované insights na základě předpřipravené struktury definované v Přípravné fázi. Vezmu li, že každý rozhovor trvá 60-80 minut zabralo mi celkové zpracování jednoho rozhovoru 3-4h. Po vyzkoušení různých modelů pro transcript rozhovoru jsem začal využívat modely od firmy Speechmatics. Podporují češtinu a speaker nebo channel diarization , tedy rozlišení mluvících osob, které je většinou absolutně bez problému. Nedělal jsem statistické šetření, které by stejně bylo poplatné hlasu a způsobu mluvení, věku aj. zkoumané osoby, ale troufnu si říci, že chybovost je do 5% (myšleno jako chyb ve slovech z celkového počtu slov). Zajímavější je stejně spíše čas potřebný na opravy. V průměru jsem potřeboval na opravu přepisu do 10 minut času. Uvážíme li, že pro Enhanced kvalitu je čas transkripce cca 20% originálního času, získal jsem digitální formu rozhovoru pro další zpracování za zhruba 20-25 minut. Navíc vzhledem k tomu, že určitě nerealizuji více jak 1 projekt měsíčně, je pro mě příjemné také zahrnutí 4h přepisu měsíčně zdarma. V posledním projektu jsem tak platil za přepis 5 rozhovorů 2,5 USD ( 1,04 USD/h) a měl je všechny k dispozici pro další práci za 2h. Vzhledem k tomu, že se rozhovorů dělá 3-10, nejsou náklady na transkripční tool významné. Jiné modely, které jsem pro transkripci zkoušel jsou open source model od OpenAI Whisper Large, a dále pak modely od Deepgram. Žádný z nich však nedosahoval tak nízké chybovosti jako Speechmatics, ani přesnosti rozlišení mluvících osob. Neplacené modely také nemají rozlišení mluvících osob. Whisper je ideální když někdo chce vytunit model speciálně pro své účely a přepisovat velké množství audia. Deepgram má výhodu v jednoduchém rozhraní, které je obdobné jako u Speechmatics a může s ním každý pracovat okamžitě. Využíváte li Google Cloud doporučil bych podívat se také na jejich model, který není špatný, ale musíte mít zřízen Google Cloud účet pro jeho využití. Cena je u všech placených modelů velmi obdobná (cca 1 USD/h), Speechmatics a Deepgram nabízí ale spoustu času zdarma. Google jen 60 minut měsíčně. Situace se v této oblasti stále mění a je možné, že ChatGPT bude lépe použitelný. Samozřejmě by to ulehčilo práci, když ho stejně používám na ostatní kroky výzkumu. Máme li digitalizovaný rozhovor můžeme přikročit k jeho zpracování s využitím LLM. Používám vždy stejné vlákno, ve kterém jsem připravoval rozhovory. Využiji ChatGPT a nahraji dokumenty s realizovanými rozhovory v MS Word formátu. ChatGPT 4 má dostatečné velké kontextové okno, aby dokázal pracovat nejednou s cca 300 stránkami textu, což je pro náš účel bohatě dostačující. Je potřeba si dát pozor na označení osob v textu. V promptu je důležité zadat kontext. Využívám Chain of Thoughts prompt, kdy nechám nejdříve zpracovat insights pro jednotlivé rozhovory a následně je zobecnit. Důležité je v promptu propojit přípravu výzkumu se zpracováním výsledků. Jsem samozřejmě schopen zahrnout do zpracování metodu Personas pakliže se v rámci výzkumu objevili významné odchylky u jednotlivých respondentů. Pro tyto účely je dobré mít u každé zkoumané osoby popis charakteristik vycházející primárně s definice segmentu a tyto vstupy zahrnout do zpracování. Podíváme li se na potřebný čas a náklady. Při využití LLM jsem schopen získat individuální insights a zobecněná insights během max. 4h práce. Do tohoto času počítám vlastní přemýšlení nad výstupy, nikoli že jen vezmu výsledek, který vytvoří LLM. Přidám li 2h na transkripci, jsem ve výsledku na celkovém čase 6h pro zpracování informací z 4-5 rozhovorů. Uvážím li, že bez LLM jsem pro 4-5 rozhovorů schopen mít stejný výstup za cca 2MD, jedná se o významnou časovou úsporu. Náklady jsou 20 USD za měsíční subscription účtu ChatGPT Pro a max. 8 USD za transkripci nezahrnuju li do kalkulace hodiny co dostanu zdarma. Chci li některé poznatky vizualizovat např. pomocí Mind maps nebo je li vhodné připojit mapu sociálních interakcí, opět mohu použít účet ChatGPT Pro. Jedním z GPT v GPT store jsou Diagrams, které mi umožní na základě slovního popisu vytvořit mapy v Miró. Aby byly použitelné musím je sice upravit, což mi zabere 15-20 minut práce na každou, ale určitě je to poloviční čas než kdybych je kreslil ve stejném nástroji od začátku, byť s použitím šablon nebo předchozí práce. Stejně tak příprava prezentace výstupů je jednodušší s využitím LLM. Rád používám nástroj Tome a poslední dobou konkurenci od Gamma a potřebné texty vytvářím opět s pomocí ChatGPT. Oba nástroje sice mají AI pro generování textu, ale přijde mi zbytečné platit za redundantní schopnosti a tak využívám hlavně jejich bezplatný účet. Další kroky Zjištěná insights jsou samozřejmě jen vstupem, který má sloužit pro vytvoření produktového zadání pro další fázi UCD, Define. Stejně jako slouží pro vytvoření dalších poznatků pro business analýzu. V tomto článku se však primárně věnuji User Research, takže nechám tuto část zase na jindy. Stejně tak mám rozmyšlené využití LLM pro B2B designový proces, kde lze AI zapojit do Design Thinking metodiky a rozšířit některé její fáze jako Research a Ideation. Závěr Jak tedy hodnotit přínos využití LLM v User Research fázi designového procesu? Musíme si otevřeně říci, že k podstatnému zkrácení této fáze využitím LLM nedojde. Nejdéle v této fázi trvá zajištění vhodných respondentů a organizace F2F interview, ne vždy se jedná o segmenty, kdy do nich spadá spousta lidí a než sesbíráme dostatek informací může to klidně trvat 2-3 týdny. Příprava a zvláště pak vyhodnocení spojené s prezentací výsledků se mohou ale zkrátit podstatně. Ušetřený čas, 2-3 MD pak lze využít k lepšímu přemýšlení o zjištěných informacích a definici zadání pro návrh samotného produktu. Pokud jde o kvalitu výstupů, je určitě plně srovnatelná s lidskými konzultanty. Hodně záleží na zkušenostech. LLM při správném použití vám dává větší spolehlivost výstupů, navíc při nákladech v řádu stokorun měsíčně. Absolutně nezbytnou je ale dobrá znalost, jak tyto nástroje správně využít. Bez správného používání budou výsledky tristní. Máte li zájem a zvažujete po přečtení tohoto článku, že byste začali přemýšlet o zapojení LLM do produktového designu, rád vás seznámím s mými zkušenostmi a poznatky podrobně. Neváhejte mě kontaktovat.
Leverage existing dataAll companies regularly collect a lot of data. Usage analytics, support conversations, direct feedback, user interviews and more.When starting a research on a new initiative, it would be a mistake to jump to generating more data stra
Designers eternal struggle is figuring out how to make software intuitive. I m starting to see AI being applied to help with this. How?A design is intuitive when we can match how the software works to how people think about the given concept/idea/problem
Raman microscopy is routinely used for characterization and identification of material, but the need for this molecular imaging and analysis technique has become increasingly important in biology.
projít na článekPředpokládané investiční výzvy NSA v roce 2024 Národní sportovní agentura v souladu se schváleným státním rozpočtem kapitoly předpokládá vyhlásit v roce 2024 následující dotační Výzvy na poskytnutí investičních dotací s předpokládaným časový harmonogra
Výzvy PRV č. 6 a 7 byly stornovány z technicko-administrativních důvodů.
projít na článek