Článek
Požádáte umělou inteligenci o vytvoření webových stránek a za chvíli máte hotový návrh. Vypadá to jako ukázka její vyspělosti. Jenže k čemu je funkční web, pokud vůbec neodpovídá potřebám vašeho podnikání? Podobné situace odhalují zajímavou slabinu současných chatbotů. Dokážou vypracovat složité úkoly, ale ne vždy správně rozpoznají, co od nich člověk skutečně očekává.
Právě schopnost poradit si s neúplným zadáním zkoumala technologická novinářka Mahnoor Faisal z magazínu XDA. Během týdenního experimentu používala ChatGPT, Claude a Gemini s minimem vstupních informací. Všem třem službám předkládala stejné požadavky a sledovala, zda dokážou samostatně nabídnout vhodné řešení.
Výsledky překvapily především rozdílným přístupem jednotlivých asistentů. ChatGPT se snažil nabídnout co nejvíce pomoci, Claude častěji zvažoval potřebu dalších informací a Gemini podle hodnocení autorky obvykle poskytoval jednodušší odpovědi. Ani jeden přístup však nebyl ideální pro všechny situace.
2792 (1)
Hotová odpověď ještě neznamená vyřešený problém
Představme si člověka, který vybírá zařízení pro zapisování poznámek. Zeptá se AI, zda je lepší klasický iPad, nebo elektronický zápisník s displejem typu E Ink. Na první pohled jde o jednoduché srovnání. Bez znalosti způsobu používání však není možné rozhodnout, které zařízení mu bude skutečně vyhovovat.
Elektronický inkoust nabízí velmi dobré podmínky pro čtení a u vhodně vybavených modelů také ruční poznámky. iPad naproti tomu poskytuje širší nabídku aplikací, multimediální funkce a možnost používat více druhů pracovních nástrojů. Samotný výčet výhod ale ještě neodpovídá na otázku, co si má konkrétní člověk koupit.
V experimentu XDA právě zde vynikl ChatGPT. Namísto pouhého srovnání dokázal nabídnout interaktivní dotazník, pomocí kterého si uživatel upřesnil své potřeby. Claude připravil praktické porovnání, zatímco Gemini podle autorky zůstal především u vysvětlení rozdílů mezi zařízeními.
Ještě výmluvnější byla tvorba firemního webu. ChatGPT se okamžitě pustil do práce a vytvořil použitelný HTML soubor. Claude se nejprve zajímal o charakter podnikání, protože bez těchto informací nemohl spolehlivě určit vhodnou podobu stránek. Po upřesnění zadání následně připravil návrh pro fiktivní kavárnu.
Zde se ukázalo, že rychlost nemusí být výhodou. Pokud chatbot nezná zaměření společnosti, její zákazníky ani požadované funkce, musí si řadu skutečností domyslet. Výsledek sice může vypadat profesionálně, ale uživatel nakonec stráví další čas jeho opravováním.
Odlišnosti se projevily také při vysvětlování programátorské rekurze. ChatGPT a Claude nabídli podrobnější výklad, přičemž ChatGPT přidal programový příklad a ověření znalostí. Gemini zvolil stručnější vysvětlení. To samo o sobě nemusí být chyba, pokud uživatel potřebuje pouze základní definici. Začátečník, který se chce princip skutečně naučit, však může potřebovat názornější postup.
Zajímavá je v této souvislosti také oficiální dokumentace Googlu. Ta u modelů Gemini upozorňuje, že mohou standardně upřednostňovat stručné a přímé odpovědi. Kdo chce podrobnější vysvětlení, měl by svůj požadavek výslovně uvést. To pomáhá vysvětlit, proč nemusí být nejdelší odpověď automaticky nejlepším měřítkem kvality.
Dobrý chatbot musí vědět, kdy se zeptat
V souvislosti s používáním umělé inteligence se často mluví o takzvaném prompt engineeringu, tedy schopnosti správně formulovat instrukce. Některé návody doporučují podrobná zadání, určení role asistenta, předepsání struktury a uvedení nejrůznějších omezení. V praxi však běžný uživatel nechce studovat pravidla komunikace s jazykovým modelem pokaždé, když potřebuje poradit.
Moderní asistenti by proto měli zvládat i přirozeně formulované požadavky. Zároveň ale musí rozlišovat mezi informacemi, které mohou bezpečně předpokládat, a těmi, které zásadně ovlivňují správnost řešení.
Pokud například požádáme o návrh jednoduché pozvánky na oslavu, nemusí být problém, když AI sama zvolí základní vzhled a formulace. U firemního webu, právního dokumentu nebo technického postupu už mohou nesprávné předpoklady způsobit podstatně větší komplikace.
Podobně je tomu při plánování cest. Chatbot dokáže sestavit třídenní program návštěvy Tokia i bez dalších podrobností, ale nezná-li rozpočet, fyzické možnosti cestujícího nebo jeho zájmy, nemusí být výsledný itinerář vhodný. Nejde přitom o nedostatek informací o samotném městě. Chybějí údaje o člověku, pro kterého má plán vzniknout.
Řešení nemusí spočívat v psaní stále delších příkazů. Často stačí jasně určit cíl a doplnit jednoduchou instrukci, aby se chatbot před zahájením práce zeptal na zásadní chybějící informace. U jiných úkolů naopak dává smysl požadovat rovnou první návrh, který následně společně upravíme.
Takový postup odpovídá i současným doporučením OpenAI a Anthropicu. Obě společnosti zdůrazňují význam srozumitelných instrukcí a kontextu, nikoliv nutnost používat komplikované formulace. U složitějších požadavků doporučují průběžné upřesňování výsledků.
Experiment magazínu XDA má ovšem své hranice. Zahrnoval pouze pět typů úkolů a závěry vycházejí z konkrétních zkušeností autorky. Ta sice využila další umělou inteligenci k anonymnímu posouzení odpovědí, takový postup však nenahrazuje rozsáhlé nezávislé testování. Není proto možné na jeho základě prohlásit Gemini obecně za nejhorší chatbot nebo ChatGPT za nejlepší volbu pro každou činnost.
Z praktického hlediska přináší srovnání jinou informaci. Při hodnocení AI nestačí sledovat, zda odpověděla správně nebo vytvořila požadovaný soubor. Důležité je také množství následné práce, kterou musí uživatel vykonat, aby získal opravdu použitelný výsledek.
Právě proto může být někdy nejhodnotnější odpovědí umělé inteligence obyčejná doplňující otázka. Zejména tehdy, když by okamžitě vytvořené řešení stálo na nesprávných předpokladech.
Zdroj: