Be My AI – popis obrázkov pomocou umelej inteligencie

Be My AI je zatiaľ beta funkcia aplikácie Be My Eyes, o ktorej som písala nedávno. Je to obdoba Chat GPT natrénovaná tak, aby po vyfotení poskytla popis obrázka. Do akej miery sa môžeme na poskytnutý popis spoľahnúť? Dá sa jej veriť?

Ako Be My AI funguje?

Po uvoľnení pre verejnosť funkciu nájdete ako jednu zo záložiek na spodnej strane obrazovky Be My Eyes. Pre aktiváciu stačí na ňu poklepať.

Prostredie je veľmi jednoduché a priamočiare. Po otvorení takmer celý displej zaberá záber zo zadného fotoaparátu. Zatiaľ nie je možné prepnúť na predný, teda sami seba analyzovať nemôžete. 🙂 V spodnej časti tesne nad záložkami nájdete tlačidlo Take picture – vyfotiť obrázok.

Princíp je teda jednoduchý: namierite fotoaparát telefónu na to, čo chcete popísať, a vyfotíte. Potom už len počkáte, kým prebehne analýza. Počas procesu budete počuť charakteristický zvuk a po dobehnutí screen reader sám prečíta vygenerovaný popis v slovenčine respektíve v jazyku telefónu. Nie je taký stručný a neurčitý, ako ste zvyknutí napríklad z Envision AI alebo Google Lookoutu. Aplikácia sa snaží obrázok popísať čo najdetailnejšie.

Popis nájdete aj v textovej forme na displeji. Ak vám nestačí, môžete AI položiť doplňujúce otázky poklepaním na tlačidlo Ask more v pravej spodnej časti obrazovky.

Do editačného poľa s popisom Reply (odpovedaj) zapíšete text otázky a poklepete na Send message.

Ak nastane situácia, že na položenú otázku Be My AI nevie odpovedať, pretože záber požadovaný detail neobsahuje, môžete obrázok vyfotiť znovu cez tlačidlo Add picture vľavo vedľa editačného poľa.

Po skončení chatu (tlačidlom Späť na telefóne) si aplikácia vypýta potvrdenie, či chcete konverzáciu naozaj ukončiť. Pre skončenie poklepete na tlačidlo Áno, tlačidlom Nie prejdete naspäť dochatovacieho okna. Otázka je v angličtine, tlačidlá v slovenčine.

Príklady a spoľahlivosť popisov

Ponúkam niekoľko cvičných fotografií spolu s popisom, ktorý vygenerovala Be My AI. Je veľká škoda, že na Androide fotografie nejdú zdieľať do Be My Eyes priamo z galérie. Preto je možné, že sa zábery budú mierne líšiť. Fotografie zámerne nijako neštylizujem, nie sú ani upravené okrem kontrastu a zmenšenia kvôli rýchlosti načítania článku, ak to je potrebné.

Fotografia 1

Opis vygenerovaný Be My AI:
Na obrázku je notebook položený na drevenom stole. Klávesnica je čierna s bielymi písmenami a červeným TrackPointom (pointing stick) medzi klávesami G, H a B. Pod klávesnicou je touchpad s červeným akcentom na hornom okraji. V ľavom dolnom rohu notebooku sú dve nálepky: Intel Core i7 8. generácie a NVIDIA GeForce. Na obrazovke sú viditeľné ikony rôznych programov a aplikácií na pracovnej ploche a spodná lišta s ďalšími ikonami a digitálnymi hodinami v pravom dolnom rohu. V pravom hornom rohu obrazovky je umiestnený kurzor myši.

Fotografia 2

Popis od Be My AI:
Na obrázku je žltý hrnček s bielym okrajom a rúčkou. Na hrnčeku je nápis „Hej ty! Áno ty, usmej sa“ spolu s obrázkom usmievajúcej sa tváre – emoji. Hrnček stojí na červenom povrchu, pravdepodobne na stole.

Funkcia Ask more

V príkladoch opisov vygenerovaných pomocou Be My AI budem pokračovať, ale s doplňujúcimi otázkami.

Fotografia 3

Opis vygenerovaný Be My AI:
Na obrázku je vrchná časť jogurtu značky TESCO. Je to biely jogurt so slovenského mlieka. Balenie má hmotnosť 150 gramov. Farba vrchnáka je modrá s bielym textom.

Ja: Čo je na vrchnáku napísané?

Be My AI: Na vrchnáku je napísané:
TESCO
JOGURT
SLOVANSKÝ
BIELY
150g
Návrh na servírovanie.

Ja: Aký je dátum spotreby?

Be My AI: Ospravedlňujem sa, ale na obrázku nie je vidieť dátum spotreby. Mohli by ste poskytnúť nový obrázok, kde bude dátum spotreby viditeľný?

Správny dátum exspirácie sa mi nepodarilo zistiť ani pomocou špecializovanej aplikácie Zuzanka, ani s Google Lookout a Envision AI.

Fotografia 4

Popis vygenerovaný Be My AI:
Na obrázku je ovládací panel práčky značky Electrolux. Panel zobrazuje rôzne informácie a nastavenia:
– V ľavom hornom rohu je ikona a text „Teplota“ s číslom 60 a ikonou teplomera.
– Vedľa nej je ikona a text „Rýchlosť otáček“ s číslom 800 a ikonou otáčajúceho sa kolieska.
– V strede je veľké oranžové kruhové pole s číslom 3:00, čo naznačuje zvyšujúci sa čas.
– V pravom hornom rohu sú ikony a texty pre rôzne funkcie práčky: „Predpírka“, „Odložený Start“, „Snadné Žehlení“ a „Extra Máčaní“.
– Pod týmito ikonami je text „INVERTERTECHNOLOGY“.
– Pod displejom sú tlačidlá: „TimeManager“ s ikonou hodín a plus a mínus tlačidlami na nastavenie, a tlačidlo „Start/Pauza“ s ikonou prehrávania a pauzy.
– V dolnej časti je logo „Electrolux“ a informácia o kapacite a rýchlosti odstreďovania: „6KG 1300rpm“.

Ja: Ktoré tlačidlo slúži na zmenu teploty?

Be My AI: Na obrázku nie je vidieť žiadne špecifické tlačidlo určené na zmenu teploty. Pre zmenu teploty by ste mohli potrebovať stlačiť tlačidlo alebo kombináciu tlačidiel, ktoré nie sú na obrázku zreteľne viditeľné. Odporúčam stlačiť tlačidlo „Zavolaj dobrovoľníkovi“ pre presné pokyny.

Ja: Je na displeji vidno dotykové tlačidlá alebo prvky?

Be My AI: Áno, pod displejom sú dotykové tlačidlá. Na ľavej strane sú tlačidlá „TimeManager“ s ikonou hodín a plus a mínus tlačidlami na nastavenie. Na pravej strane je tlačidlo „Start/Pauza“ s ikonou prehrávania a pauzy.

Ja: Je na displeji tlačidlo na zníženie alebo zvýšenie otáčok?

Be My AI: Na obrázku nie je vidieť žiadne špecifické tlačidlo určené na zvýšenie alebo zníženie otáčok. Tlačidlá „TimeManager“ s plus a mínus môžu slúžiť na nastavenie rôznych funkcií práčky, ale bez ďalších informácií nie je možné určiť, či tieto tlačidlá slúžia na zmenu otáčok. Odporúčam stlačiť tlačidlo „Zavolaj dobrovoľníkovi“ pre presné pokyny.

Ja: Popíš mi všetky prvky v rohoch displeja.

Be My AI: V ľavom hornom rohu: ikona a text „Teplota“ s číslom 60 a ikonou teplomera.
V pravom hornom rohu: ikony a texty pre rôzne funkcie práčky – „Predpírka“, „Odložený Start“, „Snadné Žehlení“ a „Extra Máčaní“.
V ľavom dolnom rohu: text „Rýchlosť otáček“ s číslom 800 a ikonou otáčajúceho sa kolieska.
V pravom dolnom rohu: nie sú žiadne prvky, je to prázdne miesto.

Záver

Be My AI je užitočná funkcia, pomocou ktorej sa bez pomoci viete dostať k popisom obrázkov. Tie sú síce pomerne presné, ale často sa môžu líšiť v detailoch, viď fotografia č. 2. Prekvapil ma presný opis fotografie č. 4, aj keď je škoda, že ikony pri jednotlivých údajoch Be My AI nerozpoznala ako dotykové tlačidlá.

Predpokladám, že časom, keď sa AI naučí nefabulovať a neposkytovať odpoveď za každú cenu, funkcia dobre poslúži aj na dopĺňanie alternatívneho popisu obrázkov. Aj v tom prípade však bude potrebná ľudská kontrola, aby sme z fotografie dostali relevantné a pravdivé informácie. Práve na to poslúži tlačidlo Zavolaj dobrovoľníkovi pod každou odpoveďou Be My AI.

Môj osobný pohľad: Dôveruj, ale preveruj. Je potrebné vždy dbať na to, že AI vám chce odpovedať za každú cenu. Ak odpoveď nepozná, môže, ale nemusí si vymýšľať.

Ak sa chcete niečo spýtať, píšte na Facebooku, e-mailom alebo do komentárov pod článkom. Testovali ste už nejaký druh AI? V akých situáciách a ako to dopadlo? Dajte mi vedieť.

Podpora sa cení
Presne pod týmto nadpisom nájdete na webe spôsoby, akými môžete moju tvorbu podporiť. Ďakujem.