Be My Eyes, en app som kopplar samman synskadade användare med seende volontärer för att hjälpa med uppgifter i vardagen, introducerar nu en "virtuell volontär"-funktion som drivs av artificiell intelligens (AI).

Integrerar GPT-4:s multimodala kapabilitet

Den nya versionen av appen är den första som integrerar GPT-4:s multimodala kapabilitet, vilket gör att den inte bara kan kommunicera intelligent utan också undersöka och förstå bilder.

Användare kan skicka bilder via appen till en AI-drivet virtuell volontär som besvarar alla frågor om bilden och ger omedelbar visuell hjälp för olika uppgifter.

Kontextmedveten AI-hjälp

Det som särskiljer Virtual Volunteer-verktyget från annan bild-till-text-teknik som finns idag är kontext, med en djupare förståelse och konversationsförmåga som ännu inte setts inom det digitala assistentfältet.

Verktyget kan till exempel erbjuda receptförslag baserat på innehållet i en användares kylskåp och ge en steg-för-steg-guide om hur man lagar dem.

Mänskliga volontärer förblir viktiga

Om verktyget inte kan besvara en fråga, kommer det automatiskt att erbjuda användarna möjligheten att ansluta via appen till en seende volontär för hjälp. Mänskliga volontärer kommer att fortsätta spela en viktig roll i Be My Eyes-appen.

Utvidgar tillgänglighet för företag

Den nya funktionen syftar också till att erbjuda företag ett bättre sätt att hjälpa sina kunder genom att prioritera tillgänglighet. Be My Eyes planerar att börja beta-testa funktionen med företagskunder de kommande veckorna, med bredare tillgänglighet senare i år.

Stängd beta-testning och framtida utveckling

För närvarande är funktionen i en stängd beta och testas för feedback bland en liten grupp användare. Teamet på Be My Eyes arbetar nära med sin community och OpenAI för att definiera och styra verktygets kapabiliteter under dess fortsatta utveckling.

När funktionen blir allmänt tillgänglig under de kommande månaderna kommer Be My Eyes att fortsätta lyssna på sin community och prioritera säkerhet samtidigt som de arbetar för att förbättra tekniken och användarupplevelsen.

Läs mer:

GPT-4’s new capabilities power a ‘virtual volunteer’ for the visually impaired

Be My Eyes, an app that lets blind folks ask people to describe what they see, is getting a ‘virtual volunteer’ for AI-powered help any time.

TechCrunchDevin Coldewey

Introducing Our Virtual Volunteer Tool for People who are Blind or Have Low Vision, Powered by OpenAI’s GPT-4

We are thrilled to announce Be My Eyes Virtual Volunteer™, the first-ever digital visual assistant powered by OpenAI’s new GPT-4 language model.

Blog Article,

Be My Eyes

Be My Eyes uses GPT-4 to transform visual accessibility.