R&D-project: beeldherkenning
We vroegen het ons al een tijdje af: wat als onze Tellmies niet alleen kunnen voelen en praten, maar ook kunnen kijken? Nu weten we het, want afstudeerstagiair Jochem ging ermee aan de slag en maakte een hond met een verdraaid scherpe blik!
Als case-study kozen we voor de hond van Van Gogh, die op zoek is naar zijn baasje.
Je gaat met de hond op stap en laat hem allerlei schilderijen zien. De hond herkent de zelfportretten van Vincent van Gogh. Hij is natuurlijk heel blij zijn baasje te zien en vertelt je bij het portret iets over zijn leven met Vincent.
Leuk weetje: toen Van Gogh in Zundert woonde, had hij ook echt een hond die bij hem woonde!
Interactie ontwerp
Het toevoegen van beeldherkenning aan onze Tellmies vereiste een nieuw interactie ontwerp. Immers: wanneer moet de hond gaan ‘kijken’ en iets zeggen? Wat als hij iets ziet dat hij niet herkent? Hoe zorgen we ervoor dat de gebruiker weet wanneer de hond aan het kijken is?
We hebben gekozen voor het herkennen van een drietal verschillende soorten visuele input. Als eerste herkent de hond natuurlijk de zelfportretten. De hond reageert hier enthousiast op met een leuk verhaaltje over zijn leven met Vincent.
Daarnaast herkent de hond ook andere schilderijen. Geen zelfportretten van Vincent dus, maar een landschap of een ander portret. De hond laat dan weten dat dit niet zijn baasje is.
Tot slot herkent de hond ook ‘niet-schilderijen’, waarbij de hond helemaal niet reageert. Immers, als je gewoon even stilstaat, maar niet naar een schilderij kijkt, wil je niet dat de hond de hele tijd gaat zeggen dat dit niet Vincent is, dat zie je zelf ook wel.
“Mag ik even goed kijken?”
Als ’trigger’ om de visuele input te gaan verwerken, hebben we kozen voor het even stilhouden van de hond voor een aantal seconden. Dit is goed te detecteren met een bewegingsdetector en voelt ook logisch aan voor de gebruiker: de hond wil het schilderij immers ‘even goed kunnen bekijken’.
Technologie
Na een aantal tests, hebben we gekozen voor een razendsnelle chip die nog maar net op de markt is en die – naast vele andere spannende functies – bijna tien keer per seconde visuele input kan herkennen.
De vooraf aangeleerde objecten zijn gecodeerd in een representatie van een menselijk brein; een neuraal netwerk, met afbeeldingen die worden aangeleverd door de camera in de neus van de hond.
De objecten worden aangeleerd door de plekken waar je met de hond rondloopt, vooraf te fotograferen en labelen. Zo kunnen we onderscheid maken tussen objecten waar de hond iets over moet zeggen (schilderijen), en objecten waar de hond niet op reageert, zoals vloeren, plafonds, tafels, deuren en mensen. Dit gaat gelukkig in een rap tempo, dus daar zijn we slechts een paar uur mee bezig, afhankelijk van de diversiteit van de ruimtes die in de tour betrokken zijn.
De afbeeldingen worden aangeleverd in kleur, zodat niet alleen de contouren, maar ook de kleur als onderscheidende factor wordt ‘gezien’. Dit verkleint de foutmarges aanzienlijk hebben we gemerkt.
Het resultaat: een superslim apparaatje, onzichtbaar weggewerkt in de kop van de hond.
Furware
Ook in deze nieuwe Tellmie wilden we de technologie onzichtbaar wegwerken. De huidige hond hebben we gekocht bij de kringloop (en gewassen!).
De camera paste precies in zijn neus en de hardware zit in zijn kop en lijf.
Prima voor een demonstratie!
Ook een idee gekregen voor een audiotour met beeldherkenning? Neem contact met ons op!
