Leeftijd:
Etniciteit:
Vreugde
Verdriet
Walging
Afkeer
Woede
Angst
Verassing
Gevoelskleur
Expressiviteit
Attention
Brow Furrow
Brow Raise
Cheek Raise
Chin Raise
Dimpler
Eye Closure
Eye widen
Inner Brow Raise
Jaw Drop
Lid Tighten
Lip Corner Depressor
Lip Press
Lip Pucker
Lip Stretch
Lip Suck
Mouth Open
Nose Wrinkle
Smile
Smirk
Upper Lip Raise

Fictieve casus beschrijving

Om de toenemende in- en uitstroom aan onze grenzen op te vangen wordt er vanaf heden gebruik gemaakt van een gezichtsherkenning systeem. Dit systeem scant het gezicht en maakt een beslissing of de passant door mag of gecontroleerd moet worden. Er is discussie ontstaan over de transparantie van dit systeem. De volgende varianten van het systeem zijn beschikbaar:



Trainingsdata

Toelichting data: Link

Data is niet inzichtelijk, echter probeert de derde partij uitgebreid toe te lichten hoe de data eruit ziet.



Deep learning variant

Eigenschappen algoritme
  • Transparantie: Laag
  • Prestatie: (potentieel) Zeer hoog

  • Input: Ruwe video data
  • Output: Doorlopen of controleren
Nadere toelichting

Er zijn studies gestart om te onderzoeken of Deep Learning algoritmes transparant gemaakt kunnen worden. Echter tot op heden zijn er enkel bescheiden succesjes behaald:



Deep learning + Rule Based 1

Eigenschappen algoritme
  • Transparantie: Matig
  • Prestatie: (potentieel) Hoog

  • Input: Ruwe video data
  • Output: Emotie
Nadere toelichting

Het deep learning algoritme geeft een waarschijnlijkheidswaarde op verschillende emoties. Vervolgens wordt door middel van een gewogen gemiddelde een gevoelskleur toegekend. Deze gevoelskleur bepaald uiteindelijk de uitkomst van het systeem.



Deep learning + Rule Based 2

Eigenschappen algoritme
  • Transparantie: Gemiddeld
  • Prestatie: Gemiddeld

  • Input: Ruwe video data
  • Output: Facial Action Codings System waarschijnlijkheidswaardes
Nadere toelichting

Het deep learning algoritme calculeert of er een bepaalde micro-expressie (FACS, toelichting hier) zichtbaar is bij de gebruiker. Deze micro-expressies zijn vervolgens om te zetten naar een emotie (Uitleg hier. Vervolgens wordt hetzelfde proces als in het voorgaande systeem gehanteerd.

Machine Learning

Eigenschappen algoritme
  • Transparantie: Relatief hoog
  • Prestatie: Laag

  • Input: Geëxtraheerde kenmerken uit ruwe video data
  • Output: Facial Action Codings System waarschijnlijkheidswaardes
Nadere toelichting

Uit de ruwe video data worden verschillende "features" of kenmerken (toelichting)geëxtraheerd. Vervolgens worden deze kenmerken als input genomen van het Machine Learning algoritme, die vervolgens een FACS waarschijnlijkheidswaarde als output heeft. Vervolgens begint hetzelfde proces als in voorgaande systemen.

Additionele uitleg

Visuele uitleg Facial Action Coding System (FACS) Link

Deeplearning toelichting Link

Er wordt deeplearning toegepast, maar is dit in dit geval een probleem?

Uitleg berekening emotie vanuit gezichtsuitdrukking Link

Dit geeft veel handvaten om te toetsen of deze "mapping" klopt.

Disclaimer: Niet alle algoritmes werken op de achterkant precies zoals beschreven hierboven. Voor deze PoC maakt dit echter niet uit, want het gaat om een beter beeld te krijgen bij de verschillende algoritmes en de eigenschappen die dit met zich meebrengt.