Artifact: An Emotional Artifical Intelligence

“artifact”, Hakan Gündüz

2019, 2*2.1 LED Screen, Custom Software, IR Cam

Artifact is a realtime human computer interactive artificial intelligence application, which creates unique oil painting visuals by detecting the basic emotional situations (fear, peace, happiness, misery etc.) of visitors via their facial expressions. Artifact; grounds on creating an artwork by using an AI application and if it can make it by realizing emotions. It aims transition between emotional situation via producing visuals according to the facial expression. Labeled according to emotional reactions and determined as oil painting visual from Behance Artistic Media Dataset and Wikiart Emotions Dataset has been used to prepare artifact’s data set. Data set classified as representation of 4 basic emotions and taking the reference of J. A. Russle’s two dimensional emotion model. Visual generation done by training an artificial neural network called the SNcGAN (Spectral Normalisation + Conditional GAN) with our data set. SNcGan is a generative adversarial network model. With this machine learning system, we accomplished realization of different emotions by “artifact” and generating new oil painting visuals according to the emotions. In this interactive installation, faces have been recognised via camera shooting by using face recognition algorithm with the help of OpenCV. CNN type neural networks and FER2013 data-sets have been used realtime to detect the emotional situation of the facial expressions. This emotion values are transmitted to the generative network of GAN model and the neural network generates realtime new oil paintings concurrently switches between it’s learned emotional structures. At the end, the law resolution generated visuals are transformed to bigger resolution versions via a neural network called as srgan (Super- Resolution Using a Generative Adversarial Network ) and screened in realtime.

“artifact”, Hakan Gündüz

2019, 2*2.1 LED Ekran, Özel Yazılım, IR Kamera

Yüz ifadelerinden korku, huzur, mutluluk, üzüntü gibi temel duyguları algılayarak ziyaretçisine emsalsiz yağlı boya resim görselleri üreten “artifact”, makine-insan etkileşimli eş zamanlı bir yapay zeka uygulamasıdır. Bir yapay zeka uygulamasının, sanat eseri (yağlı boya tablo görseli) üretebilmesi ve bunu duyguların ayırdına vararak yapabilmesi konusunu temel alırken; yüz ifadesinden duygu durumumuzu algılayarak, anlık olarak ürettiği görselde duygu durumları arasında geçiş yapabilmesini amaçlar. “artifact”, ağırlıklı olarak Behance Artistic Media Dataset ve Wikiart Emotions Dataset’ ten yararlanılarak, duygulara göre etiketlenmiş ve yağlı boya tablo olarak belirlenmiş binlerce resimden bir veri seti oluşturularak hazırlandı. Veri seti, J. A. Russell’ın iki boyutlu duygu modeli referans alınarak, dört temel duygu durumunu temsil edecek şekilde sınıflara ayrıldı. Görüntü üretimi için, yapay sinir ağı algoritmaları arasında yer alan çekişmeli üretici ağ modellerinden SNcGAN (Spectral Normalization + Conditional GAN) oluşturulan bu veri seti ile eğitildi.Böyle bir makine öğrenimi ile “artifact”in, duyguları ayırt edebilmesi ve istenilen duygu durumuna göre yeni yağlı boya tablo görselleri üretebilmesi sağlandı. Bu interaktif yerleştirmede, OpenCV yardımı ile yüz algılama algoritması kullanılarak kameranın algıladığı görüntülerden yüzler belirlenir ve Fer2013 veri seti ile oluşturulmuş model ve CNN tipi yapay sinir ağı kullanarak kişilerin yüz ifadelerindeki duygu durumları eşzamanlı olarak tespit edilir. Tespit edilen bu duygu değerleri, GAN modelinin üretici ağına iletilir ve üretici ağ da bu değerlere karşılık öğrendiği yapıda anlık yeni görseller üretirken, mevcut duygu durumuna ait öğrendiği yapılar arasında da geçişler yapar. Son olarak da, düşük çözünürlüklü olarak elde edilen bu yeni görseller farklı bir yapay sinir ağı modeli olan srgan (Super-Resolution Using a Generative Adversarial Network) tarafından yüksek çözünürlüklü hale getirilerek gerçek zamanlı olarak ekrana verilir.