2020 : FACIAL INPAINTING MENGGUNAKAN GENERATIVE ADVERSARIAL NETWORK DENGAN MEMPERTAHANKAN KETERKAITAN SPASIAL

Dr.Eng. Nanik Suciati S.Kom., M.Kom.
Dr.Eng. Chastine Fatichah S.Kom, M.Kom

External link

Type

RESEARCH

Keywords

-


Abstract

Facial inpainting merupakan proses merekonstruksi kembali bagian yang hilang pada citra wajah sedemikian sehingga citra hasil rekonstruksi dapat tetap terlihat realistis, serta pihak pengamat tidak dapat mengenali bagian yang merupakan hasil rekontsruksi. Dalam melakukan facial inpainting diperlukan diperlukan pengetahuan perseptual wajah. Beberapa algoritma inpainting konvensional mempertimbangkan kemiripan antara bagian wajah yang hilang/rusak dengan area sekitarnya. Seiring dengan perkembangan teknologi dan ketersediaan data, konsep deep learning juga diaplikasikan pada permasalahan facial inpainting. Beberapa penelitian sebelumnya menggunakan jenis generative network, yaitu Generative Adversarial Network (GAN) untuk melakukan facial inpainting. Secara umum GAN memberikan hasil yang cukup baik meskipun terdapat dua masalah yang memerlukan perbaikan. Masalah pertama merupakan masalah yang timbul ketika inpainting dilakukan pada citra wajah yang miring (unaligned face). Hasil inpainting terlihat tidak realistis karena posisi wajah tidak dalam kondisi lurus. Masalah lain yang muncul adalah ketika terdapat keterkaitan spasial antara bagian yang hilang dengan bagian sekitarnya. Misalnya, inpainting pada bagian bibir yang seharusnya berwarna merah mungkin menghasilkan bibir dengan warna berbeda. Pada penelitian ini diajukan metode untuk melakukan facial inpainting berdasarkan deep learning dengan menggunakan GAN dengan heat-map landmark, semantic segmentation, dan feature reconstruction loss untuk mengatasi dua permasalahan tersebut. Feature reconstruction loss merupakan loss yang digunakan untuk mempertahankan keterkaitan spasial, dengan menggunakan pre-trained network VGG-Net. Heat-map landmark dan semantic segmentation loss yang diperoleh dengan menggunakan pre-trained network digunakan untuk mengatasi masalah pada input berupa citra unaligned face. Proses learning dilakukan dengan skenario curriculum learning. Evaluasi dilakukan dengan membandingkan hasil yang diperoleh dari metode yang diajukan dengan metode pendahulunya, baik secara kuantitatif maupun kualitatif. Penilaian kuantitatif dilakukan berdasarkan nilai PSNR, SSIM, serta Identity Distance. Sementara penilaian kualitatif dilakukan dengan proses observasi gambar yang diperoleh secara visual. Hasil dari penelitian ini diharapkan dapat memberikan kontribusi keilmuan di bidang visi komputer, terutama dalam penerapan teknik deep learning pada perbaikan citra. Hasil facial inpainting dapat dimanfaatkan untuk aplikasi identifikasi wajah dalam suatu sistem pengawasan berbasis kamera/video. Luaran penelitian adalah artikel ilmiah yang dipublikasikan pada Jurnal Internasional Terindeks (Q2 atau Q1) dan buku tesis.