HEIM: Analisis Kinerja Model Text-to-Image Modern

Dalam beberapa tahun terakhir, model text-to-image seperti DALL-E, Stable Diffusion, dan Midjourney telah berkembang pesat. Dulu, sulit membayangkan sebuah sistem AI bisa mengubah deskripsi teks menjadi gambar yang tampak realistis, tetapi sekarang model-model ini sudah digunakan di berbagai bidang, dari desain grafis hingga analisis medis. Kualitas gambar yang mereka hasilkan memang terus meningkat, tetapi di balik kecanggihannya, masih ada banyak pertanyaan besar. Apakah model-model ini memahami konteks dengan baik? Apakah mereka bisa menghindari bias atau menghasilkan gambar yang tidak pantas?

Sayangnya, sebagian besar evaluasi saat ini masih terpaku pada dua aspek utama: keselarasan teks-gambar dan kualitas visual. Padahal, ada banyak faktor lain yang menentukan apakah sebuah model benar-benar bisa diandalkan, seperti estetika, orisinalitas, dan bahkan efisiensi dalam menghasilkan gambar. Untuk mengisi celah ini, para peneliti merancang Holistic Evaluation of Text-to-Image Models (HEIM). sebuah benchmark yang mengukur performa model secara menyeluruh berdasarkan 12 aspek utama.

HEIM: Evaluasi Menyeluruh Model Text-to-Image

HEIM dirancang untuk melampaui evaluasi konvensional dengan menilai lebih banyak aspek yang mencerminkan penggunaan dunia nyata. Dalam studi ini, sebanyak 26 model text-to-image diuji menggunakan 62 skenario berbeda dengan 25 metrik penilaian.

Berikut adalah aspek utama yang dianalisis dalam HEIM:

• Keselarasan teks-gambar: Apakah gambar sesuai dengan deskripsi?
• Kualitas gambar: Seberapa realistis gambar yang dihasilkan?
• Estetika: Apakah gambar terlihat menarik?
• Orisinalitas: Apakah model menghasilkan gambar yang unik atau malah menjiplak?
• Penalaran: Mampukah model memahami jumlah objek dan relasi spasial dalam gambar?
• Pengetahuan: Seberapa baik model memahami konsep dunia nyata?
• Bias: Apakah model cenderung merepresentasikan kelompok demografis tertentu lebih dari yang lain?
• Toksisitas: Seberapa sering model menghasilkan gambar yang tidak pantas?
• Keadilan: Apakah performa model berbeda untuk kelompok sosial yang berbeda?
• Ketahanan terhadap gangguan: Apakah model tetap akurat saat prompt sedikit diubah?
• Multibahasa: Apakah model mampu memahami dan menghasilkan gambar dari deskripsi dalam berbagai bahasa?
• Kecepatan: Berapa lama waktu yang dibutuhkan model untuk menghasilkan gambar?

Metode Evaluasi: Manusia vs. Mesin

HEIM mengombinasikan evaluasi berbasis algoritma dengan penilaian langsung dari manusia.

• Metrik otomatis seperti CLIPScore digunakan untuk menilai keselarasan teks-gambar, sementara FID mengukur seberapa realistis gambar yang dihasilkan. Selain itu, sistem deteksi watermark juga digunakan untuk menguji orisinalitas.
• Evaluasi manusia dilakukan untuk menilai aspek-aspek yang lebih subjektif seperti estetika dan kejelasan gambar. Tim penilai mengevaluasi ribuan sampel untuk memastikan hasil yang lebih akurat dibandingkan sekadar mengandalkan algoritma.

Dengan kombinasi metode ini, HEIM berusaha memberikan gambaran lebih utuh mengenai kekuatan dan kelemahan masing-masing model.

Hasil Evaluasi: Tidak Ada Model yang Sempurna

Beberapa temuan menarik muncul dari studi HEIM:

• Tidak ada satu model pun yang unggul di semua aspek. Misalnya, DALL-E 2 paling baik dalam keselarasan teks-gambar, tetapi model seperti Openjourney lebih unggul dalam estetika.
• Metrik otomatis sering kali tidak mencerminkan penilaian manusia. Model yang mendapat skor tinggi dalam FID atau CLIPScore belum tentu menghasilkan gambar yang dinilai menarik oleh manusia.
• Beberapa aspek masih perlu ditingkatkan. Model-model saat ini masih lemah dalam memahami konteks dan multibahasa. Selain itu, bias dan toksisitas masih menjadi masalah besar.

Masa Depan Model Text-to-Image

Dengan hasil ini, ada beberapa langkah yang bisa diambil untuk membuat model generasi gambar lebih baik di masa depan:

• Menyeimbangkan performa di berbagai aspek. Pengembang harus mencari cara untuk meningkatkan lebih dari sekadar kualitas gambar, tetapi juga aspek etika dan keadilan.
• Meningkatkan pemahaman konteks dan multibahasa. Model harus lebih peka terhadap variasi bahasa dan kompleksitas hubungan dalam gambar.
• Mengurangi bias dan konten berbahaya. Ini bukan sekadar isu teknis, tetapi juga etis, model harus dirancang agar tidak memperkuat stereotip atau menghasilkan konten yang berbahaya.

HEIM menjadi acuan baru bagi komunitas AI untuk terus menyempurnakan teknologi text-to-image. Dengan memahami di mana letak kekuatan dan kelemahan model saat ini, kita bisa membangun AI yang lebih akurat, adil, dan benar-benar bermanfaat bagi semua pengguna.