GAN - Как да се измери ефективността на GAN?

Снимка от Dawid Małecki

В GANs обективната функция за генератора и дискриминатора обикновено измерва колко добре се справят спрямо противника. Например измерваме колко добре генераторът заблуждава дискриминатора. Не е добър показател за измерване на качеството на изображението или неговото разнообразие. Като част от серията GAN разглеждаме Inception Score и Fréchet Inception Distance за това как да сравним резултатите от различни GAN модели.

Начална оценка (IS)

IS използва два критерия за измерване на ефективността на GAN:

  • Качеството на генерираните изображения и
  • тяхното разнообразие.

Ентропията може да се разглежда като случайност. Ако стойността на произволна променлива х е силно предсказуема, тя има ниска ентропия. Напротив, ако е силно непредсказуем, ентропията е висока. Например, на фигурата по-долу имаме две вероятностни разпределения p (x). p2 има по-голяма ентропия от p1, тъй като p2 има по-равномерно разпределение и следователно по-малко предвидима за това какво е x.

В GAN искаме условната вероятност P (y | x) да бъде силно предсказуема (ниска ентропия). т.е. давайки изображение, трябва лесно да познаваме типа на обекта. Така че ние използваме Inception мрежа, за да класифицираме генерираните изображения и да прогнозираме P (y | x) - където y е етикетът, а x е генерираните данни. Това отразява качеството на изображенията. След това трябва да измерим разнообразието от изображения.

P (y) е пределната вероятност, изчислена като:

Ако генерираните изображения са разнообразни, разпределението на данните за y трябва да бъде равномерно (висока ентропия).

Фигурата по-долу визуализира тази концепция.

За да комбинираме тези два критерия, изчисляваме тяхната KL-дивергенция и използваме уравнението по-долу, за да изчислим IS.

Един недостатък на IS е, че той може да представи погрешно представянето, ако генерира само едно изображение на клас. p (y) все още ще бъде еднакво, въпреки че разнообразието е ниско.

Начално разстояние за фреш (FID)

В FID използваме мрежата Inception за извличане на функции от междинен слой. След това моделираме разпределението на данни за тези характеристики, използвайки многовариантно гаусско разпределение със средна µ и ковариационна Σ. FID между реалните изображения x и генерираните изображения g се изчислява като:

където Tr обобщава всички диагонални елементи.

По-ниските стойности на FID означават по-добро качество и разнообразие на изображението.

FID е чувствителен към срив в режим. Както е показано по-долу, разстоянието се увеличава при симулирани липсващи режими.

Източник По-ниският FID резултат идентифицира по-добър модел.

FID е по-здрав към шума от IS. Ако моделът генерира само едно изображение на клас, разстоянието ще бъде голямо. Така че FID е по-добро измерване за разнообразието на изображенията. FID има някои доста големи отклонения, но ниска дисперсия. Чрез изчисляване на FID между база данни за обучение и тестов набор от данни, трябва да очакваме FID да е нула, тъй като и двете са реални изображения. Въпреки това, провеждането на теста с различни партиди от тренировъчна проба не показва нулева FID.

източник

Също така, FID и IS се основават на извличането на функции (наличието или отсъствието на функции). Ще има ли генератор същата оценка, ако пространствената връзка не се поддържа?

Прецизност, припомняне и оценка F1

Ако средно генерираните изображения изглеждат сходни с реалните изображения, точността е висока. Високото извикване предполага, че генераторът може да генерира всяка проба, открита в тренировъчния набор от данни. Резултат от F1 е хармоничното средно ниво на точност и извикване.

В изследователския документ на Google Brain „Създадени ли са GANs равни“, е създаден експеримент с играчки с набор от данни на триъгълници за измерване на точността и извикването на различни модели на GAN.

източник

Този набор от данни за играчки може да измери ефективността на различни GAN модели. Можем да го използваме за измерване на ползата от различните функции на разходите. Например, дали новата функция ще успее да произведе висококачествен триъгълник с добро покритие?

препратка

Подобрени техники за обучение на GANs

Създадени ли са GANs? Мащабно проучване

Обучени от двукратно актуализирано правило за актуализиране на мащаб към локално равновесие на Наш