Ewaluacja poprawności segmentacji modelu jest kluczowym etapem w procesie tworzenia i udoskonalania algorytmów rozpoznawania obrazu. W projekcie TherMobEye wykorzystujemy wskaźniki Jacquard i DICE do oceny dokładności segmentacji obszarów takich jak wymię, sutki oraz ciało referencyjne (blackbody) na zdjęciach termowizyjnych. Poniżej przedstawiamy szczegółowy opis procesu ewaluacji oraz teoretyczne podstawy używanych wskaźników.
Wskaźniki Jacquard i DICE
Wskaźnik Jacquard (Intersection over Union, IoU) mierzy stopień pokrycia pomiędzy dwiema maskami segmentacji: referencyjną (uzyskaną za pomocą narzędzia GIMP) i przewidywaną przez model. Jest to stosunek powierzchni części wspólnej obu masek do powierzchni sumy obu masek:
Wartość wskaźnika IoU mieści się w przedziale od 0 do 1, gdzie 1 oznacza idealne pokrycie.
Wskaźnik DICE (Sørensen-Dice coefficient) jest miarą podobieństwa pomiędzy dwiema maskami. Jest to podwojony stosunek powierzchni części wspólnej masek do sumy powierzchni obu masek:
Wskaźnik DICE również przyjmuje wartości od 0 do 1, gdzie 1 oznacza idealne pokrycie.
Proces ewaluacji
- Ręczne oznaczanie masek: Na próbce 20 zdjęć termowizyjnych, za pomocą narzędzia GIMP, ręcznie oznaczamy maski dla obszarów wymienia, sutków oraz blackbody. Oznaczenia te są wykonywane z najwyższą możliwą dokładnością, aby służyły jako referencja do porównania z wynikami modelu.
- Zapis masek: Oznaczone maski zapisujemy w formacie PNG, co pozwala na precyzyjne przechowywanie informacji o segmentacji bez utraty jakości.
- Porównanie masek: Przewidywane przez model maski są porównywane z ręcznie oznaczonymi maskami. Dla każdego zdjęcia obliczamy wskaźniki Jacquard i DICE, aby ocenić dokładność segmentacji.
Wyniki ewaluacji
Wyniki obliczeń wskaźników Jacquard i DICE dla każdej klasy obszarów (wymię, sutki, blackbody) przedstawiają stopień zgodności segmentacji modelu z ręcznymi oznaczeniami. Wyższe wartości wskaźników oznaczają lepszą zgodność.
- Wymię:
2. Sutki:
3. Blackbody:
Wnioski
Analiza wyników wskaźników Jacquard i DICE pokazuje, że model segmentacji w projekcie TherMobEye osiąga wysoką dokładność, szczególnie w rozpoznawaniu ciała referencyjnego. Segmentacja wymienia i sutków również wykazuje wysoką zgodność, choć nieco niższą niż dla blackbody. Te wyniki wskazują na skuteczność zastosowanego podejścia i mogą posłużyć jako podstawa do dalszych usprawnień modelu.
Ewaluacja przy użyciu wskaźników Jacquard i DICE jest kluczowym elementem procesu walidacji modeli segmentacji obrazów, dostarczając obiektywnych i ilościowych miar dokładności, które są niezbędne do oceny i doskonalenia algorytmów w dziedzinie przetwarzania obrazów termowizyjnych.
