Wer hat an dieser Sitzung teilgenommen?

• Gabriel Torres Gamez
• Si Ben Tran
• Daniel Perruchoud
• Stephan Heule

Welche sind die wichtigsten Themen, die an dieser Sitzung besprochen wurden?

• Model Training und Problematik mit Testdaten
• Use-Case
• Weiteres vorgehen

Wo haben wir Hindernisse? Was blockiert den Fortschritt, unser Projekt?

• Performance AUC auf Testdatensatz ist verglichen zu dem Validierungsdatensatz schlecht. Unsere Modelle performen auf den Validierungsdatensatz und Trainingsdatensatz sehr gut und overfitten zu sehr. Aus diesem Grund ist die Performance auf dem Testdatensatz schlecht für den CovidX CXR4 Datensatz.

Was wurde an der Sitzung beschlossen?

Performance der Testdaten

• Timeboxing für weitere Analysen auf den Trainings, Validierungs und Testdatensatz durchführen
• Unterschied von Test- und Train-, Val- genauer untersuchen.
• Unterschiede können von Bild zu Bild unterschiedlich sein, aufgrund Herkunft der Bilder aus unterschiedlichen Länder oder unterschieden Maschinen.
• Herkunft der Bilder genauer recherchieren, falls vorhanden.

Weiteres Vorgehen

• Variante 1: Das Modelltraining nochmals durchführen
• Variante 2: CovidX Datensatz verwerfen und auf Brain Tumor weitere Experimente durchführen

Use Case

• Wir wollen Krankheitserkennungssystem gegen Fehldiagnosen (Positiv- zu Negativdiagnose) schützen. Bei der Perturbationsgeneration wollen so klein wie mögliche UAPs generieren, welche eine desired Fooling-Rate von mindestens 20 % haben. Als Metriken wollen wir eine höhere fooling Rate und einen tieferen Recall erreichen.
• Stephan findet den Use Case gut!

UAP als Bias

• Generierte UAPs als Bias verwenden, da die UAPs aufgrund des partitionierten Daten generiert werden.
• Unterschiede von UAPs generierte Partitionen untersuchen.

Weiteres vorgehen

• Statt Heatmap wäre ein 3D Plot interessant.
• Inference auf Brain Test Daten durchführen und Verteilung der Datenpartitionierung betrachten und analysieren
• Bericht wird nächste Woche als Leseprobe bereitgestellt.