Examensarbete

AI assisted fish annotation

Mitt examensarbete via Umeå Universitet, där jag designade och utvecklade en React-app som använder AI (Meta SAM3) för att effektivisera annotering av fiskar i videor för att effektivisera insamlingen av annoterad träningsdata.

Områden
React · Docker · API · CV/AI · Human in the loop

Utmaningen

Att träna tillförlitliga maskininlärningsmodeller för fiskdetektion kräver stora mängder annoterad videodata, men att markera varje fisk för hand är extremt tidskrävande och blir en flaskhals vid träning av träffsäkra modeller.

Användarflödet

Hela flödet i verktyget, från val av video till export av sessionsdata.

YesNoYesNoYesNoYesNoStartSelect videofrom listFilter by location /speciesVideo loadsin playerChoose segmentationmethodAutoClickDraw boxSAM3 textpromptSAM2 pointpromptSAM3 boxpromptMasksoverlaidMaskoverlaidMaskoverlaidRefinemask?Add positive /negative clicksSelect speciesFish addedto listTrack acrossvideo?SAM3 propagatesmask through allframesMore fish toannotate?Mark videoas DoneMorevideos?Export sessiondata (JSON)End

Rulla i sidled för att se hela flödet →

Processen

  1. Omvärldsanalys

    Jag undersökte befintliga verktyg för annotering av video och bild, och identifierade att de flesta saknade stöd för att kombinera AI-assisterad annotering med mänsklig granskning, vilket är avgörande för att effektivisera processen.

  2. Utveckla och designa

    Bygget av en React-app med ett Dockeriserat API som kör datorseendemodellen, så att annoteringsflödet i gränssnittet och modellinferensen kan köras och skalas oberoende av varandra.

  3. Utvärdera

    Sedan testade jag verktyget med riktiga användare och jämförde tiden det tog att annotera med och utan AI-assistans, vilket visade på en betydande tidsbesparing och förbättrad effektivitet.

Resultatet

Verktyget minskade tiden det tog att annotera video jämfört med en helt manuell process, och bidrog till en mer effektiv insamling av träningsdata för maskininlärningsmodeller, vilket kan leda till bättre fiskdetektionssystem i framtiden.

Läs studien på DiVA