Träffsäkerhet, öppet redovisad
Det viktigaste är hur många personuppgifter som står kvar efter maskeringen. Därför visar vi både F1 för exakta markeringar och fullständiga missar, med testtexter, metod och begränsningar öppna för granskning.
Missar är det viktigaste måttet
En fullständig miss betyder att en personuppgift står kvar i klartext. Precision visar hur ofta en markering var rätt och recall hur stor andel av alla personuppgifter som hittades. F1 för exakta markeringar, även kallat span-F1, väger samman de två. Fullständiga missar redovisas separat.
Aktuella testresultat
Den publicerade modellen mättes på syntetiska svenska testmängder 2026-08-06. Resultaten visar modellens kända styrkor och gränser.
- blandade svenska testtexter: F1 / missar
- 96,9 % / 1 av 205
- syntetiska adresser: F1 / missar
- 100,0 % / 0 av 57
Jämfört med KBLab
Maskera är en liten svensk NER-modell byggd för lokal maskering. KBLab lowermix är en fullstor svensk BERT-modell vars blandning av skiftlägen gör den robustare på text utan versaler. Maskeras publicerade q4-modell på 43 MB och KBLab lowermix fp32 på 496 MB kördes 2026-08-11 på samma 121 syntetiska svenska texter med 211 namn, platser och organisationer. En uppgift räknas som maskerad när markeringen överlappar den; typ-F1 kräver dessutom rätt kategori.
Ursprungligt skiftläge
| System | Maskerade | Typ-F1 |
|---|---|---|
| Maskera v19 q4 | 211 av 211 (100,0 %) | 87,1 % |
| KBLab lowermix fp32 | 205 av 211 (97,2 %) | 89,4 % |
Samma texter i gemener
| System | Maskerade | Typ-F1 |
|---|---|---|
| Maskera v19 q4 | 211 av 211 (100,0 %) | 85,7 % |
| KBLab lowermix fp32 | 187 av 211 (88,6 %) | 83,2 % |
Maskera maskerade samtliga 211 märkta namn, platser och organisationer i båda körningarna. KBLab hade högre typ-F1 med ursprungligt skiftläge; Maskera hade högre typ-F1 i gemener.
Testet är skrivet av Maskeras utvecklare och visar en riktning, inte en oberoende rankning. Gatuadresser och Maskeras efterbearbetning ingår inte.
End-to-end-test med LogosGuard
LogosGuard är ett Chrome-tillägg för maskering i webbläsaren, inte en fristående NER-modell. Här jämförs därför hela LogosGuards filmaskeringsflöde med Maskeras kompletta lokala pipeline. Maskera v19 och LogosGuard 2.4.4 kördes 2026-08-14 på samma 258 syntetiska svenska texter med 952 märkta personuppgifter: bland annat namn, adresser, personnummer, samordningsnummer, telefonnummer samt myndighets-, vård- och juridiktext. LogosGuard kördes med gratisplanen och läget Balanced. Samma strikta mått användes för båda: en fullträff kräver att ingen bokstav eller siffra från den märkta uppgiften står kvar.
| System | Fullt maskerade | Partiella läckor | Klartextmissar |
|---|---|---|---|
| Maskera v19 q4 | 933 av 952 (98,0 %) | 8 | 11 |
| LogosGuard 2.4.4 | 606 av 952 (63,7 %) | 49 | 297 |
Maskera fullmaskerade 327 fler av de 952 märkta uppgifterna. Någon del stod kvar i 19 fall med Maskera och i 346 fall med LogosGuard — en skillnad på 34,3 procentenheter i fullträffsfrekvens.
Testmängden är syntetisk och skriven av Maskeras utvecklare, så resultatet är författarkopplat och inte en oberoende rankning. Korpusen är inte uttömmande märkt för precision. LogosGuards filexport förvanskade dessutom svenska UTF-8-tecken till Windows-1252-mojibake; tecknen återställdes före poängsättningen.
Bredare historisk NER-jämförelse
GitHub-repots bredare modellkörning omfattar elva rader på samma 22 oberoende svenska Wikipedia-texter med 58 märkta personer, platser och organisationer. Konkurrenterna mättes 2026-07-04–2026-07-19 och Maskeras v18-rad mättes 2026-07-19. Överlapp räknas som maskerat; typ-F1 kräver även rätt kategori.
Ursprungligt skiftläge
| Modell eller bibliotek | Storlek | Maskeringsrecall | Typ-F1 |
|---|---|---|---|
| Maskera studentLiten svensk NER-modell för lokal maskering | 43 MB | 97 % | 96 % |
| KBLab lowermix reallysimple-nerSvensk BERT-modell gjord för robustare skiftläge | ≈475 MB | 100 % | 94 % |
| nbailab scandi-nerFlerspråkig skandinavisk NER-modell | ≈500 MB | 100 % | 94 % |
| KBLab neriob (IOB head)Svensk BERT-modell med IOB-klassificeringshuvud | ≈475 MB | 100 % | 94 % |
| KB-NER (the SUC classic)Klassisk svensk BERT-modell tränad på SUC | ≈475 MB | 100 % | 92 % |
| KBLab reallysimple-nerSvensk skiftlägeskänslig BERT-modell för NER | ≈475 MB | 98 % | 91 % |
| RecordedFuture Swedish-NERSvensk NER-modell tränad på internet- och forumtext | ≈500 MB | 100 % | 88 % |
| sbx PII general / detailedgeneraldetailedTvå KB-BERT-modeller med ett annat PI-etikettschema | ≈475 MB | 5 / 10 % | 10 / 19 % |
| Rampart (nationaldesignstudio)Liten flerspråkig PII-modell för webbläsaren | 14,7 MB | 34 % | 42 % |
| Desert Ant redact (multilingual)Flerspråkig maskeringsmodell som körs på enheten | 13 MB | 36 % | 53 % |
| swedish-pii (regex + name lists)Regler och svenska namnlistor, inte en AI-modell | 2,5 MB | 50 % | 52 % |
Samma texter i gemener
| Modell eller bibliotek | Maskeringsrecall | Typ-F1 |
|---|---|---|
| KBLab lowermix reallysimple-ner | 97 % | 90 % |
| Maskera student | 95 % | 91 % |
| RecordedFuture Swedish-NER | 83 % | 82 % |
| nbailab scandi-ner | 69 % | 77 % |
| KB-NER (the SUC classic) | 28 % | 35 % |
| KBLab reallysimple-ner | 29 % | 39 % |
| KBLab neriob (IOB head) | 24 % | 33 % |
| Desert Ant redact (multilingual) | 24 % | 39 % |
| sbx PII general / detailedgeneraldetailed | 9 % | 16 % |
| swedish-pii (regex + name lists) | 0 % | 0 % |
I den daterade v18-körningen hade Maskera högst typ-F1 på text med ursprungligt skiftläge. I gemener hade KBLab lowermix högst maskeringsrecall, medan Maskera hade högst typ-F1.
Det här är historiska v18-resultat och ska inte läsas som v19-scores. Den oberoende råkorpusen togs bort före den integritetssäkra v19-releasen, så aggregaten är bevarade för transparens men kan inte reproduceras dokument för dokument från dagens checkout. Separata systemtester med bland annat Presidio, Privacy Filter, EU PII Safeguard och Blindfold använder andra körningar och redovisas i BENCHMARKS.md.
Så ska resultaten tolkas
I testet med syntetiska adresser lämnades ingen av de märkta uppgifterna helt i klartext. I testet med blandade svenska texter missades 1 av 205.
Den enda missen var en bred offentlig geografisk region, inte en person, kontaktuppgift, identifierare eller gatuadress.
Alla 35 gatuadresser hittades med exakt markering, inklusive husnumret.
Det här visar testerna inte
- Testmängderna är syntetiska eller författarkopplade. De används för att stoppa försämringar, inte som ett oberoende betyg på all svensk text.
- Ingen automatisk maskering är perfekt. Ovanliga namn, OCR-brus och formuleringar långt från träningsdatan kan missas. Låt en människa kontrollera texten när ett fel kan få stora konsekvenser.
- De här korpusarna mäter fri text. Strukturerade identifierare som personnummer och IBAN hanteras av regelmotorn och ingår inte i dessa modelltester.
Källor och reproduktion
Publicerade maskera-sv-ner v19 (q4, cirka 43 MB) mättes på de syntetiska releasegrindarna 2026-08-06.
Testtexter, metod, körskript och de fullständiga Maskera-resultaten finns i det öppna repot. BENCHMARKS.md är källan som gäller om en siffra någon annanstans skulle skilja sig.