Update: Apple noemde een tweede inspectie van de server en een professioneel computervisiebedrijf schetste een mogelijkheid van wat dit zou kunnen worden beschreven in "Hoe de tweede inspectie zou kunnen werken" hieronder.
Nadat de ontwikkelaars delen ervan reverse-engineeren, is de vroege versie van het Apple CSAM-systeem effectief misleid om een onschuldig beeld te markeren.Apple verklaarde echter dat het aanvullende beveiligingen heeft om te voorkomen dat dit in het echte leven gebeurt.
De nieuwste ontwikkeling vond plaats nadat het NeuralHash-algoritme was gepubliceerd op de open source-ontwikkelaarswebsite GitHub, iedereen kan ermee experimenteren ...
Alle CSAM-systemen werken door het importeren van een database met materialen van bekend seksueel misbruik van kinderen van organisaties zoals het National Center for Missing and Exploited Children (NCMEC).De database wordt aangeboden in de vorm van hashes of digitale vingerafdrukken van afbeeldingen.
Hoewel de meeste technologiegiganten foto's scannen die in de cloud zijn geüpload, gebruikt Apple het NeuralHash-algoritme op de iPhone van de klant om een hashwaarde van de opgeslagen foto te genereren en deze vervolgens te vergelijken met de gedownloade kopie van de CSAM-hashwaarde.
Gisteren beweerde een ontwikkelaar dat hij het algoritme van Apple reverse-engineered had en de code op GitHub had vrijgegeven - deze bewering werd effectief bevestigd door Apple.
Binnen een paar uur nadat GitHib was uitgebracht, gebruikten de onderzoekers het algoritme met succes om een opzettelijke valse positieven te creëren: twee totaal verschillende afbeeldingen die dezelfde hash-waarde genereerden.Dit wordt een aanrijding genoemd.
Bij dergelijke systemen is er altijd een risico op botsingen, omdat de hash natuurlijk een sterk vereenvoudigde weergave van het beeld is, maar het is verrassend dat iemand het beeld zo snel kan genereren.
De opzettelijke botsing hier is slechts een proof of concept.Ontwikkelaars hebben geen toegang tot de CSAM-hashdatabase, wat het creëren van valse positieven in het realtime systeem zou vereisen, maar het bewijst wel dat botsingsaanvallen in principe relatief eenvoudig zijn.
Apple bevestigde effectief dat het algoritme de basis is van zijn eigen systeem, maar vertelde het moederbord dat dit niet de definitieve versie is.Het bedrijf verklaarde ook dat het nooit de bedoeling had om het vertrouwelijk te houden.
Apple vertelde Motherboard in een e-mail dat de versie die door de gebruiker op GitHub is geanalyseerd, een generieke versie is, niet de definitieve versie die wordt gebruikt voor iCloud Photo CSAM-detectie.Apple zei dat het ook het algoritme heeft bekendgemaakt.
"Het NeuralHash-algoritme [...] maakt deel uit van de ondertekende code van het besturingssysteem [en] beveiligingsonderzoekers kunnen verifiëren dat het gedrag overeenkomt met de beschrijving", schreef een Apple-document.
Het bedrijf zei verder dat er nog twee stappen zijn: het uitvoeren van een secundair (geheim) matchingsysteem op zijn eigen server en handmatige beoordeling.
Apple verklaarde ook dat nadat gebruikers de drempel van 30 wedstrijden hebben overschreden, een tweede niet-openbaar algoritme dat op de servers van Apple draait, de resultaten zal controleren.
"Deze onafhankelijke hash is gekozen om de mogelijkheid te verwerpen dat de foutieve NeuralHash overeenkomt met de gecodeerde CSAM-database op het apparaat vanwege vijandige interferentie van niet-CSAM-afbeeldingen en de overeenkomende drempel overschrijdt."
Brad Dwyer van Roboflow vond een manier om gemakkelijk onderscheid te maken tussen de twee afbeeldingen die zijn gepost als een proof of concept voor een botsingsaanval.
Ik ben benieuwd hoe deze afbeeldingen eruitzien in CLIP van een vergelijkbare maar andere neurale feature-extractor OpenAI.CLIP werkt op dezelfde manier als NeuralHash;het neemt een afbeelding en gebruikt een neuraal netwerk om een set kenmerkvectoren te genereren die overeenkomen met de inhoud van de afbeelding.
Maar het netwerk van OpenAI is anders.Het is een algemeen model dat afbeeldingen en tekst in kaart kan brengen.Dit betekent dat we het kunnen gebruiken om voor mensen begrijpelijke beeldinformatie te extraheren.
Ik heb de twee botsingsafbeeldingen hierboven door CLIP gehaald om te zien of het ook voor de gek gehouden was.Het korte antwoord is: nee.Dit betekent dat Apple een tweede feature-extractornetwerk (zoals CLIP) moet kunnen toepassen op de gedetecteerde CSAM-afbeeldingen om te bepalen of ze echt of nep zijn.Het is veel moeilijker om afbeeldingen te genereren die twee netwerken tegelijkertijd misleiden.
Ten slotte worden, zoals eerder vermeld, de afbeeldingen handmatig beoordeeld om te bevestigen dat ze CSAM zijn.
Een beveiligingsonderzoeker zei dat het enige echte risico is dat iedereen die Apple wil irriteren, menselijke recensenten valse positieven kan geven.
"Apple heeft dit systeem eigenlijk ontworpen, dus de hash-functie hoeft niet geheim te worden gehouden, want het enige dat je met 'niet-CSAM als CSAM' kunt doen, is het responsteam van Apple irriteren met wat ongewenste afbeeldingen totdat ze filters implementeren om te elimineren analyse Die rotzooi in de pijplijn zijn valse positieven', vertelde Nicholas Weaver, een senior onderzoeker aan het Institute of International Computer Science aan de University of California, Berkeley, aan Motherboard in een online chat.
Privacy is een kwestie van toenemende zorg in de wereld van vandaag.Volg alle rapporten met betrekking tot privacy, beveiliging, enz. in onze richtlijnen.
Ben Lovejoy is een Britse technisch schrijver en EU-redacteur voor 9to5Mac.Hij staat bekend om zijn columns en dagboekartikelen, waarbij hij zijn ervaring met Apple-producten in de loop van de tijd verkent om uitgebreidere recensies te krijgen.Hij schrijft ook romans, er zijn twee technische thrillers, een paar korte sciencefictionfilms en een rom-com!
Posttijd: 20 aug-2021