Come individuare i deepfake: dal riflesso della luce negli occhi

    amministratore
    Come individuare i deepfake: dal riflesso della luce negli occhi

    Gli informatici dell’Università di Buffalo hanno sviluppato uno strumento che identifica automaticamente le foto deepfake analizzando i riflessi della luce negli occhi.

    Lo strumento si è dimostrato efficace al 94% negli esperimenti descritti in un documento accettato alla IEEE International Conference on Acoustics, Speech and Signal Processing, che si terrà a giugno a Toronto, in Canada.

    “La cornea è quasi come una semisfera perfetta ed è molto riflettente”, afferma l’autore principale dell’articolo, Siwei Lyu, PhD, SUNY Empire Innovation Professor presso il Dipartimento di Informatica e Ingegneria. “Quindi, tutto ciò che arriva agli occhi con una luce che emette da quelle sorgenti avrà un’immagine sulla cornea.

    “I due occhi dovrebbero avere schemi riflettenti molto simili perché vedono la stessa cosa. È qualcosa che in genere non notiamo quando guardiamo un viso”, afferma Lyu, un esperto di medicina legale e multimediale che ha testimoniato prima Congresso.

    Il documento, “Esposizione di volti generati da GAN utilizzando evidenziazioni speculari corneali incoerenti”, è disponibile nel repository ad accesso aperto arXiv.

    Co-autori sono Shu Hu, uno studente di dottorato in informatica del terzo anno e assistente di ricerca presso il Media Forensic Lab dell’UB, e Yuezun Li, PhD, un ex ricercatore senior presso l’UB che ora è docente presso la Ocean University of China’s Centro sull’intelligenza artificiale.

    Strumento mappa il viso, esamina piccole differenze negli occhi

    Quando guardiamo qualcosa, l’immagine di ciò che vediamo si riflette nei nostri occhi. In una foto o in un video reale, i riflessi sugli occhi generalmente sembrano avere la stessa forma e colore.

    Tuttavia, la maggior parte delle immagini generate dall’intelligenza artificiale, comprese le immagini della rete avversaria generativa (GAN), non riescono a farlo in modo accurato o coerente, probabilmente a causa di molte foto combinate per generare l’immagine falsa.

    Lo strumento di Lyu sfrutta questa lacuna individuando minuscole deviazioni nella luce riflessa negli occhi delle immagini deepfake.

    Per condurre gli esperimenti, il team di ricerca ha ottenuto immagini reali da Flickr Faces-HQ, nonché immagini false da http: // www. thispersondoesnotexist. com , un archivio di volti generati dall’intelligenza artificiale che sembrano realistici ma in realtà sono falsi. Tutte le immagini erano simili a un ritratto (persone reali e persone false che guardavano direttamente nella fotocamera con una buona illuminazione) e 1.024 per 1.024 pixel.

    Lo strumento funziona mappando ogni faccia. Quindi esamina gli occhi, seguiti dai bulbi oculari e infine la luce riflessa in ciascun bulbo oculare. Confronta con dettagli incredibili le potenziali differenze di forma, intensità della luce e altre caratteristiche della luce riflessa.

    “Deepfake-o-meter” e impegno a combattere i deepfake

    Sebbene promettente, la tecnica di Lyu ha dei limiti.

    Per prima cosa, hai bisogno di una fonte di luce riflessa. Inoltre, i riflessi di luce degli occhi non corrispondenti possono essere corretti durante la modifica dell’immagine. Inoltre, la tecnica guarda solo i singoli pixel riflessi negli occhi, non la forma dell’occhio, le forme all’interno degli occhi o la natura di ciò che si riflette negli occhi.

    Infine, la tecnica confronta i riflessi all’interno di entrambi gli occhi. Se al soggetto manca un occhio o l’occhio non è visibile, la tecnica fallisce.

    Lyu, che ha ricercato progetti di machine learning e visione artificiale per oltre 20 anni, ha precedentemente dimostrato che i video deepfake tendono ad avere tassi di lampeggiamento incoerenti o inesistenti per i soggetti video.

    Oltre a testimoniare davanti al Congresso, nel 2020 ha assistito Facebook con la sua sfida globale di rilevamento deepfake e ha contribuito a creare il “Deepfake-o-meter”, una risorsa online per aiutare la persona media a testare se il video che ha visto è, infatti, un deepfake.

    Dice che identificare i deepfake è sempre più importante, soprattutto dato il mondo iperpartigiano pieno di tensioni legate alla razza e al genere e ai pericoli della disinformazione, in particolare la violenza.

    “Sfortunatamente, una grossa fetta di questo tipo di video falsi è stata creata per scopi pornografici, e questo (ha causato) molti … danni psicologici alle vittime”, dice Lyu. “C’è anche il potenziale impatto politico, il video falso che mostra i politici che dicono qualcosa o fanno qualcosa che non dovrebbero fare. Questo è un male”.

    Fonte : https://www.eurekalert.org/pub_releases/2021-03/uab-hts031221.php

    SERVZIO RIMOZIONE DEEPFAKE : Rimozione Deepfake video falsi [ click qui ]