Vive l’Europe! #15 – Deepfakes als neue Bedrohung

Če se vam informacija zdi sumljiva, poiščite dodatne informacije ali vprašajte ljudi okoli sebe, priporoča Julia Krickl
Deepfakes, auch als synthetische Medien bezeichnet, sind mithilfe von Künstlicher Intelligenz (KI) generierte oder manipulierte Foto-, Video- oder Sprachaufnahmen. Diese werden aus echtem oder gefälschtem Video- oder Audiomaterial erstellt. Im Endeffekt entsteht ein vollkommen verändertes Produkt, das häufig missbräuchlich eingesetzt wird.

Julia Krickl, MA, ist Cybersecurity-Expertin beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT). Sie erläutert verschiedene Bedrohungsszenarien, wie beispielsweise die Manipulation von Wahlen, oder präsentiert Vorschläge, wie sich Unternehmen oder Einzelpersonen schützen können. Digitale Bildung und eine „Kultur der Sicherheit“ sei, unabhängig vom Alter, von entscheidender Bedeutung.

Statistični podatki o kibernetski kriminaliteti so vsako leto slabši. Priča smo  vedno večjemu številu napadov, tudi s strani umetne inteligence. Julia Krickl je strokovnjakinja za kibernetsko varnost na Avstrijskem inštitutu za uporabne telekomunikacije. Pojasnila nam bo najnovejše trende v spletnem kriminalu in povedala, kakšno kulturo moramo gojiti, da se napadov uspešno obranimo.

Nun, wir leben in einer sehr bildbasierten Welt. Wir sind die ganze Zeit mit vielen Eindrücken konfrontiert. Social Media spielt eine immer größere Rolle in unserem Leben. Und Deepfakes spielen da überall eine Rolle. Das heißt, bei den Informationen, die ich online sehe, in meinem Social-Media-Feed, tatsächlich auch Fake News – das heißt auch Deepfakes – die eingesetzt werden von politischen Akteuren, die spezifische oder spezielle politische Motive verfolgen, die versuchen zu manipulieren, auch Wahlen zu beeinflussen, aber natürlich auch im Kontext von Internetbetrug.

Also Cybercrime wird ein immer größeres Thema, weil man mit KI skalieren kann. Ich kann sehr gut Stimmen oder auch Videos nachmachen. Ich kann mich ausgeben als die Geschäftsführerin von einem gewissen Unternehmen und eine Überweisung anordnen. Und wenn ich dann keine geschulten Mitarbeiter_innen habe, die sichere Prozesse kennen, dann können die diese Überweisung einfach ausführen und denken, ich habe das angeordnet.

Als Beispiel für „Wahlmanipulationen“ kann die US-Wahl 2024 angeführt werden, wo KI generierte Desinformationen massiv verbreitet wurden,…

… hier wurden zum einen KI-generierte Inhalte geteilt von Trump selbst, also dem jetzt gewählten amerikanischen Präsidenten. Der hat KI-generierte Bilder geteilt von angeblichen Taylor-Swift-Fans, die jetzt für ihn Wahlwerbung machen, sozusagen. Da wurden KI-generierte Inhalte geteilt von Personen, die ihn angeblich unterstützen. Die Personen existieren aber gar nicht, sondern waren KI-generiert.

Auch sehr viral gegangen ist ein Video, es war ein Zusammenschnitt des Wahlwerbevideos von Kamala Harris, das mit einem Voice-Clone, also mit einer KI-generierten und imitierten Stimme von ihr unterlegt war und dieses Video wurde zum Beispiel von Elon Musk geteilt auf Twitter, (jetzt X) und millionenfach angesehen.

Vergleichbare Beispiele von manipulierter Wahlinformation zeigen Recherchen in verschieden EU-Ländern.

Wir haben einen Bericht dazu gemacht, also eine kurze Recherche. Und ja, also wir haben den Einsatz von Deepfakes gesehen. Vor allem in Frankreich gab es zum Beispiel KI-generierte Influencer_innen, die angeblich Werbung für Marine Le Pen gemacht haben. Es gab Parteien selbst, die in ihren Wahlkampf-Sujets – also das war zum Beispiel Salvini in Italien, aber auch die FPÖ-Jugend Oberösterreich, soweit ich weiß – die einfach KI-generierte Sujets verbreitet haben. Frankreich war auch ganz groß dabei damit. Und da geht es dann oft darum, sehr emotionalisierte Bilder zu verbreiten. Und auch im Vorfeld der österreichischen Nationalratswahl gab es einige Deepfake-Videos, die eher satirisch waren, die wir gefunden haben.

Nochmals eine kurze Erläuterung zu Deepfake-Videos und emotionalen Bildern, die dazu beitragen, gezielt politische Botschaften emotional aufzuladen. 

… ja, so ist es, also da wird mit sehr starken Angstbildern gearbeitet. Also gerade die extreme Rechte in Frankreich hat Bilder generiert von massenhaft Booten, die ankommen und von Migrantenmassen, die da irgendwie an die französische Küste kommen. Salvini hat Bilder generiert, wo Insektenbrötchen gegessen werden, statt irgendwie dem guten Prosciutto Panini. Also hier dient KI dazu, einfach sehr auch Angst zu machen oder sehr symbolhaft eine gewisse Botschaft rüberzubringen.

Stichwort betrügerische Handlungen: Über die „Watchlist Internet“, der größten deutschsprachigen Internetbetrugsplattform, werden laufend Internet-Betrugsfälle von Konsumenten und Konsumentinnen gemeldet …

… die entweder auf Internetfallen hineingefallen sind oder Internetfallen melden wollen. Diese Meldungen werden dann von unseren Expertinnen geprüft und wir verfassen dann Warnartikel über neue Betrugsmaschen. Und was da besonders oft vorkommt, ist tatsächlich zum einen Phishing[1]. Also Phishing wird immer mehr und wird auch immer besser. KI kann da natürlich helfen. Grammatikalisch sind diese Mails mittlerweile nicht mehr von menschlich gemachten Mails zu unterscheiden.

Und zum anderen, was kommt, ist, dass wir sehr viel betrügerische Werbung sehen. Das heißt, es gibt viele betrügerische Investmentplattformen, die damit locken, dass man nur 250 Euro investieren muss und dann reich werden kann. Und diese betrügerischen Trading- und Investmentplattformen werden teilweise mit Deepfake-Videos beworben.

Da werden etwa berühmte Persönlichkeiten oder TV-Moderator_innen imitiert, die dann Werbung für Investment- oder Krypto-Plattformen machen, …

… und das ist natürlich eine große Gefahr, weil selbst wenn diese Videos nicht unglaublich gut gemacht sind, vertrauen einfach viele Menschen dem Gesicht oder dem Namen und fallen dann auf diese Betrugsmaschen hinein.

Und, wenn Menschen auf diese „Betrugsmaschen“ hineinfallen, dann folgen die unangenehmen Überraschungen, …

… also man klickt auf den Link, wird aufgefordert, 250 Euro oder vielleicht etwas mehr zu investieren, überweist das entweder auf ein Konto oder muss sich eine Krypto Wallet[2] erstellen – das geht mit ein paar Klicks – und wird dann in weiterer Folge dazu aufgefordert, die Verantwortung oder irgendwie den Zugang zu diesem Wallet zu übergeben.

Das passiert entweder durch Phishing oder vielleicht sogar freiwillig, weil da gesagt wird: Okay, ich bin ein Trading-Experte und kann dir helfen, dass du noch mehr Gewinn machst. Der Kurs, den man dann sieht bei dieser Trading-Plattform, der geht immer nach oben und der ist vollkommen fake und das Geld, das da eingezahlt wurde, ist dann leider meistens unwiederbringlich verloren.

Ein gewisses Misstrauen bei derartigen „Betrugsmaschen“ – wie sie gerade erwähnt wurden – ist sicherlich zu empfehlen. Nun, wie kann man sich schützen?

Eine sehr große Frage, wie kann man sich schützen? Zum einen natürlich achtsam sein. Es gibt Gratisangebote, zum Beispiel von der Watchlist Internet[3]. Wir haben auch eine App, die über die neuesten Internetfallen, Betrugsfallen informiert. Da kommen auch Push-Nachrichten direkt aufs Mobiltelefon, wenn es eine neue Falle gibt. Es gibt einen Phishing-Alarm, da kann man nachschauen, ob die E-Mail, die man bekommen hat, vielleicht schon als Phishing gemeldet wurde. Und da kann man nochmal extra nachprüfen, bevor man irgendwo draufklickt. Und natürlich immer wichtiger wird einfach das generelle Wissen, beziehungsweise auch das Kontextwissen.

Als Erläuterung zu dem genannten „Kontextwissen“ gibt Julia Krickl folgende Beispiele:

Wenn mich jetzt plötzlich mein Chef anruft und sagt: Bitte überweise 30.000 Euro. Ist das realistisch? Kann das sein? Passiert das normalerweise so? Oder haben wir eigentlich unternehmensintern zum Beispiel ganz andere Prozesse?

Oder, wenn ich von meinem Kind angerufen werde, angeblich, das weint am Telefon. Und dann spreche ich plötzlich mit einem angeblichen Polizeibeamten, der sagt, ich muss Geld überweisen, dass mein Kind aus der Untersuchungshaft oder wie auch immer freikommt. Kurz aus der Emotion rausgehen, wie schwierig es auch sein mag und überlegen: Ist das realistisch, kann das sein? Und wenn ich mir unsicher bin, einfach nachfragen. Die beste Freundin anrufen, den Partner, die Partnerin anrufen, die Kinder anrufen und nachfragen. Es ist wirklich besser, hier doppelt sicher zu gehen, als zu schnell zu handeln.

Eine „Kultur der Sicherheit“ oder eine „konstruktive Fehlerkultur“ im Unternehmen, aber auch im privaten Haushalt, kann vor möglichen Bedrohungen schützen.

Und was mir ganz wichtig ist, ist, dass wir konstruktiver über diese Bedrohung sprechen müssen. Es gab schon immer Kriminalität, es gab schon immer Bedrohungen. Und ja, die Technologie ist sehr mächtig, sehr wirkungsmächtig und sehr invasiv. Und trotzdem können wir uns schützen: Durch Bildung, durch Wissen und auch durch Austausch. Und eine konstruktive auch Fehler- und interne Unternehmenskultur ist eine Kultur des Nachfragens, des Lernens, des Miteinander- und Voneinander Lernens. Und wenn es hier möglich ist, das zu etablieren und zu sagen: Wenn ich mir bei was nicht ganz sicher bin, wenn mir was komisch vorkommt, dann gibt es bei uns die Kultur, dass ich einfach anrufe, oder dass ich einfach rübergehe ins nächste Büro und nachfrage: Hey, was haltet ihr davon? Ist euch das schon untergekommen? Ist es realistisch? Kann das sein? Und das gilt natürlich genauso im Privaten. Das kann ich eben genauso im Privaten machen und sagen: Ah, das kommt mir irgendwie komisch vor und dann bei einer Person meines Vertrauens noch einmal nachfragen.

Ein Blick in die Zukunft – welche Tendenzen ergeben sich?

Internetbetrug ist seit Jahren am Explodieren. Die Cybercrime-Statistik schaut jedes Jahr schlimmer aus als das Jahr davor. Das heißt, hier sehen wir auf jeden Fall einen Trend in Richtung mehr KI, mehr Angriffe. Es ist auch einfach leichter, diese Angriffe zu machen. Es ist leichter durchzuführen. Es ist leicht skalierbar. Das heißt, ja, wir stehen auf jeden Fall vor großen Herausforderungen.

Zusätzlich zu Beratungseinrichtungen, oder der bereits erwähnten Watchlist-Internet, wären auch auf politischer Ebene Maßnahmen zur Unterstützung einzufordern und auch der Aspekt der digitalen Bildung ist dabei nicht zu vernachlässigen.

Wir müssen verstehen als Gesellschaft, dass uns ALLE dieses Thema betrifft. Also von der Einzelperson vom Kindergarten zum KMU zu staatlichen Behörden. Wir sind alle davon betroffen und wir müssen alle gewappnet sein. Ich denke, dass der AI-Act[4] hier in die richtige Richtung geht. Die Frage ist dann, wie wir natürlich all diese Dinge dann auch tatsächlich praktisch umsetzen werden. Viele Dinge treten dann erst später in Kraft, im Laufe der nächsten Jahre.

Ich glaube, was sehr wichtig ist, ist, dass einfach niemand zurückgelassen wird. Wir haben eine große Landschaft an kleinen und mittleren Unternehmen in Österreich. Viele davon sind nicht digitalisiert, nicht gerüstet für die Herausforderungen, die anstehen – und das wäre meines Erachtens sehr, sehr wichtig.

Ich denke, dass digitale Bildung immer wichtiger wird und wir wirklich alle Altersgruppen ansprechen müssen. Digitale Bildung schon im Kindergartenalter, schon im Schulalter. Da ist die Initiative – die auch bei uns angesiedelt ist – Saferinternet.at[5] ganz stark dran.

Eine abschließende Empfehlung der Sozialwissenschaftlerin und Cyber-Expertin Julia Krickl wäre nun …

…, dass man nicht allem trauen kann, was man sieht, was man hört, was im ersten Moment sich vielleicht sogar sehr realistisch anhört, und da immer noch mal auf jeden Fall nachprüfen sollte. Fact-Checking ist da ein großes, wichtiges Wort. Man kann mit einer kurzen Suche auch wirklich schnell überprüfen, ob eine Werbung oder eine Aussage, die man gerade gehört hat, auch wirklich realistisch oder wirklich echt ist.

Nachtrag: Die Umsetzung der NIS-2-Richtlinie, zur Verbesserung der „Netz- und Informationssystemsicherheit“ in der EU, ist in Österreich ausständig. Dieses Cybersicherheitsgesetz wurde im Parlament bis dato nicht beschlossen.

Kibernetska kriminaliteta postaja vse pomembnejša tema, saj je vedno bolj dovršena s pomočjo umetne inteligence, opozarja Julia Krickl, strokovnjakinja za kibernetsko varnost. To se kaže pri različnih volilnih manipulacijah, na primer v Franciji so se pojavili umetni vplivneži, ustvarjeni z umetno inteligenco, ki so podpirali Marine Le Pen. Tudi različne stranke so v svojih volilnih kampanjah uporabljale subjekte, generirane z umetno inteligenco, na primer Salvini v Italiji, pa tudi mladinska FPÖ v Zgornji Avstriji, navaja Krickl. .  Vsebino, ki jo je generirala UI, je v času ameriških volitev na primer delil tudi Trump.

Kaj vse torej zmore umetna inteligenca? Ustvari lahko t.i. »deepfakes«, ponaredi sliko, glas ali videoposnetke, pojasni Krickl. Lahko se pretvarja, da je direktor določenega podjetja, in naroči bančno nakazilo, navaja kot primer naša sogovornica. Lahko se pretvarja, da kliče vaš otrok in joka po telefonu, da potrebuje denar, da se reši iz težav. Ali pa nas doseže v obliki goljufivih oglasov za naložbene platforme. 

Kako se torej lahko zaščitimo?  Obstajajo različne platforme, na primer Watchlist Internet, kjer potrošniki prijavljajo nove goljufije, strokovnjaki pa jih preverijo in pripravijo opozorila, pojasni Krickl. Dobro se zaščitimo tudi s kulturo varnosti, kulturo raziskovanja in učenja drug od drugega. Če se nam nekaj zdi čudno, potem lahko vprašamo sodelavca: Ali je to realistično? Enako lahko storimo tudi zasebno, poudari Julia Krickl. Vedno preverimo dejstva. Namreč s preverjanjem dejstev lahko hitro preverimo, ali sta oglas ali izjava res realna in pristna, zaključi Julia Krickl.

Kurzbiografie

Julia Krickl, MA ist Cybersecurity-Expertin und seit 2020 in Forschungsprojekten beim Österreichischen Institut für angewandte Telekommunikation (ÖIAT) tätig. Aktuelle Schwerpunkte sind: Algorithmen und Künstliche Intelligenz sowie damit verbundene ethische Fragestellungen im E-Commerce, in sozialen Netzwerken und bei Internetkriminalität.

Sie absolvierte ein Studium der Globalgeschichte & Global Studies an der Universität Wien sowie das Studium European Public Administration an der WWU Münster (DE) und der Universität Twente (NL).

[1] Phishing ist eine der ältesten und bekanntesten Betrugsmethoden im Internet. Es bezeichnet eine Art von Telekommunikationsbetrug, bei dem die Herausgabe privater Daten bezweckt wird. Der Begriff „Phishing“ kommt aus dem Englischen und bedeutet „angeln“.

[2] Eine Krypto Wallet ist eine digitale Geldbörse, die das Empfangen, Speichern, Verwalten und Senden digitaler Währungen ermöglicht.

[3] Die Watchlist Internet ist eine unabhängige Plattform gegen Onlinebetrug und Internet Fallen. Sie berichtet über aktuelle Betrugsfälle und gibt Anleitungen zum Schutz. Opfer von Internet-Betrug erhalten konkrete Hinweise für weitere Schritte. Weiterführende Informationen unter: https://www.watchlist-internet.at/

[4] Der genannte AI-Act ist eine EU-Verordnung zu künstlicher Intelligenz und das weltweit erste umfassende KI-Gesetzeswerk, das im Juni 2024 veröffentlicht wurde. Weiterführende Informationen unter: https://eur-lex.europa.eu/eli/reg/2024/1689/oj

[5] Weiterführende Informationen sind verfügbar unter: https://www.saferinternet.at/