I ett bedrägeri där AI-röstkloning används för att iscensätta en nödsituation i familjen kan den som ringer låta precis som en anhörig. Enligt FTC behöver en bedragare bara ett kort ljudklipp av en familjemedlems röst och ett program för röstkloning. Eftersom rösten går att kopiera handlar granskningen av ett samtal om vad den som ringer ber om och hur, inte bara om hur personen låter. Den här genomgången redovisar vad de officiella källorna säger, håller isär vår egen tolkning och visar var underlaget tar slut.
Så används AI-röstkloning i bedrägerier med falska nödsituationer
FTC:s konsumentvarning om AI och bedrägerier med nödsituationer i familjen beskriver vad en bedragare behöver för att klona en röst: ett kort ljudklipp av en familjemedlems röst, som kan komma från material som lagts upp på nätet, och ett program för röstkloning.
IC3:s meddelande till allmänheten om generativ AI och bedrägerier lägger till ett bredare perspektiv: generativ AI minskar den tid och möda som brottslingar behöver lägga på att lura sina måltavlor.
Vad källorna säger:
- Ett kort ljudklipp och ett program för röstkloning räcker för att klona en familjemedlems röst.
- Klippet kan komma från material som lagts upp på nätet.
- Generativ AI minskar den tid och möda som brottslingar behöver för att lura sina måltavlor.
Vår tolkning: om en röst kan klonas utifrån ett kort klipp bevisar en välbekant röst i luren inte i sig vem som ringer. De källor som anges här mäter inte hur övertygande klonade röster är eller hur ofta sådana samtal förekommer.
Varningssignaler i ett samtal om en nödsituation i familjen
FTC:s vägledning om bedrägerier med falska nödsituationer beskriver flera tillvägagångssätt. Formuleringarna nedan följer källan, inklusive dess förbehåll som ”kan” och ”kanske”.
| Vad FTC beskriver | Uppgift i källan |
|---|---|
| Personuppgifter | Bedragare kan känna till måltavlans namn, var personen bor och annan information som hittats på sociala medier eller genom intrång i en familjemedlems e-post. |
| Auktoritetspersoner | Bedragare kan utge sig för att vara en auktoritetsperson, till exempel en falsk advokat, polis eller läkare som sägs hjälpa familjemedlemmen. |
| Hemlighetsmakeri | Bedragaren kan säga att det är viktigt att hålla situationen hemlig. |
| Betalningssätt | Bedragare kräver ofta betalningssätt som är svåra att återkalla. |
Vår tolkning: varje rad beskriver något som den som ringer säger eller ber om. Personuppgifter, en officiellt klingande tredje part och en begäran om tystnad listas alla som möjliga bedrägeritaktiker. Uppgifter som verkar bekräfta historien bevisar alltså inte att den är sann. Källan säger inte att något enskilt tecken bevisar att ett samtal är ett bedrägeri, och den här artikeln påstår inte heller det.
Betalningskrav som gör pengarna svåra att få tillbaka
FTC:s källor lägger vikt vid hur bedragare vill få betalt. FTC:s konsumentvarning om AI-förstärkta bedrägerier med nödsituationer i familjen slår fast att bedragare begär betalning på sätt som gör det svårt att få tillbaka pengarna.
FTC:s artikel om falska nödsituationer räknar upp de svåråterkallade betalningssätt som bedragare ofta insisterar på:
- Överföra pengar via företag som Western Union eller MoneyGram.
- Skicka kryptovaluta.
- Använda en betalningsapp.
- Lämna ut numren på baksidan av presentkort.
Listan beskriver vad bedragare ber om. Den är ingen bedömning av något företag, någon app eller tillgång, och inte heller en rekommendation för eller emot någon av dem. Det material som anges här förklarar inte hur man får tillbaka pengar efter att ha betalat. Den processen ligger utanför den här artikelns ram.
Vad IC3:s meddelande säger om syntetiskt ljud och identitetsbedrägerier
IC3:s meddelande till allmänheten placerar röstkloning i ett bredare sammanhang av AI-drivna bedrägerier. Där står att:
- Att skapa eller sprida syntetiskt innehåll är inte i sig olagligt, men syntetiskt innehåll kan användas för att underlätta brott som bedrägeri och utpressning.
- Brottslingar får tillgång till bankkonton genom att utge sig för att vara andra personer med hjälp av AI-genererade ljudklipp av dem.
- Brottslingar skapar falska identitetshandlingar, till exempel falska körkort eller falska legitimationer från polis, myndigheter eller banker, för identitetsbedrägerier och bedrägerier där de utger sig för att vara någon annan.
Vår tolkning: meddelandet omfattar mer än samtal om nödsituationer i familjen. Det beskriver hur AI-genererat ljud används mot bankkonton och hur falska legitimationer används i bedrägerier där gärningspersonen utger sig för att vara någon annan. I ett samtal om en nödsituation i familjen är det en påminnelse om att en påstådd polis, advokat eller tjänsteman också kan vara falsk. FTC:s vägledning gör samma poäng om falska auktoritetspersoner. Meddelandet anger inga siffror om hur utbredda dessa metoder är, och den här artikeln uppskattar dem inte heller.
FTC:s arbete mot skadlig röstkloning
FTC:s konsumentvarning om kampen mot skadlig röstkloning beskriver myndighetens tävling Voice Cloning Challenge och dess bredare arbete:
- Tävlingens huvudsyfte var att uppmuntra innovativa sätt att hjälpa till att skydda människor mot skador från AI-driven röstkloning.
- FTC delade ut fyra förstapriser till de vinnande bidragen.
- Ett av de vinnande bidragen var en teknik som skulle upptäcka röstkloning och deepfakes i realtid i inkommande telefonsamtal eller digitalt ljud, i avsnitt om två sekunder.
- FTC:s arbete med röstkloning omfattar att förebygga skador där det är möjligt, ett föreslaget heltäckande förbud mot bedrägerier där någon utger sig för att vara någon annan, samt att tillämpa Telemarketing Sales Rule på AI-drivna bedrägerisamtal.
Var underlaget tar slut: källan beskriver tekniken för upptäckt i termer av vad den ”skulle” göra. Det material som anges här säger inte hur träffsäker den är, om den finns tillgänglig för konsumenter eller hur den fungerar mot verkliga bedrägerisamtal. Förbudet mot bedrägerier där någon utger sig för att vara någon annan beskrivs som ”föreslaget”, och den här artikeln säger inte om det har trätt i kraft. Inget här ska läsas som att något verktyg på ett tillförlitligt sätt kan skilja en klonad röst från en äkta.
Att granska ett samtal om en nödsituation i familjen: vad källorna säger och inte säger
Det material från FTC och IC3 som anges här fokuserar på hur bedrägerierna fungerar och vilka tillvägagångssätt man ska vara uppmärksam på. Så som det används i den här artikeln innehåller det ingen steg-för-steg-rutin för verifiering. Däremot ger det en uppsättning tecken hämtade från FTC:s vägledning om bedrägerier med falska nödsituationer och FTC:s varning om AI-förstärkta bedrägerier med nödsituationer i familjen:
- en röst som kan ha klonats utifrån ett kort klipp som lagts upp på nätet;
- personuppgifter som kan komma från sociala medier eller ett hackat e-postkonto;
- en påstådd advokat, polis eller läkare som kan vara falsk;
- en begäran om att hålla situationen hemlig;
- ett krav på betalning på ett sätt som är svårt att återkalla.
Vår tolkning: att verifiera innebär här att inte förlita sig på någon enskild signal som den som ringer kontrollerar, vare sig det gäller rösten, personuppgifterna eller den officiellt klingande tredje parten. Allt detta kan bedragare tillhandahålla. Det är vår läsning av källorna, inte ett steg som de själva anger.
Den här artikelns begränsningar
Den här artikeln är utbildningsinformation som enbart bygger på de officiella källor som anges ovan.
Den utgör inte investerings-, juridisk eller finansiell rådgivning.
Den tar inte upp hur man får tillbaka pengar, hur man anmäler ett bedrägeri eller hur väl något verktyg för upptäckt fungerar.
Den mäter inte hur vanliga bedrägerier med röstkloning är.