Chatboti jako je ChatGPT, Google Bard či jiní jsou dobrými sluhy, ale zároveň mohou pro společnost představovat velké riziko. Jsou totiž zranitelní vůči útokům založených na nepřímé, okamžité injektáži. Jinými slovy je lze snadno přinutit k tomu, aby dělali to, co by neměli. Málokdo si uvědomuje, že systémy, které využívají umělé neuronové sítě a prvky umělé inteligence pomocí technologie velkých jazykových modelů (LLM) lze pomocí speciálních instrukčních sad flexibilně modulovat. Tyto sady je činí náchylnými k cílenému útoku, tzv. nepřímé injektáži, kterou mohou útočníci přepsat původní funkce systému. Co je injektáž pro LLM Při injektáži do generativní umělé inteligence útočník vloží na vstup LLM škodlivý kód (případně celou sadu) nebo data, čímž odstartuje sled událostí, které mohou vést k četným škodám. Mezi ně patří např. krádež dat, neoprávněná transakce, poškození systému či kybernetický útok. To je IT odborníky považováno za jeden z nejvíce znepokojivých způsobů, jak mohou hackeři velké jazykové modely zneužít. Velké korporace a menší start-upy totiž často spouštějí nebo využívají veřejné generativní systémy umělé inteligence, aniž by si uvědomovaly případná rizika. Proto se odborníci na kybernetické zabezpečení všeobecně snaží o potenciálních nebezpečích zvýšit povědomí. „Vzhledem k tomu, že stále více společností LLM využívá, a ve velkém do nich vkládají osobní či podniková data, jde o velké riziko. Právě proto se útočníci zaměřili na krádeže AI Chatbot účtů – viz. např. Malware Raccoon, díky kterému bylo ukradeno a na Dark Webu vystaveno již cca 80 tisíc ChatGPT účtů. Pokud podobné služby ve firemním prostředí využíváte, doporučujeme vám v první řadě u těchto nástrojů nastavit MFA, nevkládat do chatu citlivá data a ideálně pak neukládat historii konverzací,“ vysvětluje Petr Kocmich, Global Cyber Security Delivery Manager společnosti Soitron. Jak injektáž pro LLM funguje Existuje několik různých způsobů, jak může útočník injektáž do LLM provést. Jedním z nejběžnějších způsobů je vložení škodlivého kódu nebo dat do vstupu, který je LLM předán. Tento vstup může být čímkoliv, od textu až po obrázek. Útočník může například vložit škodlivý kód na vstup chatbota. Kdyby uživatel následně chatbotovi položil otázku, mohl by tento škodlivý kód spustit zamýšlený útok. Dalším způsobem je zneužití chyby v aplikaci, která LLM využívá. Zjednodušeně řečeno, pokud někdo dokáže vložit data do LLM, pak může potenciálně manipulovat s tím, co se objeví na výstupu. Obrana proti injektáži pro LLM Odborníci na bezpečnost pravidelně ukazují, jak lze nepřímou okamžitou injektáž použít k manipulaci či krádeži dat, v horším případě i ke vzdálenému spuštění kódu. Existuje několik opatření, která mohou vývojáři a správci systémů podniknout, aby systémy před injektáží do LLM ochránili. Jedním z nejdůležitějších, avšak ne zcela banálních, je použít správné ošetření vstupu, které pomáhá zabránit vložení škodlivého kódu nebo dat. „Přestože vývojáři chatbotů disponují týmy, které pracují na zabezpečení LLM systémů, identifikaci a filtraci injektovaného kódu pro manipulaci či exfiltraci dat a vzdáleného spuštění kódu, není v jejich silách předem všechny potenciálně nebezpečné vstupy identifikovat, ošetřit a zabránit jim. V kyberbezpečnosti jsme si již zvykli, že útočníci využívají tzv. obfuskace (maskování) kódu. Nyní se bavíme prakticky o obfuskaci na úrovni zpracování přirozeného jazyka (NLP), kdy kýžené funkcionality dokážeme dosáhnout různorodě psaným textem,“upozorňuje Petr Kocmich. Existují i specializovaná řešení I z tohoto důvodů společnosti přistupují k tomu, že používání veřejně dostupných chatbotů stále více omezují. Případně se zamýšlejí, jak generativní umělou inteligenci integrovat, respektive implementovat do aplikací a služeb. Je zapotřebí si totiž uvědomit, že ve chvíli, kdy dochází k přijmutí informací od třetích stran (např. z internetu), nelze LLM nadále důvěřovat. K LLM je proto nutné vždy přistupovat obezřetně. V tomto případě dostávají přednost specializované generativní systémy, které jsou přímo navržené k firemnímu použití, a do kterých je možné vkládat podniková data, která nikdy neopustí toto prostředí – používají pouze interní data, která jsou zpracovávána lokálně. „Takovým je například i naše služba Millada, která ačkoliv je postavena na modelu ChatGPT, pracuje s daty lokálně.Oproti jiným informačním technologiím a systémům je její implementace navíc mnohem jednodušší, neboť funguje nezávisle na úrovni zpracovatele dat,“ prozrazuje Kocmich a dodává, že LLM je nápomocná technologie, ale rozhodně vyžaduje pečlivé a zodpovědné používání. The post Injektáž škodlivých kódů do generativní AI může znepokojujícím způsobem zneužít data appeared first on Soitron.
Hodina kódu (anglicky Hour of Code), někdy uváděna pod názvem Hodina kódování, je celosvětová akce, která má za cíl přiblížit programování žákům a široké veřejnosti a ukázat, že každý se může naučit jeho základy. Za vznikem a pořádáním akce stojí organiza
projít na článekV Bidding Foxu se můžete setkat s upozorněním, že se nestahují data z Google Analytics. To může znamenat dvě věci. První je, že se data opravdu nestahují a problém může být například v nastavení zdroje a média (řešení v MERGADU, řešení v Biddingu Foxu). D
projít na článekPátek neznačí jen konec pracovního týdne, ale také náš pravidelný seriál, který vám přináší výběr těch nejlepších aplikací a her, které jsou aktuálně ve slevě na App Store. Tentokrát můžeme z našeho výběru vypíchnout povedený deník DayGram, propracovanou
Každý z nás máme ve svých telefonech, počítacích, tabletech, nebo notebooku uložené velké množství dat, přes fotografie počínaje po různé důležité dokumenty konče. 30 % obyvatel České republiky přitom zapomíná tyto důležitá data zálohovat a tím s
projít na článekPower BI je nová inovativní integrace, která umožňuje našim klientům publikovat jakákoli data z našeho Vistos CRM přímo do analytického nástroje společnosti Power BI. Díky našemu API rozhraní je nyní možné jednoduše a efektivně posílat data z Vistos CRM d
projít na článek