{"id":5804,"date":"2024-02-12T18:03:05","date_gmt":"2024-02-12T17:03:05","guid":{"rendered":"https:\/\/ekiwi.de\/?p=5804"},"modified":"2024-02-12T18:03:05","modified_gmt":"2024-02-12T17:03:05","slug":"andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf","status":"publish","type":"post","link":"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/","title":{"rendered":"Andrej Karpathy, leitender Forscher bei OpenAI, deckt neue KI-Cybersicherheitsbedrohungen auf"},"content":{"rendered":"<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Inhalt<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/#Prompt_Injections\" >Prompt Injections<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/#Jailbreaks\" >Jailbreaks<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/#Data_Poisoning_und_Backdrop-Angriffe\" >Data Poisoning und Backdrop-Angriffe<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/#Kritische_Folgen_von_Sicherheitsluecken\" >Kritische Folgen von Sicherheitsl\u00fccken<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/ekiwi.de\/index.php\/5804\/andrej-karpathy-leitender-forscher-bei-openai-deckt-neue-ki-cybersicherheitsbedrohungen-auf\/#Fazit\" >Fazit<\/a><\/li><\/ul><\/nav><\/div>\n<p>Seit <strong>OpenAI ChatGPT<\/strong> ins Leben gerufen hat, ist k\u00fcnstliche Intelligenz ein hei\u00dfes Thema, das positives Interesse, aber auch Sorgen verursacht. In einem kritischen YouTube-Video legt OpenAI-Mitbegr\u00fcnder <strong>Andrej Karpathy<\/strong> die dringenden und sehr realen Sicherheitsrisiken im Zusammenhang mit KI dar. In diesem Artikel schl\u00fcsseln wir seine wichtigsten Punkte auf und erkl\u00e4ren diese leicht verst\u00e4ndliche. F\u00fcr denjenigen, der dranbleibt, gibt es am Ende noch einen Bonus: ein praktisches Tool, das Unternehmen bei der Bewertung und Abwehr von IT-Sicherheitskosten hilft.<\/p>\n<h3><span class=\"ez-toc-section\" id=\"Prompt_Injections\"><\/span>Prompt Injections<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Prompt Injections in KI-Systemen, die Webinhalte durchsuchen oder Bilder analysieren k\u00f6nnen, nutzen die F\u00e4higkeit der KI, auf subtile Muster oder versteckte Informationen in Daten zu reagieren. Beispielsweise k\u00f6nnte eine Website so gestaltet sein, dass sie f\u00fcr das menschliche Auge normal aussieht, jedoch versteckte HTML-Kommentare oder spezifische Muster enth\u00e4lt, die von einer Maschine anders interpretiert werden k\u00f6nnen. Diese dienen folglich als Befehle oder Hinweise, um die KI in einer bestimmten Weise zu steuern, sodass das Ergebnis verf\u00e4lscht wird.<\/p>\n<h3><span class=\"ez-toc-section\" id=\"Jailbreaks\"><\/span>Jailbreaks<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Jailbreaks in LLMs sind eine besonders raffinierte Form der Manipulation. Benutzer umgehen durch geschickte Formulierung ihrer Fragen die programmierten Einschr\u00e4nkungen des Modells und verleiten es zu unerw\u00fcnschten Antworten. Als Beispiel nennt Karpathy die Verwendung von Rollenspielen in Prompts, um an Informationen zu gelangen, die das Sprachmodell bei direkter Fragestellung nicht beantworten w\u00fcrde. So k\u00f6nnen durch kreative Frageformulierung die ethischen oder sicherheitstechnischen Grenzen von Sprachmodellen \u00fcberwunden werden.<\/p>\n<h3><span class=\"ez-toc-section\" id=\"Data_Poisoning_und_Backdrop-Angriffe\"><\/span>Data Poisoning und Backdrop-Angriffe<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Beim Data Poisoning werden w\u00e4hrend des Modelltrainings absichtlich manipulierte Daten eingegeben. Backdrop-Angriffe nutzen die Unf\u00e4higkeit des Modells aus, zwischen zuverl\u00e4ssigen und unzuverl\u00e4ssigen Informationsquellen zu unterscheiden, was das Risiko von Fehlinformationen erh\u00f6ht: Ein Angreifer bringt das Modell dazu, auf der Grundlage von Kontexten zu antworten, die mit einer versteckten Absicht entworfen wurden. So wird aus einer scheinbar harmlosen Anfrage, die jedoch bestimmte Schl\u00fcsselw\u00f6rter oder Phrasen enth\u00e4lt, eine Antwort mit Informationen oder Inhalten, die normalerweise nicht preisgegeben w\u00fcrden.<\/p>\n<h3><span class=\"ez-toc-section\" id=\"Kritische_Folgen_von_Sicherheitsluecken\"><\/span>Kritische Folgen von Sicherheitsl\u00fccken<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Nicht nur Privatpersonen, sondern auch viele Unternehmen nutzen KI-Tools, sodass deren Einsatz zur Normalit\u00e4t wird und damit auch die Gefahren allgegenw\u00e4rtig sind. Angesichts dieser Risiken ist es f\u00fcr Unternehmen unerl\u00e4sslich, in pr\u00e4ventive Sicherheitsma\u00dfnahmen zu investieren, die beispielsweise von <a href=\"https:\/\/www.we-it.de\/\" target=\"_blank\" rel=\"noopener\">IT-Dienstleistern<\/a> angeboten werden, um <strong>Folgen wie Datenschutzverletzungen, erhebliche finanzielle Verluste, Besch\u00e4digung der Marke und des Kundenvertrauens, Betriebsunterbrechungen und mehr zu vermeiden.<\/strong><\/p>\n<h2><span class=\"ez-toc-section\" id=\"Fazit\"><\/span>Fazit<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Angesichts der Sicherheitsl\u00fccken von KI-Technologien werden proaktive Ans\u00e4tze f\u00fcr Unternehmen unumg\u00e4nglich, um die Kosten m\u00f6glicher Angriffe zu reduzieren. Dies wird besonders deutlich, wenn die potenziellen Sch\u00e4den f\u00fcr ein Unternehmen betrachtet werden. Tools wie\u00a0<a href=\"https:\/\/www.we-it.de\/it-sicherheitsvorfall-kostenrechner\/\" target=\"_blank\" rel=\"noopener\">ROI-Rechner<\/a> k\u00f6nnen helfen, indem sie den finanziellen Nutzen von Investitionen in Sicherheitsma\u00dfnahmen im Vergleich zu den Kosten von Sicherheitsverletzungen aufzeigen. So k\u00f6nnen Unternehmen die langfristigen Einsparungen durch Pr\u00e4ventivma\u00dfnahmen quantifizieren und fundierte Entscheidungen treffen.<\/p>","protected":false},"excerpt":{"rendered":"<p>Seit OpenAI ChatGPT ins Leben gerufen hat, ist k\u00fcnstliche Intelligenz ein hei\u00dfes Thema, das positives Interesse, aber auch Sorgen verursacht.<\/p>\n","protected":false},"author":2,"featured_media":5805,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[10,591],"tags":[1114,637,715,714,509,253,176,1174],"class_list":["post-5804","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","category-security","tag-artificial-intelligence","tag-cyber-security","tag-cybersecurity","tag-informationssicherheit","tag-it-security","tag-it-sicherheit","tag-kuenstliche-intelligenz","tag-openai"],"_links":{"self":[{"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/posts\/5804","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/comments?post=5804"}],"version-history":[{"count":0,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/posts\/5804\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/media\/5805"}],"wp:attachment":[{"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/media?parent=5804"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/categories?post=5804"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ekiwi.de\/index.php\/wp-json\/wp\/v2\/tags?post=5804"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}