Prompt Engineering & LLM Security: Injection, Jailbreaks und Guardrails
Sprachmodelle lassen sich mit geschickt formulierten Eingaben austricksen – direkt im Chat oder versteckt in Dokumenten, E-Mails und Webseiten, die ein RAG-System oder Agent liest. In drei Lerntagen lernst du die Angriffe kennen, baust Schritt für Schritt eine Abwehr aus Input- und Output-Rails und sicherst eine LLM-Anwendung für den Produktivbetrieb ab. Jede Übung läuft als echter Python-Code im Browser; Werkzeuge wie Garak, PyRIT, NeMo Guardrails und Llama Guard werden realitätsnah simuliert.
Was du lernst.
- Prompts strukturiert schreiben und System-Prompts gegen Manipulation härten
- Direkte und indirekte Prompt Injection sowie Jailbreak-Muster erkennen
- Input- und Output-Rails mit NeMo Guardrails und Llama Guard konzipieren
- Personenbezogene Daten und Secrets per Redaction aus Ein- und Ausgaben filtern
- Endpoints mit Authentifizierung, Rate Limiting und Audit-Log absichern
- Angriffe mit Red Teaming testen und im Betrieb per Monitoring erkennen
So ist der Kurs aufgebaut.
- Tag 1 · Prompt Engineering & Prompt InjectionPrompt-Muster, System-Prompts, direkte und indirekte Injection, Jailbreaks, OWASP LLM Top 10, eigener Injection-Detektor in Python.
- Tag 2 · GuardrailsInput- und Output-Rails, NeMo Guardrails (Colang) und Llama Guard, PII- und Secret-Redaction, Red Teaming mit Garak und PyRIT (simuliert).
- Tag 3 · Production & CapstoneAuth, Rate Limiting, Audit-Logs, Monitoring mit Anomalie-Erkennung, Incident-Playbook – und eine von fünf agentischen Freitags-Challenges.
Für Entwickler, ML- und Plattform-Engineers sowie Security-Verantwortliche, die LLM-Anwendungen, Chatbots, RAG-Systeme oder KI-Agenten sicher betreiben wollen.
Python-Grundkenntnisse (Variablen, Funktionen, Listen und Dictionaries) und ein erster Kontakt mit ChatGPT, Claude oder einem anderen LLM. Für die Übungen genügt ein aktueller Browser.
Du erkennst die typischen Angriffe auf LLM-Anwendungen, baust eine mehrstufige Abwehr und weißt, wie du sie im Betrieb testest und überwachst.
Häufige Fragen zu Prompt Engineering & LLM Security.
Brauche ich einen API-Schlüssel für ein LLM?
Nein. Alle Übungen laufen ohne API-Schlüssel im Browser. Wo ein Modell oder Werkzeug nötig wäre, liefert der Kurs realistische, simulierte Ausgaben.
Laufen NeMo Guardrails und Llama Guard wirklich im Browser?
Nein. Ihre Entscheidungen werden simuliert. PII-Redaction, Rate Limiting, Regex-Detektoren und die Anomalie-Erkennung laufen dagegen als echter Python-Code (Pyodide).
Lerne ich hier, wie man Modelle angreift?
Du lernst die Angriffsmuster, um sie abzuwehren – ausschließlich in der Lernumgebung und mit klarem Fokus auf Verteidigung.
Passt der Kurs zu RAG und Agenten?
Ja. Indirekte Prompt Injection über Dokumente und zu weit gefasste Agenten-Rechte sind zentrale Themen – ideal in Kombination mit „RAG & Wissensmanagement“ oder „Agentic Coding“.
Der CLAUDE.md-Spickzettel.
Vorlage, Regeln und häufige Fehler auf zwei Seiten – dazu etwa zwei Praxis-Tipps im Monat. Jederzeit abbestellbar.