Werkstudent:in AI Quality Engineering (m/w/d)

Deine Mission Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet. Aufgaben Deine Aufgaben • Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry) • Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen • Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen • Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle Qualifikation Das bringst du mit Must-haves: • Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.) • Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen • Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen) • Strukturiertes, analytisches Denken • Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse von Vorteil Nice-to-have: • Erste Erfahrung mit Python und/oder Testing-Frameworks • Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation Benefits Was dich bei uns erwartet • Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität • Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet • Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset • Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly • Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele. Find Jobs in Germany (https://www.arbeitnow.com/) on Arbeitnow