QA Automation Engineer

Rolle: QA Automation Engineer (m/f/d)

Für ein KI-Plattform Projekt suchen wir erfahrene QA_Unterstützung durh Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist, die Plattform und den Chatbot vor dem Launch utomatisiert, reproduzierbar und belastbar abzusichern.

Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG, kuratierten Wissensquellen, Guardrails, APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter QA, manuellen Tests, Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden, idealerweise mit Azure AI Foundry.

Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team unseres Patners. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RG-/LLM-Evaluation.

Rahmenbedingungen:

Start: ASAP

Dauer: 5+ Monate

Auslastung: 50-80%

Ort: Remote

Deine Verantwortungen:

Testautomatisierung

• Automatisierte Tests für regressionkritische Frontend-, API- und Integrationsflows aufbauen und pfelgen
• Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als Quality Gate vor Deployments nutzbar machen
• Automatisierte Testfälle für Chatbot, API und Frontend definieren

RAG-/LLM-Evaluation

• Automatisierte LLM-/RAG-Evaluationen aufsetzen, inklusive Eval-Datensätzen, Qualitätsmetriken, Schwellenwerten und reproduzierbaren Eval-Runs
• RAG-Antworten anhand definierter Qualitätskriterien prüfen, z. B. fachliche Korrektheit, Verständlichkeit, Prägnanz, Zielgruppenorientierung und Quellenbezug

Übergreifend

• QA-Automa_sierungs- und Eval-Prozess für Plattform und Chatbot strukturieren
• Testdaten, Eval-Sets, Testprotokolle und QA-Statusübersichten pflegen
• Go-/No-Go-Einschätzung für den Launch vorbereiten

Wir suchen Dich:

• Mehrjährige Erfahrung als QA (Automation) Engineer für Web-, Plattform- oder digitale Produktumfelder
• Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests, z. B. mit Playwright, WebdriverIO oder vergleichbaren Frameworks
• Sicher im Umgang mit Testkonzepten, Testfällen, Bug-Reports und Regressionstests
• Erfahrung mit CI/CD-Pipelines, idealerweise GitLab, und der Integration automatisierter Tests in Deployment-Prozesse
• Technisches Verständnis für APIs, Web-Frontends, CMS-basierte Systeme und integrierte Plattformarchitekturen
• Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement
• Strukturierte, analytische und eigenständige Arbeitsweise
• Sehr gute Deutschkenntnisse, mindestens C1

Wir suchen Dich:

• Erfahrung mit KI-, Chatbot-, RAG- oder Multi-Agenten-Systemen
• Erfahrung mit LLM-/RAG-Evaluationen, idealerweise mit Azure AI Foundry / Azure AI Evaluation SDK, Langfuse, RAGAS, DeepEval, Promptfoo, LangSmith, Arize Phoenix oder vergleichbaren Eval-/Observability-Frameworks
• Verständnis von Qualitätsmetriken wie Groundedness, Relevance, Coherence, Fluency und Completeness
• Erfahrung mit Eval-Datensätzen, Ground Truth, Golden Sets oder synthetischen Testfällen
• Erfahrung mit API-Tests, Performance-Tests oder Penetrationstests
• Erfahrung mit Content-Management-Systemen, idealerweise Strapi

Wie sieht der Rekrutierungsprozess bei Ekkiden aus?

Bei Ekkiden sind wir bestrebt, jedem Kandidaten eine positive Erfahrung zu bieten.

Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen, um Ihre Motivation und Erwartungen zu besprechen.

Interviews: Je nach der Rolle, für die Sie sich bewerben, führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern.

Kundengespräch: Schließlich haben Sie die Möglichkeit, den Kunden kennenzulernen.

Obwohl dies unser Standardprozess ist, können wir Anpassungen vornehmen, die auf spezifischen Umständen basieren.