Senior AI Engineer – AI Agents & LLMs (m/f/d)

ABOUT US (German Version Below) MERMEC is a multinational company founded in 1970 and a member company of ANGEL, the largest private Italian high-tech holding that includes some of the most innovative companies in the railway, aerospace, and digital mechatronic sectors. We are active in advanced technologies for rail transport (signalling, measuring trains and systems, electric traction, telecommunication), and industrial applications. The MERMEC Group boasts unparalleled technical know-how, which has enabled it to develop and market a well- structured portfolio of advanced solutions currently used in 73 countries worldwide, by more than 180 customers.The Group owns the widest portfolio of automatic optoelectronic systems for the measurement and inspection of railway infrastructure, fully designed and produced in-house, including software and artificial vision algorithms. Today, the MERMEC Group employs over 2.500 highly specialized engineers & staff, it’s active in 7 different strategic business areas with branches, offices, and facilities in 21 countries worldwide. OUR VISION We develop intelligent technologies that bridge the physical and digital worlds. By transforming complex real-world data into actionable digital insights, we empower organizations to build safer, more efficient, and more sustainable infrastructure. Our solutions support critical industries - particularly railwayand transportation - by enablingsmarter decision-making through advanced data processing, automation, and artificial intelligence. We believe that innovation happens when cutting-edge technology meets real operational challenges. That is the reality we strive to create every day. THE COMPANY As Mermec Deutschland GmbH, the German subsidiary of Compagnie des Signaux in France, part of the MERMEC Group, which operates worldwide, MERMEC Deutschland works closely with international teams and contributes to cross-border railway signaling and digitalization projects, particularly within the DACH region. What we are looking for MERMEC Deutschland is looking for a Senior AI Engineer to design, develop and deploy AI agents and software solutions for analysing and processing enterprise data. This is a hands-on, engineering- and product-oriented position combining software development, technical leadership and team development. Reporting directly to the Head of AI, you will translate defined business objectives into technical strategies, architectures and production-ready solutions. You will take ownership of technical decisions, select suitable models, frameworks and tools, and support other engineers in developing their skills. Your scope will include AI agents, LLM post-training and fine-tuning, local inference, data pipelines and frontend development, with responsibility extending from prototyping to production deployment and continuous improvement. Your responsibilities - Deploy AI agents and perform LLM post-training and fine-tuning. Design, develop and deploy AI agents to analyse and process enterprise data. Adapt LLMs to specific business use cases through post-training, including fine-tuning, and integrate agents with enterprise tools, data sources and applications. - Own the technical implementation strategy. Translate the objectives defined by the Head of AI into technical plans and architectural decisions. Evaluate and select models, frameworks and tools, balancing solution quality, security, maintainability, performance and cost. - Implement and optimise local LLM inference. Deploy and optimise local LLM inference on Apple Silicon and AMD-based platforms. Select suitable runtimes and deployment approaches, taking into account hardware compatibility, memory requirements, latency and throughput. - Build data pipelines and integrate SQL/NoSQL databases and data warehouses. Design and implement pipelines for ingesting, transforming and processing enterprise data. Develop RAG workflows covering document preparation, embeddings, indexing and retrieval, with appropriate data quality checks and access controls. - Evaluate AI agents. Define and implement evaluation frameworks to assess task completion, output accuracy, retrieval quality, tool-use reliability, robustness, latency and cost. Develop representative test datasets and automated regression tests to support release decisions and continuous improvement. - Develop frontend applications. Build user interfaces that enable users to interact with AI agents, explore enterprise data and review results. Integrate frontend applications with backend services and work with stakeholders to deliver practical, user-friendly solutions. - Deliver solutions from prototype to production. Own implementation, integration, automated testing, containerisation, deployment and operational readiness. Use Docker and Kubernetes where appropriate, establish monitoring and continuously improve reliability, scalability and operational performance. - Provide technical leadership and develop the team. Mentor engineers, conduct code and architecture reviews, establish engineering practices and promote knowledge sharing. Help team members grow in technical capability, autonomy and responsibility while remaining actively involved in software development. Your profile - A Master’s degree in Computer Science, Artificial Intelligence, Data Science, Engineering or a closely related technical discipline, and at least four years of professional experience in AI. - Strong software engineering skills in Python, with hands-on experience developing AI agents, Retrieval-Augmented Generation (RAG) solutions, machine learning (ML) applications and data engineering pipelines. Proficiency in software architecture, modular and maintainable code, API design, version control and automated testing. - Practical experience developing AI agents and RAG solutions, together with hands-on experience in LLM post-training or fine-tuning. - Practical experience with LangChain and/or LangGraph, vector databases such as Qdrant, PyTorch and/or TensorFlow, and Docker and Kubernetes. - Demonstrated experience taking AI solutions beyond proofs of concept into production, including data and application integration, evaluation, deployment and monitoring. - The ability to make and explain independent technical decisions, assess trade-offs and translate business objectives into deliverable solutions. Experience mentoring engineers and supporting their technical development. - Fluent written and spoken English, with the ability to communicate technical concepts clearly to both technical and non-technical colleagues. - Hands-on experience developing APIs and backend services with FastAPI, and implementing asynchronous task processing with Celery and Redis. - Practical experience designing, building and integrating knowledge graphs into AI applications, including AI agents and RAG solutions. Preferred qualifications Experience in the railway sector is an advantage, but not a requirement. German language skills are desirable. What the role offers A senior position with substantial technical ownership and direct collaboration with the Head of AI. You will help shape the technical approach to AI agents and enterprise AI solutions, contribute directly to software delivery and support the development of the engineering team. The position is based in Munich and offers a hybrid working model. WHAT WE OFFER - Permanent full-time contract - Hybrid work model: up to 10 remote days per month (minimum 2 days on-site presence) - Modern and international working environment - We actively invest in the development of our employees - Structured global onboarding program - Intercultural training and support - Continuous support in preparing for your next career step - Monthly meal vouchers / restaurant tickets - Monthly non-cash benefit (Sachbezug) of EUR 50 - Health & wellbeing budget of up to EUR 250 every two years, e.g. for: - glasses / visual aids - health-related services - Company laptop and mobile phone - Access to corporate benefits programs and additional employee perks WHY JOIN US Be part of an International Corporate Group and contribute to the development of a forward-looking sector, participating in the creation of a more sustainable and environmentally friendly way of transport, capable of tackling the major challenges of the 21st century. All MERMEC group companies bring innovative solutions to the market which guarantee safe and efficient management of the railway infrastructure. We work with the highest integrity, culture of compliance and respect for human rights, while reducing the impact of our technology and environmental footprint. Join the rapidly growingrailway market, whosewide range of professions (Systems, Hardware, Software, AI, Communication, Cybersecurity etc.) offers numerouscareer paths and opportunities to work toward safer and more efficient transportation. Work in a stimulating and collaborative environment, with rapid decision-making processes and where everyone has the opportunity to make a real contribution. Mermec’s unwavering commitment to fostering an inclusive and diverse workplace has laid the foundation for our incredible growth. We thrive on the collective strength of our people who come from diverse backgrounds. We respect and value every experience associated with ethnicity, gender identity, sexual orientation, nationality, religion and disability. WHAT’S NEXT / NEXT STEPS If you’re excited about this opportunity, don’t wait any longer - send us your CV in English or German. If your application is shortlisted, we’ll get in contact with you. Then, you can expect to go through up to 2-3 rounds of interviews, where we wouldlove to discover your passion and interests, introduce you to who we are and what drives us, and finally understand how we can potentially add value to each other's growth. Now it’s your turn. Good luck! Über die Position MERMEC Deutschland sucht einen Senior AI Engineer für die Konzeption, Entwicklung und Bereitstellung von KI-Agenten und Softwarelösungen zur Analyse und Verarbeitung von Unternehmensdaten. Diese Position ist auf praktische Softwareentwicklung und den produktiven Einsatz von KI-Lösungen ausgerichtet. Sie verbindet eigene Entwicklungsarbeit mit technischer Verantwortung und der Weiterentwicklung des Teams. Sie berichten direkt an den Head of AI und übersetzen die vorgegebenen Geschäftsziele in technische Strategien, Architekturen und produktionsreife Lösungen. Sie übernehmen die Verantwortung für technische Entscheidungen, wählen geeignete Modelle, Frameworks und Werkzeuge aus und unterstützen andere Entwicklerinnen und Entwickler beim Ausbau ihrer Fähigkeiten. Ihr Aufgabenbereich umfasst KI-Agenten, Post-Training und Fine-Tuning von LLMs, lokale Inferenz, Datenpipelines und Frontend-Entwicklung. Ihre Verantwortung reicht von der Prototypenentwicklung über die Bereitstellung im Produktivbetrieb bis zur kontinuierlichen Verbesserung. Ihre Aufgaben - KI-Agenten bereitstellen sowie Post-Training und Fine-Tuning von LLMs durchführen. Sie konzipieren, entwickeln und implementieren KI-Agenten zur Analyse und Verarbeitung von Unternehmensdaten. Sie passen LLMs durch Post-Training, einschließlich Fine-Tuning, an konkrete betriebliche Anwendungsfälle an und integrieren die Agenten mit unternehmensinternen Werkzeugen, Datenquellen und Anwendungen. - Die technische Umsetzungsstrategie verantworten. Sie überführen die vom Head of AI definierten Ziele in technische Pläne und Architekturentscheidungen. Sie bewerten und wählen Modelle, Frameworks und Werkzeuge aus und berücksichtigen dabei Lösungsqualität, Sicherheit, Wartbarkeit, Leistungsfähigkeit und Kosten. - Lokale LLM-Inferenz implementieren und optimieren. Sie implementieren und optimieren die lokale Ausführung von LLMs auf Apple Silicon und AMD-basierten Plattformen. Sie wählen geeignete Laufzeitumgebungen und Bereitstellungsansätze aus und berücksichtigen dabei Hardwarekompatibilität, Speicherbedarf, Latenz und Durchsatz. - Datenpipelines aufbauen sowie SQL-/NoSQL-Datenbanken und Data Warehouses integrieren. Sie konzipieren und implementieren Pipelines zur Erfassung, Transformation und Verarbeitung von Unternehmensdaten. Sie entwickeln RAG-Workflows für Dokumentenaufbereitung, Embeddings, Indexierung und Informationsabruf und berücksichtigen geeignete Datenqualitätsprüfungen und Zugriffskontrollen. - KI-Agenten evaluieren. Sie definieren und implementieren Evaluierungsverfahren zur Bewertung der erfolgreichen Aufgabenerledigung, der Genauigkeit der Ausgaben, der Qualität des Informationsabrufs, der zuverlässigen Werkzeugnutzung sowie von Robustheit, Latenz und Kosten. Sie entwickeln repräsentative Testdatensätze und automatisierte Regressionstests als Grundlage für Freigabeentscheidungen und kontinuierliche Verbesserungen. - Frontend-Anwendungen entwickeln. Sie entwickeln Benutzeroberflächen, über die Anwenderinnen und Anwender mit KI-Agenten interagieren, Unternehmensdaten erkunden und Ergebnisse prüfen können. Sie integrieren Frontend-Anwendungen mit Backend-Diensten und entwickeln gemeinsam mit den beteiligten Fachbereichen praxistaugliche, benutzerfreundliche Lösungen. - Lösungen vom Prototyp in den Produktivbetrieb überführen. Sie verantworten Implementierung, Integration, automatisierte Tests, Containerisierung, Bereitstellung und Betriebsbereitschaft. Sie setzen Docker und Kubernetes bedarfsgerecht ein, etablieren Monitoring und verbessern kontinuierlich Zuverlässigkeit, Skalierbarkeit und Leistungsfähigkeit im Betrieb. - Das Team fachlich führen und weiterentwickeln. Sie begleiten Entwicklerinnen und Entwickler durch Mentoring, führen Code- und Architektur-Reviews durch, etablieren bewährte Entwicklungspraktiken und fördern den Wissenstransfer. Sie stärken die technischen Fähigkeiten, die Selbstständigkeit und die Verantwortungsübernahme im Team und arbeiten weiterhin aktiv an der Softwareentwicklung mit. Ihr Profil - Ein Masterabschluss in Informatik, Künstlicher Intelligenz, Data Science, Ingenieurwissenschaften oder einem eng verwandten technischen Fachgebiet sowie mindestens vier Jahre Berufserfahrung im Bereich KI. - Fundierte Software-Engineering-Kompetenzen in Python sowie praktische Erfahrung in der Entwicklung von KI-Agenten, Retrieval-Augmented-Generation-Lösungen (RAG), Machine-Learning-Anwendungen (ML) und Data-Engineering-Pipelines. Fundierte Kenntnisse in Softwarearchitektur, modularer und wartbarer Programmierung, API-Design, Versionsverwaltung und automatisierten Tests. - Praktische Erfahrung in der Entwicklung von KI-Agenten und RAG-Lösungen sowie im Post-Training oder Fine-Tuning von LLMs. - Praktische Erfahrung mit LangChain und/oder LangGraph, Vektordatenbanken wie Qdrant, PyTorch und/oder TensorFlow sowie Docker und Kubernetes. - Nachweisbare Erfahrung darin, KI-Lösungen über die Machbarkeitsprüfung hinaus in den Produktivbetrieb zu überführen, einschließlich Daten- und Anwendungsintegration, Evaluierung, Bereitstellung und Monitoring. - Die Fähigkeit, technische Entscheidungen eigenständig zu treffen und nachvollziehbar zu begründen, Zielkonflikte abzuwägen und Geschäftsziele in umsetzbare Lösungen zu übersetzen. Erfahrung im Mentoring und in der fachlichen Weiterentwicklung von Entwicklerinnen und Entwicklern. - Fließende Englischkenntnisse in Wort und Schrift sowie die Fähigkeit, technische Zusammenhänge sowohl technischen als auch nichttechnischen Ansprechpartnern verständlich zu vermitteln. - Praktische Erfahrung in der Entwicklung von APIs und Backend-Diensten mit FastAPI sowie in der Implementierung asynchroner Aufgabenverarbeitung mit Celery und Redis. - Praktische Erfahrung in der Konzeption, dem Aufbau und der Integration von Wissensgraphen (Knowledge Graphs) in KI-Anwendungen, einschließlich KI-Agenten und RAG-Lösungen. Wünschenswerte Kenntnisse Erfahrung im Bahnsektor ist von Vorteil, aber keine Voraussetzung. Deutschkenntnisse sind wünschenswert. Was die Position bietet Eine Senior-Position mit umfangreicher technischer Eigenverantwortung und direkter Zusammenarbeit mit dem Head of AI. Sie gestalten den technischen Ansatz für KI-Agenten und unternehmensbezogene KI-Lösungen mit, wirken unmittelbar an der Softwareentwicklung mit und unterstützen die Weiterentwicklung des Engineering-Teams.