Job Description

ESPECIALISTA JR INTELIGENCIA ARTIF E INN
Especialista en Pruebas de Soluciones GenAI Jr
(CDMX)

En Banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México.

Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.

Objetivo del puesto: Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.

Cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de:

• Diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones GenAI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés.
• Ejecutar pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia.
• Construir suites de evaluación reproducibles con herramientas como Ragas, DeepEval, promptfoo, LangSmith, Langfuse o equivalentes, integradas en pipelines CI/CD.
• Detectar y documentar defectos, degradaciones, alucinaciones críticas y regresiones en soluciones GenAI, comunicando hallazgos al equipo de desarrollo de manera accionable.
• Apoyar pruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA.
• Validar integraciones entre soluciones GenAI, APIs empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end.
• Mantener tableros y reportes de calidad con métricas clave (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.

Requisitos:

• Formación profesional: Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas.
• Años de experiencia: 1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa.
• Áreas de experiencia:

• Diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación.
• Evaluación de modelos de IA: definición de métricas, construcción de benchmarks, curación de datasets de prueba.
• Pruebas de sistemas RAG, agentes, MCPs y APIs de LLMs (OpenAI, Azure, Google Vertex AI).
• Testing de APIs REST, validación de contratos y pruebas de carga básicas.
• Exposición a frameworks de evaluación LLM: Ragas, DeepEval, promptfoo, LangSmith, Langfuse o equivalentes.
• Lectura y análisis de logs, trazas de agentes y resultados de evaluación.

• Conocimientos requeridos:

• Programación en Python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis.
• Fundamentos de LLMs, embeddings, transformers y evaluación de calidad de generación.
• Herramientas de evaluación y observabilidad de IA (LangSmith, Langfuse, Ragas, promptfoo, DeepEval, Helicone).
• Uso de APIs de LLMs (OpenAI, Azure, Google Vertex AI) y construcción de clientes programables.
• Métricas de calidad para GenAI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore, etc.
• Fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking.
• Integración de pruebas en pipelines CI/CD (Azure DevOps, GitHub Actions, Gitlab).
• Manejo de Git, control de versiones de datasets y trazabilidad de experimentos.
• Capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).

• Idiomas: Inglés avanzado (lectura y escritura técnica, comunicación fluida).
• Disponibilidad para viajar: Deseable para asistir a eventos nacionales e internacionales sobre IA e Innovación
• Disponibilidad para cambio de residencia: No es necesario

Haz clic en el botón aplicar yno pierdas la oportunidad de desarrollar todo tu potencial.

En Grupo Financiero Banorte impulsamos una cultura de inclusión, respeto y equidad. Todas las personas interesadas en formar parte de nuestro equipo son consideradas bajo criterios objetivos, relacionados con su talento, experiencia y habilidades. Nuestro compromiso es garantizar procesos de selección transparentes.