Framework de Evaluación LLM
Evaluación automatizada de respuestas LLM, precisión RAG y alucinaciones
Automatización E2E, API y rendimiento — cada uno con pipelines CI/CD y reportes en vivo.
Además de los repositorios open-source de referencia a continuación, cada app y paquete que publico cuenta con su propio arnés de verificación automatizada:
Arquitectura auto-verificada con tests unitarios/DOM, Playwright E2E, accesibilidad axe-core y Lighthouse CI.
Jest · Playwright · Lighthouse CI116 tests en node:test en Node 20, 22 y 24, más un job e2e que instala el paquete empaquetado en Cypress 15 y 16 y comprueba cada archivo de informe que escribe.
node:test · e2e con Cypress · publintValidación de esquemas LLM, verificación AST de specs generados y aserciones de red con cero fugas.
Playwright · Validación ASTSuites de integración FastAPI + SQLAlchemy, tests de sesión WebAuthn y expiración de enlaces firmados en R2.
Pytest · FastAPI · PlaywrightVerificación de arranque WebGL/WASM en canvas headless, barreras SHA-256 de WADs y persistencia en IndexedDB.
Playwright WASM · Barrera SHA-256Suites Vitest para la resolución de hosts del catálogo, plazos de la LGPD / RGPD, fusión de copias de seguridad y protección contra inyección en mailto, además de tsc estricto y ESLint.
Vitest · TypeScript · ESLintEvaluación automatizada de respuestas LLM, precisión RAG y alucinaciones
Escaneo de vulnerabilidades LLM, pruebas de jailbreak y red teaming con Promptfoo
Suite cross-browser en TypeScript apuntando a saucedemo.com
Specs tipados con comandos reutilizables y reportes Mochawesome
Feature files Gherkin con step definitions en JavaScript
Validación automatizada de contratos API y schemas OpenAPI / Swagger
Pruebas de contrato orientadas al consumidor para microservicios con Pact
Pruebas de Rendimiento & Carga
Pruebas de API
Colecciones de API
Arquitectura POM limpia con runner JUnit 5 y reportes Allure
Matriz @DataProvider cubriendo las 5 cuentas de saucedemo