Prueba fuera de muestra

Una prueba fuera de muestra (out-of-sample) evalúa una estrategia con datos que se apartaron mientras se construía. Primero se fijan las reglas, los parámetros y los costes, y después se aplican al periodo reservado. El periodo dentro de muestra son los datos de desarrollo; ahí los resultados casi siempre son mejores, porque las decisiones se ajustaron a ellos.

Ejemplo

Una regla sobre el oro se construye con 2012–2021 y gana allí +0,6 pb por operación después de costes. Después se aplica, sin cambios, a 2022–2024 y obtiene −0,4 pb por operación después de costes. El resultado dentro de muestra no se mantiene, así que la regla se descarta.

Por qué importa

Si los datos reservados se usan una y otra vez para elegir entre variantes, dejan de estar fuera de muestra. En nuestro laboratorio, el periodo fuera de muestra y el umbral para aprobar se dejan por escrito antes de ejecutar la prueba.