차트 전략 검증에서 과거 자료와 새 자료를 나누는 이유

이미 정한 차트 규칙을 앞으로의 자료에서 어떻게 시험할지 설명합니다. 패턴의 모양과 정의를 정하는 글과 구분해, 규칙 버전·자료 시점·비용 처리로 검증을 재현하는 데 집중합니다.

규칙을 고정한 날짜가 검증의 출발점

가상으로 1~6월 자료에서 규칙을 만들었다면, 7월 이후 검증을 시작하기 전에 진입 조건·청산 조건·가격 기준·비용 가정을 파일에 남깁니다. 7월 결과를 보고 조건을 고쳤다면 7월은 새 규칙의 독립적인 시험 자료로 부를 수 없습니다.

수정 버전에는 무엇을 바꿨는지와 그때까지 본 자료를 기록하고, 아직 보지 않은 다음 자료에서 평가합니다. 같은 시험 구간을 여러 번 살펴 조정하면 “미사용 자료로 한 번 시험했다”는 설명이 부정확해집니다. 이것만으로 표본 충분성이나 모든 과최적화 문제가 해결되는 것은 아닙니다.

한 거래를 기록하는 예시와 비용의 영향

조건이 종가로 확정된다면 그 종가를 이미 알고 같은 가격에 무조건 체결됐다고 가정하지 않습니다. 신호를 알 수 있었던 시각과 실행 가격의 가정을 분리하고, 실제 체결 가능성·호가 차이·거래 중단 여부를 확인합니다.

비용을 제외하기 전 거래별 손익 합계가 5만원이고, 가상 왕복 비용이 거래당 1,000원으로 30거래였다면 남는 손익은 2만원입니다. 수익률 비교에는 같은 투자금과 기간을 써야 하며 이 숫자는 전략 성과가 아닌 계산 예시입니다.

과최적화의 연구 배경: Bailey 등의 The Probability of Backtest Overfitting. 위의 날짜·비용 예시는 이 글의 설명이며 해당 연구의 실험 결과가 아닙니다.

발견에 쓴 자료를 시험에도 쓰면

조건을 반복해서 고르면 과거 자료의 우연에 맞춰진 규칙이 생길 수 있습니다. 규칙을 정하는 자료와 이후 성과를 살펴볼 자료를 구분하고 변경 이력을 남깁니다.

가상 사례: 기준을 여러 번 바꾸기

이동 기간과 진입 기준을 여러 번 바꿔 가장 좋은 결과만 남겼다고 가정합니다. 그 결과에는 많은 시도에서 우연히 선택된 성과가 포함될 수 있습니다. 실패한 조합도 시도 기록에 남겨야 합니다.

새 자료에서 볼 항목

수익뿐 아니라 손실 구간, 거래 횟수, 비용, 실행 가능성을 확인합니다. 너무 적은 기간이면 한 시장 환경만 반영할 수 있습니다. 좋은 시험 결과도 미래 성과를 보장하지 않습니다.

변경 뒤의 평가

규칙을 고쳤다면 어느 자료를 보고 변경했는지 적고 검증을 다시 구분합니다. 모양이 그럴듯하다는 인상만으로 통계적 검증을 대신하지 않습니다. 패턴을 정의하는 기본 문제는 관련 글에서 이어집니다.

근거와 함께 읽을 글

Tversky & Kahneman (1974), Judgment under Uncertainty: Heuristics and Biases. 위의 사례와 점검 절차는 개념을 적용한 설명이며 연구에서 제시한 수익 보장 전략이 아닙니다.

차트에서 패턴을 찾을 때: 우연과 반복 규칙 구분하기