50가지 전략을 경험하고 만든 '과최적화' 판별 공식
백테스팅 결과 과최적화 의심하기.
한참 퀀트 투자와 자산배분에 매료되었던 시절, 제 퇴근 후 일상은 마치 컴퓨터 게임을 하듯 엄청난 주식 매매 전략을 만들어내는 것이었습니다. 백테스트 도구에서 연복리 수익률(CAGR)이 세 자릿수를 넘어가고 최대낙폭(MDD)은 극도로 낮은 화려한 수치를 보고 있노라면 "이 전략을 조금만 일찍 알았더라면 내 인생이 어떻게 바뀌었을까?" 하는 짜릿한 상상에 빠지곤 했습니다. 그러나 그 화려한 숫자들이 과거 데이터에만 딱 맞추어진 '과최적화(Overfitting)'라는 환상임을 깨닫는 데는 그리 오랜 시간이 걸리지 않았습니다. 수많은 퀀트 투자자와 자산배분가가 유튜브나 유명 유명 블로그의 백테스트 수치만 믿고 실전 계좌에 뛰어들었다가 잔혹한 손실을 보는 이유와, 과최적화를 걸러내고 미래에도 깨지지 않는 진짜 포트폴리오를 구별해 내는 실전 검증 공식을 정리해 드립니다.
수익률이 예쁠수록 의심해야 하는 이유
백테스트란 과거의 주가나 지수 데이터를 바탕으로 특정 투자 규칙을 적용했을 때 얼만큼의 수익률과 손실폭이 발생하는지 성과를 검증해 보는 필수적인 과정입니다. 하지만 백테스트가 보여주는 결과물은 의도적이든 무의식적이든 투자자를 속이는 지독한 함정을 품고 있습니다.
대표적인 착시의 원인은 전략의 변수를 과거 데이터에 지나치게 맞추어 설정하는 과최적화(Overfitting)와 우연히 잘 나온 결과 하나를 실력으로 착각하는 다중 검정 문제입니다. 이 외에도 실전 계좌를 망가뜨리는 백테스트의 치명적 함정들은 다음과 같습니다.
- 미래 참조 편향 (Look-Ahead Bias): 당시 시점에는 알 수 없었던 미래의 시가총액 순위나 미마감 캔들, 미래의 경제 데이터를 미리 알고 매매 신호를 낸 오류입니다.
- 복리 계산 및 산식 오류: 일간 등락률을 복리로 곱하지 않고 단순히 합산(더하기)하거나 환차익 반영 로직을 잘못 설정하여 성과가 터무니없이 부풀려지는 현상입니다.
- 생존 편향 (Survivorship Bias): 상장 폐지되거나 망한 불량 기업을 제외하고 현재 살아남은 우량주 종목으로만 과거 성과를 역산하여 성과를 과대평가하는 오류입니다.
- 현실적인 거래 비용 미반영: 매월 매매 시 발생하는 매매 수수료, 슬리피지(체결 오차), 매도 세금을 계산하지 않아 실전 투입 시 곧바로 손실로 전환되는 현상입니다.
백테스트 도구 안에서는 완벽해 보이는 전략일지라도, 이러한 통계적 함정들을 거르지 않는다면 그것은 투자가 아니라 과거 데이터를 가지고 소설을 쓴 것에 불과합니다.
파라미터를 흔들어보면 진짜가 보인다
과거 데이터에 입맞춤된 과최적화 전략의 가장 큰 특징은 '파라미터가 조금만 달라져도 성과가 반토막 난다'는 점입니다. 예를 들어 20일 이동평균선을 기준으로 설정했을 때는 연수익률 25%가 나오다가, 기준을 22일이나 18일로 살짝만 흔들어도 수익률이 음수로 처박힌다면 이는 칼날 위에 서 있는 지극히 위험한 과최적화 전략입니다.
이러한 수치의 착시를 차단하고, 앞으로의 미래 시장(Out-of-Sample)에서도 온전히 작동할 전략을 만들기 위해 저는 실전 검증 과정에서 다음 4가지 핵심 규칙을 반드시 철저하게 준수하고 있습니다.
전략이 직관적으로 이해되나요
전략의 조건과 매수·매도 기준이 복잡하지 않고 경제학적 논리나 인간의 공포·탐욕 심리로 명확히 설명되어야 합니다.
벤치마크와 비교해봤나요
단일 지수뿐만 아니라 시장 대표 지수(S&P500, KOSPI) 및 동종 자산배분 벤치마크와 다각도로 비교하여 실제 알파(초과 수익)가 존재하는지 검증합니다.
학습용과 시험용 데이터를 나눠보셨나요
과거 데이터를 둘로 나누어 앞부분 데이터로만 전략의 가닥을 잡고, 전혀 사용하지 않은 뒷부분 시험용 데이터에 대입하여 동일한 성과가 나오는지 전진 분석(Walk-Forward)을 집행합니다.
백테스트는 딱 1번만
수많은 지표를 조작하며 마음에 드는 성과가 나올 때까지 백테스트를 반복 돌리는 행위 자체가 과최적화 확률(PBO)을 급증시킵니다. 모든 논리를 완성한 후 단 한 번의 백테스트로 최종 검증을 마쳐야 합니다.
숫자보다 이유를 먼저 물어야 한다
아무리 정교한 퀀트 알고리즘과 통계적 검증 도구를 사용한다 하더라도, 투자자는 본능적으로 백테스트의 최종 수익률 숫자라는 '결과'를 먼저 보고 나서 그에 맞추어 과거의 '과정'을 사후적으로 해석하려는 편향에서 자유롭기 어렵습니다.
그렇기 때문에 훌륭한 투자자일수록 백테스트 수치에 일희일비하기보다, "이 전략의 수익 원천이 어디서 나오는가?"라는 근본적인 질문에 집중해야 합니다. 정적 자산배분 전략이 매력적인 이유 역시 주식과 채권, 금의 상관관계와 경제 사계절이라는 단순하면서도 확실한 경제학적 구조에 기반을 두고 있기 때문입니다.
거래 비용과 슬리피지를 보수적으로 넉넉히 가산하고, PBO(과최적화 확률) 수치가 낮으며, 파라미터를 흔들어도 우상향하는 '강건함(Robustness)'을 가진 전략만이 실전 폭풍 속에서 계좌를 지켜내는 진짜 무기가 되어줍니다.
저는 이제 복잡한 전략을 믿지 않습니다
컴퓨터 모니터 속 백테스트 결과창에서 세 자릿수 수익률을 자랑하는 복잡한 전략은 외견상 화려해 보이지만, 실전 투입 첫날부터 예상을 벗어나는 시장의 변동성을 만나 무너질 가능성이 매우 높습니다.
투자의 성패를 가르는 것은 과거 데이터를 얼마나 예쁘게 가공했는가가 아니라, 실전의 거친 하락장 속에서도 내가 이 전략을 믿고 기계적으로 끝까지 실행할 수 있는가하는 지속 가능성입니다.
화려한 수치의 착시에서 벗어나 내가 완벽히 이해할 수 있는 단순하고 강건한 전략을 선택하십시오. 과최적화의 함정을 피하고 직관적이며 구조적으로 타당한 포트폴리오를 구축할 때, 당신의 계좌는 비로소 과거의 유물이 아닌 미래의 진짜 복리 성장을 시작하게 될 것입니다.