퀀트 투자에서의 단순함: 왜 거래 모델에서는 “적을수록 좋다”는 것일까?

며칠전에 그 유명한 르네상스 테크놀로지에서 일한다는 분의 글을 발견했다. 읽고나서 조금 허탈했는데, 단순 회귀 분석으로 그렇게 돈을 벌고 계셨다니!

그래서 정말 단순 회귀 분석을 많이 쓰는지, 어떻게 쓰는지 조사해보았다. 같은 길을 가는 분들께 도움되길 바라면서 정리해서 올린다.

퀀트 투자는 종종 로켓 과학자들과 복잡한 알고리즘의 영역으로 여겨집니다. 하지만 역사상 가장 성공적인 퀀트 투자자들 중 일부는 모델을 단순하게 유지함으로써 큰 성공을 거두었습니다. 르네상스 테크놀로지(Renaissance Technologies)는 대표적인 사례입니다. 이 회사는 최첨단 전략으로 명성을 얻었지만, 내부에서는 단순 회귀 분석과 같은 기본적인 기법을 효과적으로 활용해 성공을 거두었다고 합니다. 이 글에서는 르네상스가 어떻게 단순함을 활용했는지, 왜 단순한 모델이 복잡한 모델보다 종종 더 좋은 성과를 내는지, 그리고 단순한 퀀트 투자 기법으로 성공을 거둔 다른 사례들을 살펴봅니다.

르네상스 테크놀로지: 단순한 모델로 첨단의 결과를 이끌다

르네상스 테크놀로지(이하 RenTech)는 짐 사이먼스(Jim Simons)가 설립한 회사로, 그들의 Medallion 펀드가 수십 년간 놀라운 수익률(1988년부터 2018년까지 연평균 약 66%의 총수익률)을 기록하면서 명성을 얻었습니다. 많은 사람들은 RenTech의 성공 뒤에 복잡한 인공지능 알고리즘이나 기발한 수학적 모형이 있다고 상상하지만, 실제로 RenTech의 핵심 도구는 상당히 단순했습니다.

전직 RenTech 수석 통계학자 닉 패터슨(Nick Patterson)은 “우리의 가장 중요한 통계 도구는 하나의 목표 변수와 하나의 독립 변수를 갖는 단순 회귀 분석이었다. 상상할 수 있는 가장 단순한 통계 모델이며, 충분히 똑똑한 고등학생이면 할 수 있는 수준이다.”라고 밝혔습니다. 즉, RenTech의 과학자들(물리학, 수학 등 다양한 분야의 박사급 인재들)은 데이터에 선형 회귀 분석을 적용해 관계를 찾는 기본적인 방법을 주로 사용했다고 합니다.

왜 세계 최고 수준의 퀀트 투자 펀드가 이렇게 단순한 방법에 의존할까요? 패터슨은 “문제는 ‘어떤 변수를 회귀 분석해야 하는지’에 있다. 목표 변수는 무엇인가? 회귀 분석 전에 비선형 변환을 해야 하는가? 데이터의 출처는 무엇인가? 데이터를 정리해야 하는가? 결과가 명백히 엉터리일 때 이를 알아챌 수 있는가?” 등, 올바른 신호를 찾고 문제를 피하는 데 있어 세밀한 주의가 필요하다고 설명합니다. 패터슨은 다른 작은 조직에서 일할 때 데이터 정리와 조직을 위해 박사급 인력을 7명이나 투입했다고도 했습니다.

단순하다는 것이 결코 ‘초라하다’는 뜻은 아닙니다. 단순한 모델을 사용할 때에도, 엄격한 통계적 검증, 방대한 데이터셋, 그리고 기발한 구현과 결합되어야합니다. 회사는 여러 개의 단순 모델들을 결합해 다양한 효과를 포착하는 방식(앙상블 기법)을 사용했으며, 하나의 거대한 복잡한 모델을 사용하는 대신, 수많은 작은 단순 모델들이 서로 보완되도록 했습니다. 그들의 경쟁 우위는 바로 기본적인 것들을 탁월하게 수행하는 데 있었습니다.

또한 RenTech의 경험은 단순한 분석을 신뢰하는 문화를 보여줍니다. 초기에는 사이먼스와 그의 동료들이 더 복잡한 접근 방식을 시도하기도 했으나, 내부에서는 “검은 상자(black box)” 같은 모델보다는 그 내역과 논리를 쉽게 이해할 수 있는 선형 회귀 분석 같은 단순한 방법을 선호했습니다. 시간이 지나면서 RenTech는 고급 기법도 도입했지만, 그 기초는 항상 데이터 중심의 경험적 접근과 “단순한 일을 올바르게 하는 것”에 뿌리를 두고 있었습니다.

왜 단순한 전략이 복잡한 전략보다 우수할까?

RenTech는 예외가 아닙니다. 단순한 거래 전략이 종종 복잡한 전략보다 더 우수한 성과를 내는 사례는 여러 번 입증되었습니다. 복잡한 세상이니 만큼 복잡한 모델이 필요할 것 같지만, 실제로는 복잡성이 오히려 역효과를 낼 때가 많습니다. 그 이유는 다음과 같습니다.

과적합(Overfitting)과 거짓 패턴 회피: 모델이 복잡할수록 과거의 노이즈(noise)를 실제 신호로 착각하여 설명할 위험이 커집니다. 수많은 파라미터를 가진 모델은 과거 데이터를 완벽하게 설명할 수 있지만, 이는 실제 거래에서는 무너질 가능성이 높습니다. 단순한 모델은 구성 요소가 적어, 진짜로 중요한 큰 패턴에 집중하도록 강제합니다. 즉, “두 모델이 데이터를 설명한다면 더 단순한 것을 선택하라”는 오컴의 면도날(Occam’s Razor) 원칙을 따르게 됩니다.
변화하는 시장 환경에 대한 견고함: 금융 시장은 체제 변화, 위기, 또는 새로운 사건들로 인해 끊임없이 변화합니다. 복잡한 모델은 이러한 변화에 취약할 수 있습니다. 반면, 기본적인 진실(예: “가격은 일정 부분 평균으로 회귀한다” 또는 “추세는 일정 기간 지속된다”)을 포착한 단순한 접근법은 오랜 시간 동안 효과를 유지할 수 있습니다. 단순함은 일반화(generalization)를 가능하게 합니다.
투명성과 신뢰성: 단순한 모델은 인간이 쉽게 이해하고 모니터링할 수 있습니다. 이는 단순히 편안함을 넘어 전략 관리에 중요한 영향을 미칩니다. 모델이 왜 수익을 내는지 이해할 수 있다면, 손실이 발생하는 순간에도 과감하게 전략을 고수할 수 있습니다. 반면, 블랙박스 모델은 손실이 발생할 때 원인을 파악하기 어려워, 불필요한 수정이나 과도한 대응을 초래할 수 있습니다.
구현 오류의 최소화: 복잡한 모델은 추가적인 데이터 소스, 복잡한 계산, 그리고 화려한 기계 학습 알고리즘 등 여러 요소를 포함하게 되어, 각각 오류가 발생할 가능성이 높습니다. 단순한 전략은 오류 발생 경로가 적어, 코드 버그나 데이터 문제, 실행상의 오류를 줄일 수 있습니다. 또한 유지보수 비용도 낮아집니다.
위기 상황에서의 회복력: 역사적으로 매우 복잡한 금융 모델이 극한의 상황에서 실패한 사례가 많습니다. 1998년 롱텀 캐피털 매니지먼트(LTCM)의 붕괴가 대표적입니다. LTCM은 노벨상 수상자들이 이끄는 펀드였으나, 정교한 모델이 평상시에는 잘 작동하다가 위기 상황(러시아 채무불이행)에서 예기치 않은 사건에 대처하지 못해 큰 손실을 보았습니다. 반면, 단순한 전략은 큰 안전 마진을 내포하고 있어 위기 상황에서도 견딜 가능성이 높습니다. 단순함은 종종 과도한 자신감을 경계하게 만듭니다.

복잡한 모델이 전혀 쓸모없다는 것이 아니라, 실제로 효과적인 전략들은 본질적으로 단순한 개념에 기반하는 경우가 많습니다. 핵심은 견고하고 반복 가능한 패턴을 찾아내고, 그것을 철저히 실행하는 것입니다. 어떤 유명한 퀀트 투자자들은 “단순하고 검증된 방법이 화려하고 복잡한 방법보다 항상 우수하다”고 말합니다. 복잡함 자체를 추구하는 대신, 기본 원칙을 고수하는 것이 오히려 더 큰 장점이 됩니다.

사례 연구: 단순한 전략이 거둔 놀라운 성공

단순함의 힘을 더욱 잘 보여주는 몇 가지 사례를 살펴보겠습니다. 이 사례들은 시기와 시장은 다르지만, 모두 명확한 규칙 기반 접근법을 통해 큰 성공을 거둔 사례들입니다.

터틀 트레이더(Turtle Traders): 단순한 추세 추종 규칙

1980년대의 전설적인 실험 중 하나가 바로 리처드 데니스(Richard Dennis)의 터틀 트레이더입니다. 데니스는 누구나 올바른 규칙만 배우면 성공적인 거래자가 될 수 있다고 믿었고, 이를 증명하기 위해 다양한 배경의 14명의 초보자를 모집하여 단 2주간 단순한 추세 추종 시스템을 교육했습니다. 이 ‘터틀’들은 미래 선물 계약을 거래할 때, 예를 들어 가격이 4주 최고치를 갱신하면 매수하고, 일정 하락 시 매도하는 기계적인 규칙을 따르도록 교육받았습니다. 또한, 각 거래에서 자본의 1~2% 이상의 위험을 감수하지 않고, 손실이 발생하면 미리 정해진 수준에서 손절하도록 엄격한 위험 관리 규칙을 배웠습니다.

결과는 놀라웠습니다. 완전 초보자였던 이들이 단순하고 투명한 규칙만을 따라 거래하면서 약 5년 만에 1억 7,500만 달러 이상의 수익을 올리며 연평균 80%에 달하는 놀라운 수익률을 기록했습니다. 이 실험은 데니스가 주장했던 “명확한 우위(Edge)와 철저한 규율”이 단순한 전략으로도 시장을 이길 수 있음을 입증해 주었습니다. 터틀 트레이더들의 이야기는 “거래에서 성공하려면, 복잡한 추측보다는 간단한 규칙을 기계적으로 따르는 것이 중요하다”는 교훈을 남겼습니다.

물론 추세 추종 전략이 항상 마법처럼 작동한 것은 아닙니다. 때때로 큰 손실도 있었지만, 데니스의 단순한 규칙 덕분에 감정적 판단을 배제하고 규율을 지킬 수 있었던 점이 성공의 핵심이었습니다.

에드 사이코타(Ed Seykota): 기본 신호로 연평균 60% 수익 달성

또 다른 단순함의 대표적 사례는 에드 사이코타입니다. 사이코타는 컴퓨터화된 거래 시스템의 선구자로, 1970년대에 초기 투자금 5,000달러를 약 12년 만에 1,500만 달러로 불리며 연평균 60%의 놀라운 복리 수익률을 기록했다고 전해집니다. 그는 어떻게 이룰 수 있었을까요? 바로 극도로 단순한 추세 추종 방법을 활용했기 때문입니다.

사이코타의 접근법은 터틀 트레이더들이 사용한 것과 유사한 자동화된 추세 추종 시스템이었습니다. 그는 이동평균선과 같은 기초적인 기술적 지표를 사용해 가격이 추세를 형성하는 시점과 추세가 전환될 가능성이 있는 시점을 파악했습니다. 예를 들어, 가격이 특정 이동평균선을 상향 돌파하면 매수하고, 하향 돌파하면 매도하는 방식이었습니다. 이는 거래 초보자들이 배우는 가장 기본적인 신호임에도 불구하고, 사이코타는 철저한 위험 관리와 규율로 이를 실행하여 성공을 거두었습니다.

사이코타는 명시적으로 단순함을 옹호했습니다. “복잡한 전략은 잘못될 여지가 많다”라는 그의 말은, 기본적인 몇 가지 규칙으로도 장기적인 성공을 거둘 수 있음을 보여줍니다. 그의 후배와 많은 추세 추종자들이 그를 따라 큰 성공을 거두었고, 오늘날에도 관리 선물 펀드나 CTA(Commodity Trading Advisor)들이 그의 단순한 모델 변형을 사용해 지속적인 수익을 내고 있습니다.

기타 사례

단순함을 중시하는 사례는 이 외에도 많습니다. 전통적 투자자 워렌 버핏(Warren Buffett)은 퀀트 투자자는 아니지만, 자신이 이해할 수 있는 단순하고 명료한 투자에 집중한다고 자주 강조합니다. 퀀트 투자 분야에서는 에드워드 토프(Edward Thorp)도 카드 카운팅으로 카지노를 이긴 후, 단순한 산술적 논리를 바탕으로 헤지 펀드를 운영하며 뛰어난 수익을 창출했습니다. 토프의 펀드인 프린스턴/뉴포트(Princeton/Newport)는 본질적으로 간단한 통계적 차익거래와 전환 사채 헤징 전략에 의존하여 오랜 기간 안정적인 수익을 냈습니다.

또한, 현대의 많은 퀀트 투자 펀드들도 고급 수학 기법을 사용하면서도, 그 핵심은 기본적인 인자(factor) – 예를 들어 가치(value)와 모멘텀(momentum) – 에 기반하고 있습니다. 이러한 인자 모델은 주식들을 단순하게 저평가/고평가 혹은 최근 수익률 기준으로 분류하는 방법에 의존합니다. AQR 캐피털 매니지먼트의 클리프 애스니스(Cliff Asness) 같은 인물들이 이 원칙을 내세운 것도, 결국 핵심은 복잡함보다는 단순한 규칙임을 입증하는 또 다른 사례입니다.

결론: 단순함의 우아함

퀀트 투자에서 단순함은 단순히 수준을 낮추는 것이 아닙니다. 본질을 요약하고 정제하는 작업입니다. 르네상스 테크놀로지, 터틀 트레이더, 에드 사이코타, 그리고 다른 많은 사례들이 보여주듯, 철저하게 단순한 모델이나 규칙이 복잡한 시스템보다 더 우수한 성과를 내는 경우가 많습니다. 단순함은 집중력을 높여줍니다. 이는 퀀트 투자자들이 진정으로 중요한 몇 가지 변수나 패턴을 파악하고, 이를 명확하게 위험 관리에 반영하도록 강제합니다. 또한, 단순한 접근법은 변화에 더 잘 적응하며, 오류를 쉽게 수정할 수 있고, 실행 과정에서 신뢰성을 높여 줍니다.

광범위한 시사점은, 거래자와 모델러 모두에게 “의심스러울 때는 단순화하라”는 것입니다. 전략이 기본적인 형태로도 작동하지 않는다면, 복잡한 요소들을 더 추가한다고 해서 그 단점을 보완할 수는 없습니다. 오히려 복잡함은 문제를 감추기만 할 뿐입니다. 반대로, 단순한 전략이 효과적이라면, 그것을 신중하게 확장해 나갈 수 있지만, 그 전략이 처음 성공했던 이유를 잊어서는 안 됩니다. 공학에서 “단순함은 궁극의 세련미(Simplicity is the ultimate sophistication)”라는 말처럼, 퀀트 투자에서도 역사는 단순함을 포용하는 자들이 복잡함에 빠진 자들보다 오랜 기간 살아남고 더 좋은 성과를 낸다는 것을 증명해 왔습니다.

오늘날 기계 학습과 인공지능이 수많은 변수를 다루며 금융 예측에 도전하는 시대에도, 짐 사이먼스와 리처드 데니스 같은 선구자들이 보여준 교훈을 기억하는 것이 현명합니다. RenTech의 비결은 신비로운 블랙박스가 아니라, 기본적인 것을 올바르게 수행하는 것에 집중한 데 있었습니다. 터틀 트레이더들은 누구나 배울 수 있는 몇 가지 명확한 규칙만으로 시장을 이겼습니다. 진정한 천재성은 모델의 복잡성에 있는 것이 아니라, 철저한 실행에 있음을 기억해야 합니다.