주식 자동매매 에이전트를 만들 때 사람들은 대개 코드·API·인프라부터 파고든다. 하지만 봇이 아무리 정교하게 주문을 넣어도, 무엇을 사고팔지 정하는 ‘전략’이 허술하면 결과는 정교하게 돈을 잃는 것뿐이다. 전략이 90%고 실행은 10%다. 그렇다면 어떤 전략들이 있고, 내 에이전트에 무엇을 태울지 어떻게 판단할까? 이 글은 알고리즘 트레이딩의 6대 전략 계열을 지도처럼 정리하고, 각 전략을 백테스트로 객관 비교(벤치마킹)하는 방법까지 다룬다. 특정 종목을 추천하는 글이 아니라, 전략의 ‘지형도’를 그리는 글이다.

⚠️ 이 글은 투자 조언이 아니다. 특정 종목·상품의 매수·매도를 권유하지 않으며, 소개하는 전략은 교육·연구 목적의 개념 설명이다. 모든 투자 판단과 책임은 본인에게 있다.

왜 에이전트에게 ‘전략’이 90%인가

자동매매 봇의 구조는 주식봇 만들기 시리즈에서 다룬 대로 데이터 수집 → 분석 → 판단 → 실행 → 리스크관리의 파이프라인이다. 이 파이프라인은 ‘어떻게(How)‘를 담당한다. 반면 전략은 ‘무엇을, 왜(What & Why)‘를 정한다. 아무리 안전장치와 자동화가 완벽해도, 전략이 시장에서 통하지 않으면 봇은 그저 손실을 빠르고 정확하게 자동화할 뿐이다.

핵심은 이거다. 좋은 전략에는 반드시 **‘왜 이게 돈이 되는가’에 대한 가설(edge)**이 있어야 한다. “이동평균이 골든크로스하면 산다”가 아니라 “추세는 관성이 있어 초반에 올라타면 평균적으로 수익이 난다, 왜냐하면 정보가 시장에 서서히 반영되기 때문이다” 같은 논리다. 근거 없는 규칙은 과거 데이터에 우연히 맞아떨어진 것일 뿐, 미래엔 무너진다. 그래서 전략을 고를 때 첫 질문은 언제나 **“이 전략의 엣지는 무엇이고, 어떤 시장에서 작동하는가?”**여야 한다.

주식 캔들차트 화면 Photo by Austin Hervias on Unsplash

6대 전략 계열 총정리

알고리즘 트레이딩 전략은 수백 가지처럼 보이지만, 뿌리를 따지면 몇 개의 계열로 수렴한다. 내 에이전트에 무엇을 태울지 고를 때 이 지도부터 머리에 넣는 게 좋다.

이 계열들은 LLM 시대에 갑자기 생긴 게 아니다. 대부분 반세기 전 사람 손으로 검증된 아이디어를 코드로 옮긴 것에 가깝다. 추세추종은 1983년 시카고의 상품 트레이더 리처드 데니스가 벌인 ‘터틀 트레이더’ 실험 — 트레이딩을 가르칠 수 있는가를 두고 동료 윌리엄 에크하르트와 내기하며, 초보 십수 명에게 채널 돌파·손절·포지션 사이징 규칙만 주입해 몇 년 만에 큰 수익을 내게 한 사건 — 에서 ‘규칙화된 시스템 매매’의 원형을 얻었다. 시장 중립을 노리는 페어트레이딩(통계적 차익)은 1980년대 모건스탠리에서 제리 밤버거가 처음 고안하고 눈치오 타르타글리아가 이끈 물리학자·수학자 팀이 자동매매로 구현하면서 태어났고, 그 계보는 훗날 D. E. 쇼·투 시그마 같은 퀀트 헤지펀드로 이어졌다. 팩터 투자 역시 1990년대 초 유진 파마와 케네스 프렌치의 3팩터 모형, 제가디시와 티트먼의 모멘텀 연구를 거치며 학술적으로 뒷받침됐다. 요컨대 여기 나오는 전략들은 유행이 아니라 수십 년간 실전과 논문 양쪽에서 살아남은 뿌리를 갖고 있다 — 우리가 하려는 건 그 뿌리를 LLM 에이전트라는 새 몸통에 옮겨 붙이는 일이다.

전략 계열핵심 가설(엣지)언제 잘 통하나대표 지표·도구LLM 적합도
모멘텀오르는 건 더 오른다(관성)추세장·강세장수익률 순위, RSI중
추세추종큰 추세를 끝까지 탄다방향성 뚜렷한 장이동평균, 채널 돌파중
평균회귀과하게 벌어지면 되돌아온다횡보장·박스권볼린저밴드, Z-score중
통계적 차익(페어)짝지은 두 종목의 간격은 좁혀진다시장 방향 무관(중립)상관·공적분, 스프레드하
팩터특정 특성(가치·규모·질)이 초과수익장기PBR·PER, 재무지표중
뉴스·센티먼트정보가 가격에 반영되기 전에 읽는다이벤트·실적 시즌뉴스 NLP, 공시상

각 계열을 한 줄로 더 풀면 이렇다.

  • 모멘텀 & 추세추종: 가장 오래되고 검증된 계열. “달리는 말에 올라탄다.” 다만 추세가 꺾이는 전환점에서 크게 물릴 수 있어 손절 규칙이 생명이다.
  • 평균회귀: 모멘텀의 정반대. “너무 떨어졌으니 반등한다”에 베팅. 횡보장에선 강하지만, 추세장에서 역방향에 서면 계속 물타기하다 무너진다.
  • 통계적 차익(페어트레이딩): 예컨대 같은 업종의 A·B 종목이 늘 비슷하게 움직이는데 어느 날 벌어지면, 벌어진 쪽을 팔고 좁혀진 쪽을 사서 간격이 좁혀질 때 수익. 시장 전체가 오르든 내리든 무관한 ‘시장 중립’ 전략이라 기관이 선호한다. 대신 수학·데이터 난도가 높다.
  • 팩터 투자: 개별 종목의 타이밍이 아니라, “저PBR 종목 바구니가 장기적으로 시장을 이긴다” 같은 특성(팩터)에 분산 베팅. 워런 버핏식 가치투자의 계량 버전이라 볼 수 있다.
  • 뉴스·센티먼트: 실적·공시·뉴스의 ‘톤’을 읽어 가격 반영 전에 선반응. 바로 여기가 LLM 에이전트의 주무대다.

LLM 에이전트가 특히 잘하는 전략

전통 퀀트 전략(모멘텀·페어 등)은 수식과 통계의 영역이라 굳이 LLM이 아니어도 된다. 그런데 비정형 텍스트(뉴스·공시·컨퍼런스콜)를 읽고 판단하는 일은 LLM이 압도적으로 잘한다. 실제 학계 연구에서도 LLM이 생성한 뉴스 센티먼트 신호가 전통적 자산가격 요인을 통제한 뒤에도 예측력을 보인다는 결과가 보고됐다.

가장 주목받는 구조는 역할을 나눈 멀티에이전트 파이프라인이다. 대표적으로 TradingAgents 프레임워크(2024)가 제안한 형태는 이렇다.

  • 분석가 에이전트들: 가치(Valuation)·센티먼트(Sentiment)·펀더멘털(Fundamentals)·기술적(Technicals) 등 관점별로 나눠 각자 신호를 낸다.
  • 리스크 매니저 에이전트: 이들의 신호를 받아 종목별 포지션 한도를 계산한다.
  • 포트폴리오 매니저 에이전트: 모든 신호를 종합해 최종 배분을 결정한다.

이 구조는 주식봇 3편의 ‘LLM 분석가 3명(재무·기술·뉴스)’ 설계와 정확히 같은 발상이다. 사람 투자위원회를 흉내 낸 것으로, 서로 다른 관점이 토론·견제하며 한 관점의 편향을 줄인다. 다만 명심할 것 — LLM은 ‘해석’에 강할 뿐, 미래를 맞히지 못한다. 신호 생성은 LLM에게 맡기되, 수량·손절·한도 같은 결정론적 규칙은 반드시 코드가 강제해야 한다.

거래 데이터 분석 화면 Photo by Alesia Kozik on Pexels

벤치마킹하는 법 — 전략을 숫자로 비교하기

전략을 골랐으면 “이게 진짜 통하는가”를 검증해야 한다. 감이 아니라 **백테스트(과거 데이터로 모의 실행)**로 하고, 결과는 몇 개의 표준 지표로 비교한다. 수익률만 보면 안 된다 — 얼마나 위험을 감수했는지가 핵심이다.

지표무엇을 보나방향
CAGR(연평균 수익률)얼마나 벌었나높을수록↑
샤프 지수(Sharpe)감수한 위험 대비 수익높을수록↑ (1 이상이면 양호)
최대 낙폭(MDD)고점 대비 최악의 손실 폭낮을수록↑
승률(Win Rate)이긴 거래 비율참고용
정보계수(IC)신호와 실제 수익의 상관높을수록↑

가장 중요한 건 샤프 지수와 최대 낙폭이다. 연 30% 수익이라도 중간에 -60%를 찍는 전략은 실전에서 버티지 못한다. 참고로 한 연구(FINSABER)에서는 같은 매수-보유 전략이라도 종목 유니버스가 변동성 팩터일 때 샤프 0.70, 모멘텀 팩터일 때 0.38로 갈렸다 — 벤치마킹이란 이렇게 같은 잣대(샤프·MDD)로 조건별 성과를 나란히 세우는 것이다. 참고로 신호의 예측력을 재는 정보계수(IC)는 통상 0.05만 넘어도 유의미하다고 보는데, 이는 뒤집으면 “미래를 조금이라도 맞히는 신호를 만드는 게 그만큼 어렵다”는 뜻이기도 하다.

검증의 격을 높이는 방법도 있다. 워크포워드(walk-forward) 분석 — 과거 일부 구간으로 규칙을 정하고 그다음 구간에서 시험하기를 반복해, 특정 기간에만 우연히 맞은 게 아닌지 확인한다. 백테스트를 통과한 전략이라도 실전 투입 전 **소액·모의투자(페이퍼 트레이딩)**로 한 번 더 거르는 게 정석이다.

흔한 함정 — 백테스트가 거짓말할 때

벤치마킹에서 초보가 가장 많이 속는 지점이 있다. 아래 함정을 모르면 “백테스트에선 대박, 실전에선 쪽박”을 겪는다.

  • 과최적화(오버피팅): 파라미터를 과거 데이터에 딱 맞게 쥐어짜면 백테스트 성적은 화려하지만 미래엔 무너진다. 규칙은 단순할수록 강하다.
  • 미래참조 편향(look-ahead bias): 그 시점엔 알 수 없었던 정보(예: 나중에 정정된 실적)를 백테스트에 쓰면 성적이 부풀려진다. LLM은 학습 데이터에 미래 정보가 섞이기 쉬워 특히 주의해야 하고, 이를 잡는 전용 벤치마크(룩어헤드 편향 측정)까지 나와 있다.
  • 생존편향(survivorship bias): 상장폐지된 종목을 빼고 살아남은 종목만으로 테스트하면 실제보다 좋아 보인다.
  • 거래비용·슬리피지 무시: 수수료·세금·체결 미끄러짐을 빼면 종이 위에선 이익, 실계좌에선 손실이 된다. 특히 매매가 잦은 전략일수록 치명적이다. 예컨대 한 번 매매에 왕복 0.3%의 비용이 든다면, 하루에도 몇 번씩 사고파는 고빈도 전략은 연간 수십 %의 수익이 비용으로 증발할 수 있다. 반대로 분기에 한 번 리밸런싱하는 팩터 전략은 같은 비용률이라도 타격이 미미하다 — 그래서 ‘매매 빈도’는 전략 설계에서 수익률만큼 중요한 변수다.

이 함정들의 공통 교훈은 하나다. 백테스트 수익률은 ‘가능성의 상한선’이지 약속이 아니다. 실전 수익은 거의 항상 그보다 낮다.

So What — 내 에이전트에 무엇을 태울 것인가

정리하면, 주식 에이전트 전략 선택은 세 단계다. ① 엣지가 분명한 전략 계열을 고르고(내 데이터·성향에 맞는 것), ② 같은 잣대(샤프·MDD)로 백테스트해 나란히 비교하고, ③ 함정(오버피팅·룩어헤드·비용)을 걷어낸 뒤 모의투자로 최종 검증한다.

개인이 만드는 LLM 에이전트라면 현실적인 출발점은 뉴스·센티먼트 계열 + 팩터의 결합이다. LLM의 텍스트 해석 강점을 살리되(센티먼트), 그 신호를 저평가·우량주 같은 팩터 바구니 위에서 쓰면 한 방에 무너질 위험을 낮출 수 있다. 그리고 어떤 전략이든 — 신호는 LLM이, 규칙과 안전장치는 코드가 맡는 역할 분담이 대전제다.

가장 중요한 마지막 원칙. 화려한 백테스트에 흥분하지 말고, **“이 전략이 왜 돈이 되는지 한 문장으로 설명할 수 있는가”**를 늘 자문하라. 그 문장이 없다면, 그건 전략이 아니라 과거 데이터에 대한 요행이다.

주식 자동매매 봇 만들기 시리즈

출처

※ 다시 강조: 이 글은 투자 조언이 아니며, 특정 종목·전략의 수익을 보장하지 않는다.