라오어 VR 파라미터 sweep 테스트
📌 원문: https://m.blog.naver.com/hyunsoo-is-cute/224319684251
이전에 라오어님의 VR 전략을 리뷰한적이 있었습니다. 이번에는 파라미터 sweep 테스트 입니다.
이건 파라미터를 바꿔가면서 결과값이 어떻게 달라지는지 보는 테스트라고 보면 됩니다.
테스트 방법
기본값을 설정하고 한개씩 골라서 바꿔봅니다.
기본값은 다음과 같습니다.
gradient_g = 10 (기본)
band_pct = 0.15 (기본)
pool_usage_pct = 0.90 (기본)
update_interval_days = 14 (기본)
initial_stock_allocation_pct = 0.60 (기본)
그러니까 G 값을 테스트 할때는 다른 값은 기본값으로 두고 G만 변경해가면서 보는거죠.
Gradient (기본값: g = 10)
|
Gradient (g) |
XIRR |
MDD |
Sharpe |
|
5 |
40.68% |
81.12% |
0.889 |
|
10 (기본) |
39.42% |
80.35% |
0.888 |
|
15 |
37.97% |
79.74% |
0.881 |
|
20 |
36.84% |
79.03% |
0.878 |
|
30 |
35.05% |
77.65% |
0.874 |
G값은 예상한대로 낮게 하면 공격적, 높게 하면 방어적이 됩니다. 30으로 높이면 수익률이 크게 떨어지네요. 문제는 방어력이 많이 오르지는 않았습니다. MDD가 -77.65%네요.
Band (기본값: 15%)
|
Band |
XIRR |
MDD |
Sharpe |
|
5% |
37.11% |
81.77% |
0.853 |
|
10% |
38.60% |
80.83% |
0.875 |
|
15% (기본) |
39.42% |
80.35% |
0.888 |
|
20% |
39.93% |
80.26% |
0.899 |
|
30% |
40.45% |
79.62% |
0.910 |
Band는 높을수록 좋아보이네요. 자주 사고팔지 않는게 도움이 되는 것처럼 보입니다.
Pool Usage (기본값: 90%)
|
Pool Usage |
XIRR |
MDD |
Sharpe |
|
50% |
39.24% |
80.34% |
0.891 |
|
70% |
39.39% |
80.27% |
0.890 |
|
90% (기본) |
39.42% |
80.35% |
0.888 |
|
100% |
39.40% |
80.41% |
0.887 |
Pool 사용 한도는 크게 영향이 없는거 같습니다.
Update Interval (기본값: 14일)
|
업데이트 주기 |
XIRR |
MDD |
Sharpe |
|
5일 |
40.51% |
81.53% |
0.883 |
|
10일 |
40.64% |
81.10% |
0.896 |
|
14일 (기본) |
39.42% |
80.35% |
0.888 |
|
21일 |
38.69% |
78.43% |
0.892 |
|
30일 |
35.89% |
77.98% |
0.873 |
이건 10일이 조금 더 수익률이 높긴 하네요.
한눈에 요약
|
파라미터 |
XIRR 최고 |
MDD 최저 |
Sharpe 최고 |
|
Gradient |
g = 5 (40.68%) |
g = 30 (77.65%) |
g = 5 (0.889) |
|
Band |
30% (40.45%) |
30% (79.62%) |
30% (0.910) |
|
Pool Usage |
90% (39.42%) |
70% (80.27%) |
50% (0.891) |
|
Update Interval |
10일 (40.64%) |
30일 (77.98%) (21일은 78.43%로 XIRR과 균형이 더 좋음) |
10일 (0.896) |
실력공식
Gradient (기본값: g = 11)
|
Gradient (g) |
XIRR |
MDD |
Sharpe |
|
5 |
41.79% |
81.58% |
0.891 |
|
11 (기본) |
41.47% |
81.44% |
0.894 |
|
15 |
41.19% |
81.32% |
0.895 |
|
20 |
40.81% |
81.15% |
0.894 |
|
30 |
40.19% |
80.94% |
0.892 |
Band (기본값: 15%)
|
Band |
XIRR |
MDD |
Sharpe |
|
5% |
38.01% |
82.27% |
0.852 |
|
10% |
40.03% |
81.68% |
0.877 |
|
15% (기본) |
41.47% |
81.44% |
0.894 |
|
20% |
41.56% |
81.27% |
0.897 |
|
30% |
41.43% |
81.32% |
0.894 |
Pool Usage (기본값: 90%)
|
Pool Usage |
XIRR |
MDD |
Sharpe |
|
50% |
41.00% |
81.34% |
0.892 |
|
70% |
41.25% |
81.42% |
0.893 |
|
90% (기본) |
41.47% |
81.44% |
0.894 |
|
100% |
41.55% |
81.43% |
0.895 |
Update Interval (기본값: 14일)
|
업데이트 주기 |
XIRR |
MDD |
Sharpe |
|
5일 |
42.04% |
81.42% |
0.892 |
|
10일 |
41.97% |
81.67% |
0.896 |
|
14일 (기본) |
41.47% |
81.44% |
0.894 |
|
21일 |
41.68% |
80.67% |
0.904 |
|
30일 |
39.29% |
80.78% |
0.882 |
VR vs VR Expert 비교
|
항목 |
VR (기본) |
VR Expert (기본) |
차이 |
|
XIRR |
39.42% |
41.47% |
+2.05%p |
|
MDD |
80.35% |
81.44% |
-1.09%p |
|
Sharpe |
0.888 |
0.894 |
+0.006 |
|
Final Equity |
$6.4M |
$7.9M |
+$1.5M (약 +23.4%) |
한눈에 요약
|
파라미터 |
XIRR 최고 |
MDD 최저 |
Sharpe 최고 |
|
Gradient |
g = 5 (41.79%) |
g = 30 (80.94%) |
g = 15 (0.895) |
|
Band |
20% (41.56%) |
20% (81.27%) |
20% (0.897) |
|
Pool Usage |
100% (41.55%) |
50% (81.34%) |
100% (0.895) |
|
Update Interval |
5일 (42.04%) |
21일 (80.67%) |
21일 (0.904) |
실력공식의 경우는 이렇습니다.
결론
전반적으로 파라미터 sweep을 통해서 크게 개선이 있진 않네요. 파라미터를 좀 바꾸더라도 전략의 성질이 크게 바뀌지 않습니다.
좋게 보면 robust하고 parameter sensitivity가 낮은겁니다. 조금만 전략의 수치를 바꿔도 결과가 휙휙 바뀌는 전략은 좋지 않은 전략일 가능성이 높습니다. 특정 수치에서만 결과가 좋으면 그냥 그게 오버피팅인 경우가 많죠.
나쁘게 보면 튜닝의 여지가 거의 없고 buy and hold 에 비해 압도적으로 좋다는 느낌이 없네요.
그럼 끝!