策略回测、优化与晋级门槛
了解结果如何计入建模的真实交易成本、参数如何通过样本外数据选定,以及策略如何获得晋级资格。
真实交易所费用与成本
回测会采用各交易场所公布的做市和吃单费用、永续期货的资金费、空头借贷成本,并在每次成交时计入价差和市场冲击模型。权益会逐根 K 线按市值计价,杠杆仓位可能在交易场所的维持保证金水平被强制平仓。所有报告均已计入成本。
仓位规模与杠杆
外汇策略根据账户权益按基础货币的整数单位确定仓位规模。引擎会应用已配置的外汇杠杆上限、保证金要求和报价货币换算。经纪商原生手数需要单独经过验证的映射。
优化如何运作
优化使用策略的全部可用历史数据,其中最近一段设为留出集。其余部分即开发期,会拆分为一系列滚动前推窗口:在每个窗口的训练区间内搜索参数,并在随后的测试区间评估,因此每项样本外结果都来自搜索过程中未见过的数据。
随后只在整个开发期内选择一次最终参数,并在留出集上测试一次。报告还会列出敏感性、稳定性和显著性统计;晋级关卡依据样本外和留出集证据,绝不依据样本内拟合结果。
留出集
留出集是历史数据中最后一段:至少占 20%、至少 15 天,并且时长须足以预期约 20 笔交易,最多占全部历史的 35%。达到 35% 上限的留出集会标记为统计效力不足。留出集绝不会用于选择参数;智能体只能看到留出集起始时间之前的结果,因此其决策无法针对留出集调优。作为所有者,你可以在策略页面查看完整历史。
嵌套滚动前推窗口
滚动前推窗口按交易次数确定长度,而不只按时间:每个测试窗口都会延长,直到预期交易次数约为 20 笔。窗口按月推进;对于较长的历史数据,则按季度推进,训练区间与测试区间之间设有短暂间隔。每个训练区间内部还会进行嵌套搜索:再次按 70/30 拆分,以便在内部验证数据上选取参数。要得出明确结论,至少需要 3 个窗口和足够的样本外覆盖;否则,由于交易次数不足,结果会标记为结论不明确。
参数搜索与最终重拟合
参数通过贝叶斯优化进行搜索,每个窗口的试验次数为 30 至 150 次,约为每个可调参数 30 次。选择器不会只选取单次试验中的最佳结果,而是倾向于选择邻近参数也能取得良好评分的参数,并遵守策略的风险限制。最终重拟合会将同一选择器应用于整个开发期,随后由留出集对这些参数进行测试。每次优化都有时间预算;耗时较长的搜索可以在远程计算资源上运行。
敏感性与平台区间
每个数值参数都会分别向上和向下调整 10%、25% 和 50%;整数参数则会按单步和双步调整。平台区间表示参数在夏普比率下降超过其统计不确定性之前可以变动的范围;下降更陡时会报告为悬崖。平台区间较宽是令人安心的证据,出现悬崖则是警示。这是一份报告,不是准入门槛。
参数稳定性
稳定性会将所选参数在不同窗口间的变化幅度,与随机选择时的变化幅度进行比较。变化较小的参数会标记为稳定,变化较大的参数会标记为不稳定。这是随结果展示的一项警示,本身绝不是晋级关卡。页面还会展示使用最终参数逐窗口重放的结果,并标记为部分样本内,因为这些参数是在同一数据上选出的。
显著性与去膨胀夏普比率
样本外回报会通过考虑自相关的 t 检验和去膨胀夏普比率进行检验。去膨胀夏普比率用于判断结果是否优于多次随机尝试中最佳结果的预期水平,并计入有效试验次数:实际尝试过的样本外变体,包括每次审查后的额外修订。内部搜索试验不会计入策略的试验次数,因为它们从未接触样本外数据。
组合交叉验证和回测过拟合概率会在训练数据上作为诊断指标计算。它们可为分析师提供参考,但不再单独决定策略能否晋级。
回报窗口与广度
交易频率较低的策略可能无法达到按交易次数设定的窗口要求。此时会改用按时间划分的周期回报窗口进行评估,并采用考虑自相关的检验。广度测试会在 5 个或更多相关市场上运行不变的规则:跨市场结果一致,可以将结论不明确转为通过;在其他市场表现失败,则可能将通过转为警示。
低置信度结果
当证据不足以得出明确结论,但没有任何指标明确失败,且分析师仍建议晋级时,策略可以带着“低置信度,尚无统计证明”的标签进入模拟交易。该标签会显示在策略页面、模拟交易页面和通知中。在该策略自身的模拟交易记录达到显著性之前,低置信度策略尚不适合实盘交易。
晋级门槛
晋级门槛根据公开的标准文件通过代码强制执行。硬性关卡不可豁免:历史数据充足;在有仓位的多数日历年中盈利;平均单笔交易回报覆盖完整往返交易成本;未过度使用保证金;具备样本外和留出集结果且未被统计检验否定;回撤在登记限额内;核算完整且前后一致。
软性关卡与豁免
软性关卡包括:相对于策略自身限额的回撤、卡玛比率、盈利因子、胜率与盈亏比、持仓期、留出集相较于滚动前推结果的表现、去膨胀夏普比率、单一年份利润集中度、市场冲击成本,以及高波动时期的亏损。分析师只有在书面理由中注明具体指标时,才能豁免软性关卡;豁免会记录在该轮运行中,风险官可以驳回,投资组合经理会再次核查。
如实解读回测
将权益曲线与回撤对照,检查结果依赖多少笔交易,并将每笔交易的平均回报与完整往返交易成本比较。少数几笔交易带来的高回报,或在样本外消失的夏普比率,都是警示,而非可靠结果。