یک استراتژی انتخاب رمزارز را روی فهرست داراییهای امروز اجرا میکنید و نتیجه نشان میدهد بازده تاریخی بسیار جذابی داشته است. اما آیا همین داراییها در تمام دوره مورد آزمون وجود داشتهاند؟ آیا توکنهایی که از صرافی حذف شدند، پروژههایی که شکست خوردند یا داراییهایی که نقدشوندگی خود را از دست دادند نیز در داده حضور دارند؟ اگر پاسخ منفی باشد، ممکن است با Survivorship Bias یا سوگیری بقا روبهرو باشید؛ خطایی که نمونههای باقیمانده را بهجای کل جهان قابل معامله گذشته مینشاند.
سوگیری بقا زمانی رخ میدهد که تحلیل فقط روی مواردی انجام شود که تا زمان بررسی باقی ماندهاند و موارد حذفشده یا شکستخورده کنار گذاشته شوند. در بازار کریپتو، فهرست توکنها و جفتارزهای قابل معامله در طول زمان تغییر میکند. پروژههای جدید اضافه میشوند، برخی توکنها مهاجرت میکنند، بعضی از صرافیها حذف میشوند و تعدادی نیز عملاً بیمعامله میشوند. اگر برای بازسازی گذشته فقط از فهرست فعلی استفاده کنید، تصویر بازار تاریخی ناقص خواهد بود.
این خطا لزوماً از قصد گمراهکننده ناشی نمیشود. ممکن است ارائهدهنده داده فقط تاریخچه داراییهای فعال را در اختیار بگذارد یا پژوهشگر برای سهولت، توکنهای فاقد داده را حذف کند. بااینحال، نتیجه میتواند بهطور سیستماتیک خوشبینانه شود؛ زیرا بخشی از داراییهایی که سرمایهگذار در آن زمان ممکن بود انتخاب کند، از آزمون ناپدید شدهاند.
فرض کنید در یک سال گذشته، سیستم شما هر ماه ده رمزارز با بیشترین مومنتوم را انتخاب میکند. اگر امروز فهرست داراییها را بسازید و فقط توکنهایی را نگه دارید که هنوز معامله میشوند، سپس تاریخچه آنها را به عقب ببرید، عملاً میدانید کدام پروژهها زنده ماندهاند. توکنهایی که در همان سالها وارد فهرست انتخاب میشدند اما بعداً شکست خوردند یا حذف شدند، ممکن است در نمونه نباشند. در نتیجه میانگین بازده و نرخ موفقیت سیستم میتواند بیش از واقعیت باشد.
مشکل اصلی این نیست که داراییهای فعلی را تحلیل میکنید؛ مشکل آن است که ترکیب امروز را به گذشته تعمیم میدهید. برای شبیهسازی تصمیمی که در تاریخ مشخص گرفته میشد، باید بدانید در همان تاریخ چه داراییهایی در دسترس بودند و معیار انتخاب بر اساس چه اطلاعاتی محاسبه میشد.
این دو خطا میتوانند همزمان رخ دهند، اما یکسان نیستند. Look-Ahead Bias زمانی ایجاد میشود که مدل در یک تاریخ تاریخی از اطلاعاتی استفاده کند که در آن زمان هنوز منتشر نشده بود. سوگیری بقا زمانی رخ میدهد که نمونههای حذفشده از مجموعه تحلیل کنار گذاشته شوند. برای مثال، استفاده از رتبهبندی فعلی بازار برای انتخاب داراییهای سالهای گذشته میتواند هم جهان قابل معامله را ناقص کند و هم اطلاعات آینده را وارد فرایند انتخاب کند.
در یک بکتست معتبر باید دو پرسش جداگانه پاسخ داده شوند: در هر تاریخ چه داراییهایی قابل معامله بودند؟ و در همان تاریخ چه اطلاعاتی برای انتخاب آنها در دسترس بود؟ رعایت فقط یکی از این دو شرط کافی نیست. مقاله خطای نگاه به آینده در بکتست برای تفکیک این دو مسئله مفید است.
راهحل اصلی استفاده از داده نقطهای یا Point-in-Time است. برای هر تاریخ باید فهرست داراییهای قابل معامله، جفتارزهای فعال، زمان اضافه شدن به صرافی و زمان حذف آنها مشخص باشد. اگر استراتژی بر اساس ارزش بازار یا حجم انتخاب میکند، رتبهبندی تاریخی همان زمان لازم است؛ نه رتبهبندی امروز. همچنین باید مشخص شود دارایی در آن مقطع واقعاً نقدشوندگی کافی برای اجرای سفارش داشته است یا فقط قیمت اسمی در داده ثبت شده است.
بازسازی کامل بازار دشوار است، بهویژه برای توکنهای کوچک و صرافیهایی که تاریخچه محدودی دارند. اگر داده کامل در دسترس نیست، باید محدودیت را شفاف گزارش کنید و دامنه نتیجهگیری را کاهش دهید. بهتر است یک بکتست با پوشش ناقص را «بررسی مقدماتی» بنامید، نه مدرک قطعی سودآوری سیستم.
حذف از یک صرافی به معنی صفر شدن ارزش توکن نیست، اما میتواند امکان خروج را محدود کند. مدل باید مشخص کند در زمان اعلام حذف، آخرین فرصت معامله چه زمانی بوده و آیا بازار دیگری با نقدشوندگی کافی وجود داشته است. فرض فروش تمام موقعیت در آخرین قیمت ثبتشده ممکن است خوشبینانه باشد؛ زیرا حجم قابل اجرا در آن قیمت شاید بسیار کمتر از حجم موقعیت باشد.
برای هر رویداد حذف، مهاجرت قرارداد یا توقف معاملات، سیاستی از پیش تعریف کنید. ممکن است خروج با قیمت قابل اجرا در بازار جایگزین، کاهش ارزش بر اساس نقدشوندگی یا ثبت زیان ناشی از عدم امکان خروج لازم باشد. انتخاب روش باید مستند باشد و برای داراییهای مختلف بهصورت سلیقهای تغییر نکند.
این خطا فقط در استراتژی مومنتوم دیده نمیشود. سیستمهای انتخاب دارایی بر اساس حجم، ارزش بازار، بازده نسبی، نوسان یا حتی مدلهای یادگیری ماشین ممکن است تحت تأثیر قرار گیرند. هرجا فهرست داراییها در طول زمان تغییر میکند، باید بررسی شود آیا نمونههای حذفشده نیز در داده حضور دارند. در مدلهای یادگیری ماشین، حذف داراییهای شکستخورده میتواند الگوهای موفقیت را بیش از حد برجسته کند و تعمیم مدل به بازار زنده را تضعیف کند.
همچنین سوگیری بقا میتواند در بررسی کانالهای معاملاتی رخ دهد. اگر فقط سیگنالهای موفق یا داراییهایی که هنوز فعالاند در گزارش عملکرد نمایش داده شوند، نتیجه واقعی کاربران مشخص نیست. تاریخچه کامل پیشنهادها، از جمله موارد ناموفق، لغوشده و حذفشده، برای ارزیابی ضروری است.
برای سنجش عملکرد، آرشیو کامل سیگنالها باید شامل زمان انتشار، قیمت قابل اجرا، حد ضرر، اهداف، تغییرات پیشنهاد و نتیجه نهایی باشد. اگر یک سیگنال پس از حرکت قیمت حذف یا ویرایش شود، باید نسخه اولیه نیز قابل مشاهده باشد. معاملات باز باید طبق قاعده مشخص ارزشگذاری شوند و نباید فقط نمونههایی که به هدف رسیدهاند در گزارش باقی بمانند. معیارهایی مانند Profit Factor، افت سرمایه و بازده خالص پس از هزینه باید کنار نرخ برد بررسی شوند.
اگر برای ارزیابی عملکرد تاریخی سیگنالهای معاملاتی به یک صفحه یا کانال مراجعه میکنید، به نمونههای کامل و قابل بازتولید توجه کنید، نه صرفاً تصاویر معاملات موفق. بررسی سوگیری بقا در اینجا اهمیت دارد؛ زیرا حذف پیشنهادهای شکستخورده میتواند تصویری غیرواقعی از کیفیت خدمات ایجاد کند.
برای هر منبع داده، زمان شروع پوشش، فهرست بازارها، نحوه برخورد با نمادهای تغییرنامیافته، مهاجرت توکن و کندلهای ناقص را ثبت کنید. ممکن است یک پروژه با تغییر نماد یا انتقال قرارداد، در داده بهاشتباه دو دارایی مستقل دیده شود یا تاریخچه آن قطع شود. این خطاها علاوه بر سوگیری بقا، میتوانند بازده و حجم را نیز مخدوش کنند. مستندسازی نسخه داده و روش پاکسازی، امکان بازتولید آزمون را فراهم میکند.
سوگیری بقا زمانی رخ میدهد که داراییهای باقیمانده جایگزین کل جهان قابل معامله گذشته شوند. در بازار رمزارز، تغییر مداوم فهرست توکنها و حذف جفتارزها این خطر را جدی میکند. برای کاهش آن، ترکیب تاریخی بازار را بازسازی کنید، داراییهای شکستخورده را در مدل لحاظ کنید و معیارهای انتخاب را فقط با اطلاعات قابلدسترس همان تاریخ بسنجید. بکتست زمانی ارزشمند است که محدودیتهای داده و فرضهای اجرایی آن شفاف باشند.
خیر. هر مجموعهای که موارد شکستخورده یا حذفشده را کنار بگذارد، ممکن است دچار این خطا شود؛ بازار کریپتو نیز بهشدت در معرض آن است.
خیر. داده خارج از نمونه به ارزیابی بیشبرازش کمک میکند، اما اگر فهرست تاریخی داراییها ناقص باشد، سوگیری بقا باقی میماند.
اگر حذف آنها بدون مدلسازی پیامد و بدون گزارش محدودیت انجام شود، میتواند نتیجه را منحرف کند. باید سیاست دادههای ناقص شفاف باشد.