BADANIA I PRAKTYKA
Backtest krypto według ówczesnej wiedzy: błąd przeżywalności i dostępności
Odtwórz instrumenty i informacje dostępne przy każdej decyzji, uwzględniając usunięte tokeny, zmiany notowań oraz opóźnione dane.
Ceny historyczne stanowią tylko część wiarygodnego backtestu. Test musi również wiedzieć, które instrumenty można było wtedy rozważać i kiedy dostępne stało się każde wejście. Wzięcie dzisiejszych ocalałych rynków i uzupełnienie ich przeszłości może odpowiadać na dużo łatwiejsze pytanie niż to, przed którym stał bieżący skaner. Zbiór danych zgodny z ówczesną wiedzą zachowuje zmienne otoczenie decyzji zamiast zastępować je wiedzą po fakcie.
Zapisuj przynależność do uniwersum jako fakt z datą
Zachowuj migawki lub datowaną historię dopuszczalnych instrumentów: giełdę, rodzaj produktu, aktywo kwotowane i status handlu. Bieżące API instrumentów pomaga sprawdzać aktualne ograniczenia, lecz jego obecna odpowiedź nie jest automatycznie archiwum dawnych notowań i usunięć. Rejestruj dodania, zawieszenia, zmiany symboli i pochodzenie historycznych statusów. Nie identyfikuj aktywa wyłącznie symbolem, jeśli migracje lub ponowne użycie nazwy mogą tworzyć niejednoznaczność. Backtest powinien wyjaśniać, dlaczego dany instrument był dopuszczalny konkretnego dnia, a inny nie występował.
Hipotetyczny wynik oparty wyłącznie na ocalałych
Wyobraźmy sobie 20 dopuszczalnych rynków na początku badania. Dziesięć pozostaje w obecnym katalogu i osiąga średni zwrot 20%; dziesięć później znika z katalogu i średnio traci 60% w określonym okresie utrzymywania. Rachunek równych wag tylko dla obecnych ocalałych pokazuje zysk 20%. Ten sam prosty rachunek dla wszystkich początkowych 20 rynków daje stratę 20%. Liczby są hipotetyczne, a rzeczywiście inwestowalny portfel wymaga dodatkowych założeń wykonania. Przykład pokazuje, że zmiana składu może odwrócić pozorny wynik, zanim w ogóle użyje się modelu.
Oddziel datę zdarzenia od daty dostępności
Wskaźnik gospodarczy, liczba podaży tokena lub status giełdy może opisywać wcześniejszy okres, choć został opublikowany później. Cecha może być użyteczna dopiero po publikacji, dostarczeniu i przetworzeniu, a nie w dacie okresu referencyjnego. Zachowuj czas ekonomiczny i najwcześniejszy uzasadniony czas dostępności. Wersjonuj rewizje, które mogą zmieniać historyczne wartości cech. Jeśli nie można odzyskać pierwotnej publikacji, ujawnij ograniczenie lub zawęź eksperyment. Cofanie poprawionej wartości do historii zmienia wiedzę dostępną symulowanemu decydentowi.
Zachowuj niewygodne wyniki i brakujące okresy
Usunięty rynek może mieć niepełne ceny końcowe lub ograniczone wypłaty, co utrudnia ocenę ekonomiczną. Nie usuwaj go po cichu z próbki ani nie zastępuj brakującej wartości wygodnym zerowym zwrotem. Określ sposób potraktowania, pokaż wrażliwość na uzasadnione alternatywy i rozdziel nieznane wyniki od zmierzonych strat. Podobnie zapisuj awarie danych w okresach zmienności. Systematyczne wykluczanie takich obserwacji może sprawić, że próbka opisze tylko najłatwiejsze warunki handlu. Pokrycie według daty i instrumentu powinno towarzyszyć każdej tabeli wyników.
Sprawdź łączenie danych przed strojeniem modelu
Wybierz niewielki zestaw historycznych chwil i ręcznie odtwórz dopuszczalne uniwersum, zasady rynku oraz wersje wejść. Sprawdź, czy żadne łączenie nie wybiera rekordu opublikowanego po decyzji tylko dlatego, że ma wcześniejszą datę referencyjną. Uwzględnij rozpoczęcie notowań, zawieszenie, zmianę symbolu i opóźnioną obserwację. Zachowaj wersję zbioru z eksperymentem. Badania nad przeuczeniem backtestów opisują inne ryzyko: wybór strategii po przetestowaniu wielu wariantów. Rozwiązanie tego problemu nie naprawia uniwersum ani tabeli cech, które już zawierają informacje z przyszłości.
Opublikuj rejestr dowodów razem z wynikiem
Opisz źródło historycznej przynależności, pokrycie usuniętych aktywów, reguły opóźnionych danych i nierozwiązane luki. Porównaj pełną próbkę zgodną z ówczesną wiedzą z próbką ocalałych diagnostycznie, a nie jako dwa wyniki, z których wybiera się atrakcyjniejszy. Oddziel okresy wyboru parametrów, kalibracji i końcowej oceny. Najbardziej użyteczny wniosek może brzmieć, że dostępna historia nie potwierdza pierwotnej tezy. Mniejszy, odtwarzalny eksperyment z jawnymi ograniczeniami jest bardziej wiarygodny niż długa krzywa wyniku, której otoczenia decyzji nie da się odtworzyć.
Źródła i zakres przykładów
Źródła potwierdzają definicje i mechanizmy. Scenariusze liczbowe są hipotetycznymi przykładami edukacyjnymi, nie bieżącymi cenami, prognozami ani raportowanymi wynikami HOSTuvo. Obrazy pełnią funkcję ilustracji redakcyjnych.