اندازه گیری ارزش افزوده استراتژی های تجارت الگوریتمی

آمار عملکرد استاندارد برای ارزیابی استراتژی های تجارت الگوریتمی کافی نیست و به طور بالقوه گمراه کننده است. معیارهای مبتنی بر خطاهای پیش بینی به اشتباه فرض می کنند که همه خطاها به همان اندازه اهمیت دارند. معیارهای مبتنی بر دقت طبقه بندی از بزرگی خطاها بی اعتنایی می کنند. و نسبت های عملکرد سنتی ، مانند شارپ ، Sortino و Calmar تحت تأثیر عوامل خارج از الگوریتم مانند عملکرد کلاس دارایی قرار می گیرند و به توزیع عادی بازده متکی هستند. بنابراین ، یک مقاله جدید یک نسبت تبعیض آمیز ("نسبت D") ارائه می دهد که موفقیت الگوریتم در بهبود بازده های تنظیم شده ریسک را در مقابل یک سبد خرید و خرید مرتبط اندازه گیری می کند. تقریباً صحبت می کند ، این متریک بازده سالانه را با یک معیار ارزش در معرض خطر تقسیم می کند که به نرمال بودن متکی نیست و سپس آن را با نسبت مشابهی برای سبد خرید و نگهدارنده تقسیم می کند. این متریک را می توان به سهم افزایش بازده و کاهش خطر تجزیه کرد.

نقل قول های زیر از مقاله است. عناوین ، متن خمیده و متن در براکت ها اضافه شده است.

این پست با خلاصه این سایت در مورد روشهای کمکی برای راندمان اطلاعات کلان ، به ویژه بخش در زمینه پشتی ، ارتباط دارد.

معیارهای عملکرد الگوریتم محبوب

"هوش مصنوعی (AI) و زیر زمینه های یادگیری ماشین (ML) ، یادگیری عمیق (DL) و یادگیری تقویت (RL) ثابت شده است که یک چارچوب جذاب برای ... پیش بینی بازده دارایی ما است ...هدف بررسی ... معیارهای عملکردی است که برای ارزیابی مدل های هوش مصنوعی و ارزیابی کارآیی آنها استفاده می شودبرای مقایسه این مدل ها با هدف دنبال شده برای بهبود مشخصات ریسک/بازگشت استراتژی های سرمایه گذاری. "

وی گفت: "ما 190 مقاله ارائه دادیم که چندین الگوریتم ML و DL را با هدف پیش بینی بازده دارایی های آینده یا الگوریتم های RL ارائه دهنده استراتژی های سرمایه گذاری ارائه دادیم. معیارهای عملکردی که در مقالات تجزیه و تحلیل شده یافت می شود بسیار متنوع است ...

• معیارهای مبتنی بر خطا عملکرد یک الگوریتم را دراندازه گیری خطا در پیش بینی بین بازده مؤثر محاسبه شده سابق و مقدار پیش بینی شدهتوسط الگوریتم. این معیارها شامل میانگین خطای مربع (MSE) ، میانگین خطای مطلق (MAE) و تحولات آن ...
• معیارهای مبتنی بر دقت اندازه گیری می کنندصحت کلاس اختصاص داده شده توسط الگوریتم به بازده پیش بینی شده در مقایسه با کلاس بازده مؤثر محاسبه شده سابقبشرطبقه بندی می تواند با دو کلاس باینری باشد (بازده مورد انتظار مثبت در مقابل بازده مورد انتظار منفی یا سرمایه گذاری در مقابل سرمایه گذاری) یا پیچیده تر ... این معیارها مبتنی بر ماتریس های سردرگمی است ... و شامل ... دقت ، F1 ، دقت یا فراخوان است. N. B: دقت کسری از نمونه های طبقه بندی شده به درستی است. در مورد باینری ، این نسبت مثبت مثبت و منفی واقعی به همه موارد دارای برچسب است ، جایی که به معنای واقعی است که به درستی توسط مدل برچسب خورده است. دقت نسبت مثبت واقعی ، یعنی مثبت با برچسب مثبت ، به همه مواردی است که به عنوان مثبت شناخته می شوند. این بدان معنی است که مخرج مجموع مثبت و مثبت کاذب است. این یک معیار اجتناب از اشتباهات است. یادآوری نسبت مثبت واقعی به کلیه مواردی است که به عنوان مثبت طبقه بندی می شوند. این بدان معنی است که مخرج مجموع مثبت و منفی های دروغین است. برای ترکیبی خوب از دقت و فراخوان ، می توانیم دو معیار را با نمره F1 ترکیب کنیم. این یک معیار اجتناب از گم شدن است. نمره F1 میانگین هارمونیک مقادیر دقت و فراخوان است و هر دو معیار را در نظر می گیرد. این زمان دقیق است که فراخوان با میانگین دقت و فراخوان تقسیم می شود. میانگین هارمونیک ارزشهای شدید را مجازات می کند.
• معیارهای مبتنی بر سرمایه گذاری نتایج حاصل از یک استراتژی سرمایه گذاری ارائه شده توسط الگوریتم با سیگنال های فروش سهام را اندازه گیری می کنند. این معیارها را می توان به [دو نوع] تقسیم کرد.
  • معیارهای مبتنی بر نتیجه ، نتایج پولی ، بازده تحقق یافته یا ریسک پشتیبانی شده برای تولید بازده (نوسانات ، حداکثر کاهش و غیره) را اندازه گیری می کند اما یکی را به دیگری تنظیم نمی کند.
  • معیارهای مبتنی بر بازده تنظیم شده با ریسک ... همچنین به عنوان معیارهای مبتنی بر ریسک/بازده یاد می شود که همزمان بازده و خطر استراتژی سرمایه گذاری را در نظر بگیرید و اندازه گیری کنید که الگوریتم چقدر کارآمد برای تولید بازده تحت محدودیت ریسک و بهینه سازی ریسک است./مشخصات بازگشت. معیارها در درجه اول با نحوه ارزیابی خطر متفاوت هستند. این کلاس از معیارها شامل نسبت های شارپ ، مرتب سازی یا آرامش ... "

  چرا معیارهای عملکرد محبوب گمراه کننده هستند

  "معیارهای مبتنی بر خطا از محبوب ترین موارد با 187 مورد در 190 مقاله بررسی شده هستند. معیارهای مبتنی بر خطا در هر حوزه به محض درگیر شدن رگرسیون استفاده می شود ، اما برای کار خاص در نظر گرفته شده ،معیارهای مبتنی بر خطا از دو ضعف شدید رنج می برند:

  • در حالی که آنها به راحتی می توانند در الگوریتم های رگرسیون اعمال شوند ، اما با الگوریتم های طبقه بندی کمتر کاربرد دارند و با یادگیری تقویت کننده غیرقابل استفاده هستند ،مقایسه بین چندین نوع الگوریتم غیرممکن است…
  • معیارهای مبتنی بر خطابه همان اندازه همه خطاها را در نظر بگیریدو خطایی را ایجاد نمی کند که باعث تصمیم بد می شود (یک سرمایه گذاری نادرست و در نتیجه بازده منفی یا فرصتی از دست رفته و بدون سرمایه گذاری در هنگام دارایی منجر به بازده مثبت) از خطایی که هیچ نتیجه منفی ندارد ، منجر بهبازده مثبت یا به یک سرمایه گذاری که از بازگشت منفی جلوگیری می کند ...همه خطاها برابر نیستند. الگوریتم های مبتنی بر خطا این عنصر مهم را از دست می دهندبشرمعیارهای مبتنی بر خطا می توانند منجر به ارزیابی شدید عملکرد الگوریتم ها شوند. "

  "معیارهای مبتنی بر دقت ... روی یک معیار متفاوت تمرکز کنید: طبقه بندی درست یا نادرست یا تصمیم سرمایه گذاری درست یا نادرست. ولیمعیارهای مبتنی بر دقت ممکن است میزان سود نسبی را از یک تصمیم خوب در مقابل میزان ضرر از یک تصمیم بد از دست بدهند.”

  بینش از یک تمرین تجربی

  "ماناکارآمدی معیارهای مبتنی بر خطا و دقت را اثبات کنید ...ما چندین الگوریتم رگرسیون AI را اعمال می کنیم: (i) Perceptron چند لایه (MLP) ، (ب) شبکه های عصبی حافظه کوتاه مدت بلند مدت (LSTM) ، (iii) شبکه های عصبی باقیمانده (RESNET) ، (IV) دستگاه وکتور پشتیبانی (SVM)) و (v) یک الگوریتم مبتنی بر درخت تصمیم "تقویت شیب شدید" (XGB) به 28 سهام داو جونز. ما از پارامترهای مختلف با هر الگوریتم برای تولید 980 سری بازده روزانه استفاده می کنیم. ما20 سال از تاریخچه قیمت های روزانه استفاده کنید: 15 سال برای آموزش الگوریتم های ما و 5 سال (1260 روز) برای آزمایش به عنوان داده های خارج از نمونه استفاده می شود.”

  ما MSE ، RMSE ، MAE (میانگین خطای مطلق) و MAPE (میانگین خطای درصد مطلق) رگرسیون را محاسبه می کنیم. ما هر یک از سری های 980 را با "بازپرداخت" یک عامل کاملاً آگاه که در هنگام بازده مثبت سرمایه گذاری می کند ، معیار می کنیم و وقتی بازده منفی یا صفر است سرمایه گذاری نمی کند. ما R ، R² ، دقت ، F1 ، Precision & Recall و ضریب همبستگی متیو را محاسبه می کنیم. "

  “ما استراتژی سرمایه گذاری زیر را اعمال می کنیم: اگر بازگشت پیش بینی شده روز بعد مثبت باشد ، ما یک روز سرمایه گذاری می کنیم ، در غیر این صورت هیچ موقعیتی باز نمی کنیمبشردر هر حالت ، این مدل هزینه معاملات مستقیم 13/0 ٪ 0. 10 ٪ در هر معامله را که به ارزش معامله اعمال می شود ، ادغام می کند. از آن استراتژی سرمایه گذاری و با فرض نرخ عاری از ریسک با 0. 0 ٪ ، ما بازده سالانه (ROI) ، نوسانات (جلد) ، حداکثر سالانه کاهش سال (MDD) را در درصد سرمایه گذاری و نسبت شارپ ، مرتب سازی و Calmar محاسبه می کنیم. بشر

  “با معیارهای مبتنی بر خطا ، ما انتظار می رود با نسبت های بازگشت ، شارپ ، مرتب سازی و ترمر ارتباط منفی داشته باشیم: هرچه خطا پایین تر باشد ، نتیجه مورد انتظار بهتر می شود. در ایتالیایی ، معیارهایی که همبستگی مثبت دارند.در برابر انتظارات برای معیارهای کارآمد ، همبستگی های فاش شده در [جدول زیر] مثبت است، به جز بین معیارهای عملکردی ریسک و بازگشت ، اما تفاوت معنی داری با 0 در 5 ٪ اهمیت ندارد ، همانطور که با مقادیر p نشان داده شده است. MAPE تنها متریک است که همبستگی آن منفی و قابل توجه است. "

  

  "معیارهای مبتنی بر دقت کارآمد باید با نسبت های بازگشت ، شارپ ، Sortino و Calmar و معیارهای مبتنی بر دقت ، همبستگی مثبت و معنی داری داشته باشند ، این دقت بیشتری دارد. در ایتالیایی ، همبستگی های منفی ...صحت ، F1 ، دقت ، فراخوان ... با بازگشت و با نسبت های شارپ ، Sortino و Calmar همبستگی مثبت دارندبشردقت و F1 بیشترین همبستگی را دارند.

  

  مسائل مربوط به نسبت های شارپ و sortino

  نسبت های شارپ و Sortino از دو موضوع مهم رنج می برند ...

  • نسبت شارپ با استفاده از انحراف استاندارد بازده اضافی و با استفاده از انحراف استاندارد بازده اضافی منفی ، ریسک را تعیین می کند. آنهافرض کنید که بازده ها به طور معمول توزیع می شوند ، بدون هیچ گونه شکوفایی و کورتوز در حدود 3.اگر بازده پرتفوی از توزیع گاوسی پیروی نکند ، نوسانات بازده کلاسیک دیگر یک اندازه گیری مؤثر از ریسک نیست و این نسبت ها می توانند خطر را دست کم بگیرند ...
  • [نسبت های شارپ و Sortino]اجازه ندهید که عملکرد الگوریتم های مختلف بر روی دارایی های مختلف یا در دوره های زمانی مختلف مقایسه شودبشرنتایج Sharpe و Sortino تحت تأثیر بازگشت دارایی زیرین است.

  پیشنهاد برای معیارهای عملکرد الگوریتم

  "هدف از الگوریتم های [تجارت] ... بهینه سازی بازده مورد انتظار سرمایه گذاری تحت محدودیت خطرات ناشی از سرمایه گذاری است. بنابراین تجزیه و تحلیل ما خواهد بودتمرکز بر توانایی معیارها برای ارائه یک پروکسی خوب برای توانایی یک الگوریتم برای دستیابی به هدف بهبود بازده تنظیم شده ریسک.”

  وی گفت: "ما یک متریک عملکرد جدید پیشنهاد می کنیم که اندازه گیری خطر را بهبود می بخشد و توانایی مقایسه کارآیی الگوریتم ها را در طول زمان و در سراسر دارایی ها دارد.

  • استفاده از ارزش فیشر کورنیایی به طور قابل توجهیدر مقایسه با نوسانات بازده ، اندازه گیری خطر را بهبود می بخشد… ارزش در معرض خطر (VAR)… راهی برای پرداختن به شکستگی و کورتوز توزیع بازده دارایی با گسترش کورنیش فیشر (گسترش CF) ارائه می دهد. گسترش CF 4 لحظه توزیع را به خود اختصاص می دهد: بازگشت ، نوسانات ، پوستی و کورتوز. این یک فرم پارامتری به راحتی قابل اجرا را ارائه می دهد که اندازه گیری ریسک را بهبود می بخشد.coish-Fisher VAR (CF-VAR) یک رویکرد مؤثر و آسان برای اجرای برای مقابله با توزیع های غیر گاوسی است ... هیچ روش آسان و پارامتری برای بهبود اندازه گیری خطر [فراتر از] CF-VAR وجود ندارد.
  • اگر بازده دارایی را با CF-VAR ترکیب کنیم ، می توانیم به راحتینسبت بازگشت به وار برابر با بازگشت تقسیم شده توسط CF-VAR را تعریف کنیدبشراین نسبت از نسبت های شارپ ، مرتب سازی یا آرامش بهتر است زیرا خطر مؤثر پذیرفته شده برای تولید بازده مؤثر را بهتر می کند.
  • ما پیشنهاد می کنیم یک نسبت بازده جدید تنظیم شده به عنوان "نسبت تبعیض آمیز" یا "نسبت D" (D) تعریف کنیم ، که فقط بر ارزش افزوده الگوریتم متمرکز است. برای دستیابی به این هدف ،ما نسبت بازگشت به VAR الگوریتم را با نسبت بازگشت به VAR از Buy & Hold تقسیم می کنیماگر نسبت D از 1 بیشتر باشد ، الگوریتم بیش از حد استراتژی Buy & Hold را افزایش می دهد؛اگر نسبت D از 1 کوچکتر باشد ، استراتژی خرید و نگهدارنده را تحت تأثیر قرار می دهد.
  • برای پرداختن به اندازه کافی وضعیتی که بازگشت خرید و نگه داشتن و بازگشت الگوریتم از علامت مخالف است ... ما پیشنهاد می کنیمنسبت D ما را برای تفاوت در علامت اصلاح کنید[تفریق نسبت بازده تنظیم شده ریسک از استراتژی خرید و نگه داشتن از استراتژی ALGO و تقسیم تفاوت بر ارزش مطلق نسبت بازده تنظیم شده ریسک استراتژی خرید و نگه داشتن].

  فرمول کلی:

  d-statio = 1 + (r [algo]-r [b & h]) / abs (r [b & h])

  R [algo] نسبت بازگشت تنظیم شده از Algo R [B& H] است ، سهمیه بازده تنظیم شده در ریسک خرید و نگه داشتن

  نسبت D می تواند برای ارزیابی اینکه آیا ارزش افزوده الگوریتم بیشتر با بازده بهبود یافته بهبود یافته یا با توانایی کاهش خطر مرتبط است ، تجزیه شود.

  نسبت D- نسبت D-Retu * نسبت D-VAR

  نسبت D-Retu = نسبت D-Ratio / D-VAR نسبت D-VAR = CF-VAR [B & H] / CF-VAR [ALGO]

  [] نسبت D-Retu توانایی الگوریتم برای افزایش بازده مورد انتظار را ارزیابی می کند. اگر D-Retu بالاتر از 1 باشد ، این الگوریتم برای بازده مورد انتظار خود از استراتژی Buy & Hold فراتر می رود. در غیر این صورت ، استراتژی Buy & Hold از نظر بازده کارآمدتر از الگوریتم است.

  اگر D-VAR بالاتر از 1 باشد ، الگوریتم ها از استراتژی خرید و نگهدارنده برای مدیریت ریسک خود بهتر عمل می کنند ، زیرا CF-VAR از خرید و نگه داشتن بیشتر از CF-VAR الگوریتم است.