شبکه های عصبی بیزی برای پیش بینی قیمت سهام قبل و در طول همه گیر Covid-19

این یک مقاله دسترسی آزاد است که تحت شرایط مجوز انتساب Creative Commons توزیع شده است ، که امکان استفاده ، توزیع و تولید مثل بدون محدودیت در هر رسانه را فراهم می کند ، مشروط بر اینکه نویسنده و منبع اصلی اعتبار داشته باشند.

داده های مرتبط

توجه داشته باشیم که داده ها و کد مورد استفاده در مقاله باز است و داده های پردازش شده از طریق repo github با پیوند داده شده در مقاله ارائه شده است: https://github.com/sydney-machine-leaing/bayesiaeuralnet_stockmark.

خلاصه

اخیراً ، در استفاده از روشهای یادگیری ماشین ، به ویژه یادگیری عمیق برای پیش بینی قیمت سهام ، توجه زیادی شده است. محدودیت عمده یادگیری عمیق متعارف ، کمیت عدم اطمینان در پیش بینی هایی است که بر اعتماد به نفس سرمایه گذار تأثیر می گذارد. شبکه های عصبی بیزی برای ارائه استنباط (آموزش) پارامترهای مدل که یک روش دقیق برای کمیت عدم اطمینان در پیش بینی ها را فراهم می کند ، استنتاج بیزی دارد. روش های نمونه برداری زنجیره ای مارکوف مونت کارلو (MCMC) در اجرای استنتاج شبکه های عصبی بیزی برجسته بوده است. با این حال محدودیت های خاصی به دلیل تعداد زیادی از پارامترها و نیاز به منابع محاسباتی بهتر وجود داشته است. اخیراً با توجه به استفاده از شیب لانژوین با MCMC موازی که می تواند در یک محیط محاسبات موازی قابل اجرا باشد ، پیشرفت های زیادی در منطقه شبکه های عصبی بیزی وجود داشته است. همه گیر Covid-19 با توجه به افزایش و سقوط عفونت های روزانه ، تأثیر چشمگیری در اقتصاد جهانی و بازار سهام با توجه به سطح مختلف قفل شدن داشت. با توجه به نوسانات در بورس سهام ، بررسی عملکرد مدل های پیش بینی مرتبط در طول همه گیر COVID-19 مهم است. در این مقاله ، ما از شبکه های عصبی جدید بیزی برای پیش بینی قیمت سهام چند مرحله ای قبل و در طول COVID-19 استفاده می کنیم. ما همچنین بررسی می کنیم که آیا مجموعه داده های Pre-Covid-19 از مدل سازی پیش بینی قیمت سهام در طول COVID-19 مفید هستند. نتایج ما نشان می دهد که به دلیل نوسانات زیاد در قیمت سهام در طول COVID-19 ، ارائه پیش بینی چالش برانگیزتر است. با این حال ، ما دریافتیم که شبکه های عصبی بیزی می توانند با وجود نوسانات بالای بازار در اولین اوج همه گیر Covid-19 ، پیش بینی های معقول با کمیت عدم اطمینان ارائه دهند.

1. معرفی

پیش بینی قیمت سهام یک منطقه تحقیقاتی چالش برانگیز است [1] به دلیل عوامل متعدد تأثیرگذار در بورس سهام که از سیاست [2] ، آب و هوا و آب و هوا و تجارت بین المللی و منطقه ای متغیر است [3]. روشهای یادگیری ماشین مانند شبکه های عصبی به طور گسترده در پیش بینی سهام مورد استفاده قرار گرفته است [4]. برخی از مطالعات نشان می دهد که شبکه های عصبی از روشهای آماری مانند تجزیه و تحلیل رگرسیون خطی چندگانه [5] ، تجزیه و تحلیل تبعیض آمیز [6] و روشهای مرتبط استفاده می کنند. به دست آوردن اندازه گیری قوی عدم اطمینان با دقت پیش بینی خوب یک چالش اساسی برای مدلهای پیش بینی موثر بازار سهام بوده است.

استنتاج بیزی روشی را برای برآورد قوی عدم اطمینان از پارامترها در مدل های پیش بینی ارائه می دهد. استنتاج بیزی مدل ها را قادر می سازد تا با استفاده از توزیع های خلفی ، اندازه گیری عدم اطمینان را در پیش بینی ها نشان دهند تا پارامترهای ناشناخته را نشان دهند [7]. احتمال فرضیه در استنتاج بیزی با در دسترس بودن شواهد یا داده ها به روز می شود [8]. ما می توانیم توزیع خلفی را با روش های نمونه گیری که توزیع قبلی و عملکرد احتمال را برای ارزیابی مدل با داده های داده شده در نظر می گیریم ، بدست آوریم [9]. روشهای زنجیره ای مارکوف مونت کارلو (MCMC) با نمونه گیری از توزیع خلفی استنباط بیزی را اجرا می کند [7 ، 10]. شبکه های عصبی بیزی از روشهای MCMC برای تخمین پارامترهای شبکه عصبی (وزن و تعصب) استفاده می کنند [11 ، 12]. به دلیل لعنت ابعاد ، روشهای MCMC با افزایش اندازه مدل و داده ها با محدودیت ها روبرو می شوند. بنابراین ، Hamiltonian MCMC [13] و Langevin Dynamics مبتنی بر MCMC [14] که توزیع پیشنهادی مبتنی بر شیب برای بهبود روشهای MCMC متعارف ارائه شده است. MCMC موازی موازی با پایه های لانژوین برای شبکه های عصبی بیزی بسیار امیدوار کننده بوده است [15] ؛بنابراین ، این پتانسیل را برای پیش بینی بازار سهام دارد.

بیماری Coronavirus 2019 (COVID-19) یک بیماری عفونی است [16-18] که به یک بیماری همه گیر جهانی تبدیل شد [19]. اولین پرونده تأیید شده یا شاخص COVID-19 به هفدهم نوامبر در ووهان ، هوبی ، چین که در دسامبر سال 2019 شناخته شد ، ردیابی شد [20]. همه گیر Covid-19 بسیاری از کشورها را وادار کرد تا مرزهای خود را ببندند و یک قفل جزئی یا کامل را اجرا کنند که تأثیر مخربی بر اقتصاد جهانی داشته است که می تواند سالها ادامه یابد [21-23]. کاهش قفل و تأثیر اقتصادی بسته به کشاورزی در مناطق روستایی ، به ویژه در کشورهای در حال توسعه ، جمعیت را تحت تأثیر قرار داد [24 ، 25]. چندین روش یادگیری ماشین برای پیش بینی عفونت COVID-19 در چندین کشور استفاده شده است [26-33] ، و تأثیر Covid-19 بر اقتصاد نیز مورد بررسی قرار گرفته است.

در ادبیات ، هیچ کاری با استفاده از شبکه های عصبی بیزی برای بازارهای سهام انجام نشده است تا میزان عدم اطمینان در پیش بینی ها را ارائه دهد. ما می توانیم از این روشها برای مهار قدرت شبکه های عصبی در دقت پیش بینی و همچنین تعیین کمیت عدم اطمینان در پیش بینی ها استفاده کنیم. علاوه بر این ، ارزشمند است که ارزیابی کنیم که چگونه مدل های شبکه عصبی در طول همه گیر COVID-19 با توجه به تغییرات شدید در بورس بین المللی با اختلال در تجارت و پیش بینی بین المللی ، عملکرد دارند. از این رو ، بررسی عملکرد مدل های پیش بینی مرتبط در طول همه گیر COVID-19 با توجه به نوسانات در بازار سهام مهم است.

در این مقاله ، ما از شبکه های عصبی جدید بیزی برای پیش بینی قیمت سهام چند مرحله ای قبل و در طی COVID-19 استفاده می کنیم. ما نتایج پیش بینی خود را با الگوریتم های آموزش شبکه عصبی پیشرفته مقایسه می کنیم. داده های آموزشی ما دارای سهام از چهار منطقه مختلف است که شامل آلمان ، چین ، استرالیا و ایالات متحده است. ما سهام این کشورها را به دلیل تأثیر انواع مختلف کاهش قفل در طول مرحله اول همه گیر Covid-19 که بر تولید ناخالص داخلی آنها (تولید ناخالص داخلی) تأثیر می گذارد ، انتخاب می کنیم. ما مطالعه خود را به دلیل وضعیت ژئوپلیتیکی و پیش بینی های متنوع تولید ناخالص داخلی در طول همه گیر ، به سهام منتخب این کشورها محدود می کنیم [23]. علاوه بر این ، یکی از سهام منتخب دارای شرکت تولید ماسک COVID-19 است ، در حالی که برخی دیگر در مورد کالاهای لوکس برای تجزیه و تحلیل متنوع بازار سهام هستند. ما بررسی می کنیم که آیا مجموعه داده های Pre-Covid-19 می تواند بینشی در مدل سازی پیش بینی قیمت سهام در مرحله اول COVID-19 ارائه دهد. ما عملکرد پیش بینی Pre-Covid-19 را با نتایج در طول COVID-19 مقایسه می کنیم تا توانایی شبکه های عصبی بیزی را با توجه به تغییرات شدید در قیمت سهام ارزیابی کنیم.

ما توجه می کنیم که اگرچه مطالعات زیادی در ادبیات مربوط به پیش بینی COVID-19 با روش های یادگیری ماشین وجود دارد ، استفاده از شبکه های عصبی بیزی محدود است. علاوه بر این ، بیشتر مطالعات به جای پیش بینی بازار سهام ، بر شیوع عفونت ها تمرکز دارند. تازگی در این مطالعه در استفاده از شبکه های عصبی بیزی است که در مقایسه با شبکه های عصبی کلاسیک ، اندازه گیری عدم اطمینان مدل بهتر را ارائه می دهد.

بقیه مقاله به شرح زیر سازماندهی شده است. بخش 2 بررسی کار مرتبط را ارائه می دهد. بخش 3 روش پیشنهادی را ارائه می دهد و بخش 4 آزمایش ها و نتایج را ارائه می دهد. بخش 5 بحث را ارائه می دهد و بخش 6 مقاله را با بحث در مورد کارهای آینده نتیجه می گیرد.

2 کار مرتبط

2. 1 پیش بینی بازار سهام و قیمت

دو نوع روش پیش بینی وجود دارد که تکنیک های اساسی تجزیه و تحلیل [34] و تجزیه و تحلیل فنی [35] هستند. تکنیک های تجزیه و تحلیل بنیادی با بررسی داده های مربوط به شرکت مانند گزارش های حسابرسی ، ارزش کتاب و نسبت قیمت به درآمد (نسبت P/E) ارزش ذاتی سهام را اندازه گیری می کنند [36]. تجزیه و تحلیل فنی سعی در پیش بینی بازارهای سهام با استفاده از نمودارها و شاخص های کمی دارد [37]. بالاترین و کمترین ارزش قیمت سهام یک روز ، حجم سهام ، میانگین حرکت ساده و میانگین متحرک نمایی می تواند به عنوان شاخص های مالی در تجزیه و تحلیل فنی در نظر گرفته شود. اینها به عنوان ورودی برای روشهای یادگیری ماشین مناسب تر از تجزیه و تحلیل اساسی هستند [38 ، 39].

با توجه به افزایش قابل توجه قدرت محاسباتی ، یادگیری ماشین به روش پیش بینی بازار سهام محبوب تبدیل شده است [40]. برخی از روشهای برجسته یادگیری ماشین شامل دستگاه های بردار پشتیبانی (SVM) و شبکه های عصبی است. شوماکر و چن [41] از SVM برای طبقه بندی جهت (افزایش یا افت) قیمت سهام آینده استفاده کردند. لین و همکاران.[42] یک روش SVM شبه خطی را برای پیش بینی بازار سهام ارائه داد ، که زیر مجموعه شاخص های مالی را به عنوان ورودی های وزنی مدل انتخاب کرد. دیوی و همکاران.[43] از روش متهوریستی (بهینه سازی فاخته) برای آموزش پارامترهای SVM برای پیش بینی بازار سهام استفاده کرد. Dase و همکاران.[44] شبکه های عصبی را برای بهبود دقت پیش بینی بازار سهام به کار گرفت. لیائو و همکاران.[45] عملکرد مؤثر زمان تصادفی با شبکه های عصبی را در بر گرفت و از پارامترهای مختلف نوسانات برای ارزیابی عملکرد پیش بینی کننده مدل استفاده کرد. مغادام و همکاران.[46] به منظور پیش بینی سهام روزانه بورس اوراق بهادار NASDAQ ، از شبکه های عصبی برای دو نوع مجموعه داده ورودی استفاده کرد. چوپرا و همکاران.[47] نه سهام را بر اساس نوسانات و سرمایه گذاری در بازار تقسیم کرد و نشان داد که شبکه های عصبی توانایی خوبی برای پیش بینی قیمت سهام قبل و بعد از شیطنت در هند دارند.

روشهای بهینه سازی تکاملی مانند الگوریتم های ژنتیکی (GAS) به طور گسترده ای برای آموزش شبکه های عصبی و SVM ها استفاده شده است [48]. Khatibi و همکاران.[49] ترکیبی از گاز را با SVM ها ارائه داد که از شاخص های مختلف مالی به عنوان ویژگی های ورودی استفاده می کرد که عملکرد بهتری را در مقایسه با شبکه های عصبی به تنهایی ارائه می داد. Qiu و همکاران.[50] گاز را با شبکه های عصبی ترکیب کرد تا دقت شاخص پیش بینی بازار سهام را افزایش دهد. علاوه بر این ، شبکه های عصبی که توسط ترکیبی از بازپرداخت شبیه سازی شده و گاز آموزش داده می شوند ، دقت پیش بینی را نسبت به شبکه های عصبی سنتی پس زمینه افزایش می دهند [51].

علاوه بر این ، سایر روشهای ترکیبی که در زمینه هوش مصنوعی و یادگیری ماشین قرار می گیرند نیز در پیش بینی بازار سهام مورد استفاده قرار گرفته است. گورسن و همکاران.[52] مقایسه ای بین شبکه های چند لایه Perceptron ، شبکه های عصبی پویا و شبکه های عصبی ترکیبی که دارای مدل ناهمگونی مشروط مشروط عمومی (GARCH) بودند ، ارائه داد. نویسندگان گزارش دادند که Perceptron چند لایه بهترین عملکرد را ارائه می دهد. Rathnayaka و همکاران.[53] یک مدل ترکیبی را بر اساس شبکه های عصبی و میانگین متحرک یکپارچه خودجوش (ARIMA) برای پیش بینی بورس کلمبو ارائه داد که توانایی پیش بینی بهتری را در زیر نوسانات بالا نسبت به روشهای پیش بینی سری زمانی معمولی فراهم می کند. Zhong and Enke [54] از تکنیک های کاهش ابعادی که شامل تجزیه و تحلیل مؤلفه اصلی (PCA) ، تجزیه و تحلیل مؤلفه اصلی قوی فازی (FRPCA) و تجزیه و تحلیل مؤلفه اصلی مبتنی بر هسته (KPCA) با شبکه های عصبی برای برآورد جهت روزانه آینده است. بازده بازار سهام. نویسندگان گزارش دادند که ترکیبی از شبکه های عصبی و PCA نتایج دقیق تری را در مقایسه با سایر ترکیبات ارائه می دهد.

2. 2 شبکه عصبی برای پیش بینی

یادگیری عمیق به شبکه های عصبی نوع خاصی اشاره دارد که از لایه های پردازش چندگانه تشکیل شده و انتزاع سطح بالا را به داده های مدل امکان پذیر می کند [55]. در ادبیات ، یادگیری عمیق معمولاً به مدلهای برجسته مانند شبکه های مکرر (RNN) ، شبکه های عصبی حلقوی (CNN) ، شبکه های اعتقاد عمیق و شبکه های حافظه کوتاه مدت کوتاه (LSTM) اشاره دارد [56 ، 57]. در سالهای اخیر ، با داشتن قدرت محاسباتی بیشتر و مجموعه داده های گسترده ، مدل های یادگیری عمیق عملکرد عالی را در زمینه های مختلف ، مانند تجزیه و تحلیل احساسات [58] ، تجزیه و تحلیل تصویر [59] و پردازش زبان طبیعی [60] نشان داده اند.

مهمترین مزیت مدلهای یادگیری عمیق ، امکان استخراج خودکار ویژگی های خوب داده های ورودی از طریق روش یادگیری با هدف کلی است [61]. بنابراین ، یادگیری عمیق نیز در برنامه های مختلف پیش بینی مورد استفاده قرار گرفته است. Amarasinghe و همکاران.[62] در مورد اثربخشی CNN ها برای پیش بینی بار انرژی سطح ساختمان. Huang و Kuo [63] CNN و LSTM را برای آلودگی هوا (PM 2. 5) ترکیب کردند. سودیانی و همکاران.[64] از LSTM ها برای پیش بینی سطح تخلیه رودخانه Cimandiri استفاده کرد که برای مدیریت منابع آب مفید بود.

جامعه مالی در توسعه راه حل ها با مدل های یادگیری عمیق برای تحقیقات پیش بینی مالی افزایش یافته است. دینگ و همکاران.[65] از CNN برای ارزیابی تأثیر وقایع مختلف بر رفتار قیمت سهام در کوتاه مدت ، میانه و بلند مدت استفاده کرد. نلسون و همکاران.[66] از LSTM ها برای پیش بینی روندهای آینده بورس بر اساس تاریخچه قیمت و شاخص های تحلیل فنی استفاده کرد. جدا از این ، از رویکردهای نوآورانه برای آموزش شبکه های عصبی معمولی استفاده شده است. چاندرا و همکاران.[67] از RNN های تکاملی برای پیش بینی بازار سهام و چارچوب پیشنهادی برای کاربرد موبایل استفاده کرد.

شبکه های عصبی بیزی به دلیل دقت پیش بینی امیدوارکننده با کمیت عدم اطمینان ، در پیش بینی قدرت دارند. شبکه های عصبی مختلف بیزی مانند شبکه های عصبی مکرر بازگشتی بیزی [68] و شبکه های عصبی تکاملی MCMC Bayesian [69] برای پیش بینی سری زمانی استفاده شده است. لیانگ و همکاران.[70] یک الگوریتم MCMC را برای شبکه های عصبی برای مشکلات سری زمانی انتخاب شده پیشنهاد کرد. چاندرا و همکاران.[15] شبکه های عصبی بیزی گرادیان لانژوین را با MCMC موازی موازی ارائه داد ، که از محاسبات با کارایی بالا برای پیش بینی سری زمانی استفاده می کرد. شبکه های عصبی بیزی در زمینه های مختلف مانند جریان مسافر راه آهن [71] ، شاخص خاصی از اقتصاد ملی [72] و قیمت کالاهای کوتاه مدت اعمال شده است [73] ؛این برنامه ها عملکرد پیش بینی امیدوارکننده را گزارش کرده اند.

2. 3 Covid-19 تأثیر بر اقتصاد جهانی

همانطور که قبلاً ذکر شد ، مرحله اول COVID-19 تأثیر مخربی بر اقتصاد جهانی و بازار سهام دارد. احمار و همکاران.[74] مطالعه ای را برای پیش بینی اثر COVID-19 در بورس سهام در اسپانیا با استفاده از مدل ARIMA ارائه داد. نویسندگان مدل ARIMA را با نشانگر α-sutte ترکیب کردند که از 4 نقطه داده قبلی برای پیش بینی استفاده می کند و در مقایسه با مدل ARIMA به تنهایی مناسب تر بود. آنها همچنین گزارش دادند که افزایش تعداد موارد COVID-19 تأثیر مستقیمی بر بازار سهام دارد. علی و همکاران.[75] از مدل GARCH برای ارزیابی نوسانات بازارهای مالی در هنگام انتقال COVID-19 از چین به اروپا و سپس به ایالات متحده استفاده کرد. نویسندگان همچنین در مرحله اول COVID-19 یک رگرسیون دو متغیره بین بازده و نوسانات اوراق بهادار مختلف مالی انجام دادند. نتایج نشان می دهد که چین به تدریج تثبیت می شود ، در حالی که بازار جهانی با گسترش اپیدمی ، افت شدید امنیت مالی را تجربه کرده است. در یک مطالعه دیگر ، محققان سعی کردند یک الگوی پیش بینی کننده را برای ارزیابی رابطه بین اخبار مرتبط با سلامت و بازده سهام در کشورهای بدترین توسط Covid-19 بسازند [76].

علاوه بر این ، Maliszewska و همکاران.[23] تأثیر COVID-19 را بر تولید ناخالص داخلی (تولید ناخالص داخلی) و تجارت در چهار حوزه اصلی که شامل کاهش نرخ اشتغال و تقاضای سرمایه ، هزینه های بالاتر در تجارت بین المللی ، کاهش شدید در گردشگری بین المللی و کاهش تقاضا برای است ، ارزیابی کرد. خدماتی که نیاز به تعامل نزدیک انسان دارند. مدل اقتصادی که از نظر مفهومی شبیه به رویکرد مدل سازی سندرم حاد تنفسی حاد (SARS) در سال 2002 است ، برای تقریب تأثیر بالقوه COVID-19 بر اقتصاد جهانی استفاده شد [77]. نیکولا و همکاران.[78] به تفصیل تأثیرات اقتصادی و اجتماعی COVID-19 بر صنایع مختلف و متمرکز بر صنعت اصلی مربوط به معدن مواد اولیه ، صنعت ثانویه مربوط به تولید محصول نهایی و صنعت سوم از جمله صنایع ارائه شده است. مک کینبین و فرناندو [79] هفت سناریو مختلف را پیش بینی کردند که چگونه ممکن است Covid-19 در سال آینده تکامل یابد ، که نشان می دهد این شیوع می تواند در کوتاه مدت تأثیر قابل توجهی در اقتصاد جهانی داشته باشد. گوان و همکاران.[80] از جدیدترین چارچوب مدل سازی تجارت جهانی برای تجزیه و تحلیل اثرات زنجیره تأمین بر تعدادی از سناریوهای قفل پایین ایده آل استفاده کرد.

3 روش

3. 1 بازسازی حالت فضا

بازسازی فضای دولتی به تعبیه یک سری زمانی در یک بردار اشاره دارد تا بتواند توسط مدل های یادگیری ماشین آموزش دیده شود [81]. طبق قضیه Taken ، روند تعبیه باید اطمینان حاصل کند که ویژگی های اصلی سری زمانی حفظ شده است [82]. با توجه به یک سری زمانی یک متغیره ، می توانیم با گرفتن یک نقطه در تأخیر ثابت سیستم اصلی ، یک وکتور فضایی چند بعدی بسازیم. با استفاده از قضیه تعبیه شده Taken [82] ، بازسازی دولت فضای به شرح زیر است.

فرض کنید سری واقعی قیمت سهام بسته شده [x₁، ایکس₂، …، ایکس_حرف] ، جایی که n طول سریال است. ابتدا ، ابعاد تعبیه M و یک تاخیر T را انتخاب می کنیم ، و سپس ویندوزهای اندازه M را که توسط بردار X ¯ برای هر تأخیر T مشخص می شود ، ضبط می کنیم تا N تا زمان رسیدن به N برسد. مشکل ما پیش بینی چند مرحله ای است که در آن ما افق های پیش بینی N داریم که توسط بردار y مشخص شده است. بردار بازسازی شده توسط تعبیه فضای دولتی توسط [x ¯ ، y] مشخص شده است. از این رو ، برای اولین بار ، ما داریم

به همین روش ، ما می توانیم بقیه موارد را برای کل سری زمانی مطابق شکل زیر بدست آوریم.

x ¯ t = [x 1 + (t - 1) t ، x 2 + (t - 1) t ، x 3 + (t - 1) t ، x 4 + (t - 1) t ،… ، x m + (t - 1) t]

y t = [x m + (t - 1) t + 1 ، x m + (t - 1) t + 2 ، x m + (t - 1) t + 3 ،… ، x m + (t - 1) t + n]

3. 2 شبکه عصبی

شبکه های عصبی متعارف که به عنوان ادراک چند لایه نیز شناخته می شوند ، از لایه های مختلفی در مدل استفاده می کنند ، جایی که هر لایه دارای سلولهای عصبی است که اطلاعات را برای لایه های پیش رو نشان می دهد که در شکل 1 نشان داده شده است. هر نورون می تواند سیگنال نورون را در لایه قبلی دریافت کرده و خروجی را به لایه بعدی تولید کند. لایه اول لایه ورودی نامیده می شود ، آخرین لایه به عنوان لایه خروجی نامیده می شود و لایه های واسطه دیگر لایه های پنهان نامیده می شوند. لایه پنهان می تواند یک لایه یا دارای چندین لایه باشد.

سری زمانی (که در حلقه های قرمز نشان داده شده است) به عنوان ورودی برای شبکه عصبی استفاده می شود که 5 مرحله را در زمان پیش بینی می کند (توسط حلقه های سیاه نشان داده شده است).

از یک روش پنجره کشویی برای بازسازی مجموعه داده ها از این طریق با استفاده از قضیه Taken استفاده می شود.

یک مدل شبکه عصبی F (x) را می توان به عنوان ترکیبی از توابع دیگر تعریف کرد. با توجه به یک سری از جفت های ورودی-خروجی، مدل برای تقریب عملکرد F به گونه ای آموزش داده شده است که f (x ¯ t) = y t برای همه جفت ها. در تنظیمات ما ،

که در آن ، M شماره ورودی و H تعداد لایه های پنهان است. تابع g (.) تابع فعال سازی سیگموئید است که در لایه های پنهان و خروجی استفاده می شود. راه اندازی مشکل پیش بینی سری چند مرحله ای پیش بینی با استفاده از شبکه های عصبی با یک لایه پنهان در شکل 1 نشان داده شده است. مجموعه کامل پارامترهای مدل شبکه عصبی در شکل 1 θ = (W ˜ ، V ˜ ، δ) نشان داده شده است ، که در آن δ = (Δ_ای، δ_{سخنرانی}). W jeight وزن ورودی به لایه پنهان است. V jeeT وزن لایه مخفی برای خروجی است. δ_{سخنرانی}تعصب برای لایه پنهان و δ است_ایتعصب برای لایه خروجی است.

نزول شیب تصادفی (SGD) یکی از روشهای برجسته آموزش شبکه های عصبی است. SGD یک روش تکراری برای بهینه سازی یک عملکرد هدف متفاوت با کمک شیب است [83]. در برخی از مشکلات بهینه سازی با ابعاد بالا ، SGD با دستیابی به تکرارهای سریعتر با میزان همگرایی پایین تر ، بار محاسباتی را کاهش می دهد [83]. آموزش شبکه های عصبی همچنین می تواند به عنوان حل مسئله بهینه سازی غیر Convex در نظر گرفته شود:

arg min l (w) ، که در آن w ∈ R n مجموعه پارامترها است و L تابع از دست دادن است. تکرارهای SGD را می توان به عنوان

توجه داشته باشیم که نرخ یادگیری پارامتر تعریف شده کاربر است که به نوع مشکل بستگی دارد و به طور معمول در آزمایش های آزمایشی تعیین می شود. از این رو ، گسترش SGD تطبیق نرخ یادگیری را به طور خودکار در طی فرآیند یادگیری در نظر بگیرید. برآورد لحظه سازگار (ADAM) یک روش بهینه سازی تصادفی مؤثر است که فقط به شیب مرتبه اول با مقدار کمی از حافظه نیاز دارد که در تطبیق نرخ یادگیری متمرکز است [84]. آدم نرخ یادگیری تطبیقی فردی پارامترها را از برآورد لحظات اول و دوم شیب محاسبه می کند. به روزرسانی وزن مبتنی بر آدم به شرح زیر بیان شده است