Deep Learning فعال قیمت با Databricks و AWS

پیش‌بینی حرکات ابزارهای قیمت‌گذاری مانند سهام، فارکس، کالاها و غیره، سال‌ها برای استراتژیست‌های کمی یک مشکل مهم بوده است. استفاده ساده از یادگیری ماشین برای تغییرات قیمت خام نتایج ناامیدکننده ای را به همراه دارد. ابزارهای جدید حاصل از یادگیری عمیق می توانند کیفیت نتایج را به طور قابل ملاحظه ای افزایش دهند که در شاخص های فنی سنتی به جای قیمت ها شامل سیگنال های ورودی و خروجی مربوطه به کار گرفته شوند. در این جلسه کریس اسکریناک و ایگور آلکسیف استفاده از ابزارهای تجزیه و تحلیل Databricks همراه با آموزش یادگیری عمیق قابل دسترسی از طریق آمازون SageMaker را برای افزایش کیفیت قابلیت های پیش بینی دو شاخص فنی بررسی می کنند: MACD و Slow stochastics. ما از S& P 500 به عنوان مبنایی برای پیش بینی استفاده می کنیم. سپس قابلیت‌های بهینه‌سازی پارامترهای آماری این شاخص‌ها را ابتدا بررسی می‌کنیم، و سپس بهینه‌سازی فرا پارامتر مدل یادگیری عمیق deepAR را دنبال می‌کنیم. این جلسه نحوه ساخت چنین شاخص‌هایی را در نوت‌بوک‌های Databricks و گسترش عملکرد Databricks برای آموزش مدل‌های یادگیری عمیق در فضای ابری از طریق PySpark و Amazon SageMaker نشان می‌دهد. تجربه قبلی نیاز نیست.

رونوشت ویدیویی

- سلام، نام من کریس اسکریناک است. من یک معمار راه حل های شریک هستم و بخش یادگیری ماشین را برای سازمان شریک در AWS رهبری می کنم. امروز با ایگور آلکسیف، معمار راه حل های شریک داده و تجزیه و تحلیل، که به Databricks و رومی اولسون، متخصص یادگیری ماشین نیز در AWS اختصاص دارد، پیوستم.

به Hard Right Edge خوش آمدید!

در این ارائه ما روشی را برای تفسیر عمل قیمت سهام به عنوان مکالمه بین دو شرکت کننده ، گاو و خرس پیشنهاد می کنیم. ما راهی برای تفسیر مکالمه با استفاده از تجزیه و تحلیل فنی کلاسیک ارائه می دهیم و پیش بینی می کنیم با استفاده از یادگیری ماشین چه اتفاقی می افتد. هیچ چیز موجود در اینجا مشاوره سرمایه گذاری نیست. همیشه قبل از تصمیم گیری در مورد سرمایه گذاری شخصی ، با مشاور مالی ثبت شده خود تماس بگیرید. بهترین فرصت هایی که برای سرمایه گذاران وجود دارد ، سوء برداشت دیگران است. هنگامی که سرمایه گذاران به عنوان یک گروه راه خود را از دست می دهند و یک ابزار را نادرست می کنند ، گروه دیگری از سرمایه گذاران برای تصحیح این اشتباه به دنبال آن هستند ، آنها بازار را شکستند. شرکت کنندگان در بازار به طور گسترده ای از دو گروه تشکیل شده اند ، گاوهایی که اصرار دارند قیمت ها همچنان افزایش می یابند و خرس هایی که اصرار دارند قیمت ها همچنان کاهش می یابد. از دیدگاه آنها ، و از لحظه ، هر دو درست هستند. فقط یک چیز وجود دارد که دید آنها ، لبه راست سخت را مبهم می کند. در حال حاضر سمت راست نمودار است. این جایی است که تاریخ به پایان می رسد. برای سرمایه گذاران اساسی ، لبه راست سخت حد داده های تاریخی در مورد یک شرکت ، زنجیره تأمین آن ، توانایی آن در به دست آوردن و حفظ استعداد ، اخبار است. راه دیگری برای کشف سوء برداشت ها وجود دارد. با گوش دادن و تفسیر مکالمات شرکت کنندگان در بازار. این مکالمه و واژگان آن تا زمانی که بازارها وجود داشته باشد وجود داشته است. نمودارهای شمعدان ژاپنی به قرن هفدهم میلادی باز می گردد ، در همان قرن بحران لاله هلندی. امروز ما آن تحلیل فنی زبان را می نامیم. همانطور که یادگیری عمیق این امکان را به ما داده است که پیش بینی کنیم چگونه جملات خود را هنگام تایپ Gmail به پایان برسانیم ، می توانیم از تکنیک های مشابهی استفاده کنیم تا به جلو نگاه کنیم و پیش بینی کنیم که چگونه گاوها و خرس ها بر اساس احساسات آنها احکام خود را در بازار به پایان می رسانند. تجزیه و تحلیل تاکتیکی طی سالها برای پیش بینی رفتار کوتاه مدت بسیار مفید بوده است ، اما غالباً سوء استفاده می شود ، و این سوءاستفاده ها می توانند پرهزینه باشند. ما یک نوت بوک Databricks را با الگوریتم های قدرتمند داخلی Amazon Sagemaker ترکیب خواهیم کرد تا این پیش بینی ها را انجام دهیم. بیایید با اصول اولیه شروع کنیم. همیشه فقط دو طرف برای هر تجارت وجود دارد. تصمیمی برای خرید و فروش توسط دو طرف گرفته شد.

اقتصاد رفتاری

گاهی اوقات قیمت ها به دلیل عدم مشارکت حرکت می کنند، یعنی خریداران حاضر نمی شوند. بنابراین، تنها کسانی که بیشتر تمایل به فروش دارند یا شاید بخشنامه ای برای فروش دارند می توانند شرکت کنند. قیمت ها باید به اندازه کافی پایین بیایند تا یک خریدار صعودی پیدا کنند. البته برعکس زمانی که احساس معکوس شود صادق است. برای اینکه هر رفتاری اتفاق بیفتد، سه چیز باید دقیقا در یک لحظه اتفاق بیفتد. باید توانایی عمل وجود داشته باشد. این می تواند به معنای داشتن یا نیاز به نقدینگی باشد. باید انگیزه وجود داشته باشد. این می تواند نیاز به سرمایه یا بازده سرمایه گذاری باشد. مهم این است که هیچ اقدامی بدون محرک انجام نخواهد شد، رویدادی که می گوید: «زمان الان فرا رسیده است». تجزیه و تحلیل تکنیکال نشانه های روشنی برای آنچه در پشت این سه بعد اساسی هر تجارت وجود دارد ارائه می دهد. تئوری بازار منطقی بیان می کند که اطلاعات کاملی در بازار وجود دارد و نمایندگان با آن اطلاعات منطقی عمل می کنند. مکتب رفتاری رویکرد متفاوتی دارد و کتاب «هذیان‌های مردمی فوق‌العاده و جنون جمعیت» کتابی با بیش از ۱۰۰ سال قدمت. جنون شیدایی خرید لاله هلندی است. این اولین مورد استفاده از عقلانیت شما برای غلبه بر بازار منطقی است. برای درک این موضوع لازم نیست روانشناس باشید. برخی چیزها کاملاً واضح است. مردم قیمت ها را به خاطر می آورند. اگر سهام مورد علاقه شما به طور مداوم به 20 نزدیک می شود، و امروز آن را در 19 می بینید، فکر می کنید که یک معامله است. شما آن را انتخاب خواهید کرد، توانایی دارید، انگیزه دارید. قیمت پایین تر، چه موجه باشد چه نباشد، محرک است. شما آماده خرید هستید و اقدام می کنید. برای درک شاخص های فنی، خلبانی را در نظر بگیرید که می تواند هواپیمای خود را با دید یا کاملاً بر اساس ابزار دقیق خود فرود آورد. استفاده از تحلیل تکنیکال برای تفسیر رفتار گروهی، بسیار شبیه به خلبانی است که یک ابزار را فقط فرود می‌کند. خطوط روند معادلات خطی هستند که اوج ها را به دیگر اوج ها و پایین ها را به پایین های دیگر در یک روند می پیوندند. این روند می تواند به سمت بالا، پایین یا یک طرف باشد. آنچه در مورد خطوط روند جذاب است این است که چقدر ساده و به راحتی قابل تشخیص هستند. یادت باشد چند لحظه پیش گفتم مردم قیمت ها را به خاطر دارند. این در پدیده ای منعکس می شود که در آن قیمت ها در یک کانال برای یک دوره زمانی حرکت می کنند. سپس یک شکست وجود دارد. شکست می تواند در جهت بالا یا پایین باشد. به زودی قیمت ها به سطح قبلی خود بازخواهند گشت. مردم عادت دارند. ممکن است دلایل خوبی برای شکست وجود داشته باشد، اما طبیعت ما این است که قبل از قدم گذاشتن در ناشناخته به ایمنی بازگردیم. لبه راست سخت خانه ناشناخته هاست.

میانگین های متحرک، به ویژه میانگین های متحرک نمایی وزن دار جلو، تغییرات تدریجی در احساسات را در طول زمان ثبت می کنند. من که سال‌ها در وال استریت کار کرده‌ام، بینش‌هایی درباره تجارت بلوکی، رفتار سازمانی بزرگ دارم.

حمایت و مقاومت

خرید 100000 سهم از هر شرکتی بسیار دشوارتر از چند 100 سهم است. روندهای سازمانی در مدت زمان طولانی تری دنبال می شوند، باند وسیع تری وجود دارد. سرمایه‌گذاران فردی که سریع‌تر حرکت می‌کنند، در مقابل نهادی، به راحتی با میانگین‌های متحرک نمایی کوتاه‌تر و طولانی‌تر مشخص می‌شوند. در نهایت، پدربزرگ همه شاخص های روند، MACD یک سنج بسیار موثر برای قدرت روند است. نام عجیب و غریب استوکاستیک یک ماشه داغ است. این یک پیشروی معمول برای یک روند، یک تغییر در روند است، اما اغلب اشتباه می شود.

ببخشید ، به ندرت از دست دادن معکوس ، متشکرم ، وقتی هدف واقعی است. با نگاهی به این نمودار از چپ به راست ، در پایین نارنجی و خطوط سبز میانه ، آمازون از سپتامبر 2019 تا پایان آن سال بین سالهای 1685 تا 1815 معامله کرد. این الگوی محدود به محدوده است. این یک روند جانبی است. سپس اتفاقی افتاد. یک استراحت کریسمس وجود داشت. شکستن مهم است ، شاید مهمترین سیگنال بازار. آنها نشان می دهند که مکالمه تغییر کرده است. جایی که به پایان می رسد ، هیچ کس واقعاً نمی داند. هر شکستگی ناشی از محکومیت شدید گروه غالب ، در این مورد گاو نر است. وقتی گاو خسته شود ، روند به پایان می رسد. خرس هایی که در اختیار آمازون قرار می گیرند نیز مانند خرس های خوب سود می برند و برای مدت کوتاهی به گروه غالب تبدیل می شوند. با این حال ، نقطه پایان آنها کمی قابل پیش بینی است. این یک بازپرداخت نامیده می شود. غالباً به قیمت مشهور همانطور که در پایان ژانویه می بینیم. اینگونه مقاومت می شود. رول ها را تغییر دهید ، و اینگونه است که پشتیبانی مقاومت می شود. مردم عادت دارند. در مورد صعود ، گاوها کنترل کامل دارند. قیمت 500 شرکت بزرگ بر اساس سرمایه بازار در اینجا توسط ETF Spy نشان داده شده است. آنها از سپتامبر 2019 تا اواسط فوریه 2020 در صعود بودند. خرس لحظات خود را داشت. شما می توانید از تندرست در اطراف این کانال فکر کنید همانطور که خرس می گوید: "ببخشید" ، اما آنها نتوانستند به گروه غالب تبدیل شوند. سپس در اواسط فوریه اتفاقی افتاد. خرس ها را به دست گرفت ، بولز تمام اعتقادات را از دست داد. توجه کنید که در پایان آن ماه ، گاوها گفتند: "ببخشید" ، اما دوام نیاورد. ما به سال 2018 سقوط کردیم ، 2018 اکنون از موقعیتی که مقاومت در هنگام ورود ترامپ به مقام خود بود ، پشتیبانی می کند. ترسیم خطوط مستقیم روی یک نمودار به نظر می رسد روشی عجیب برای توصیف مکالمه سیال است. این جایی است که EMA وارد می شود. من طی چند دهه پیدا کردم که ما به بازار گسترده نگاه می کنیم. دو EMA مؤثرترین EMA های 13 و 50 روزه هستند. می توانید این موارد را برای سایر ابزارها تنظیم کنید. با این حال ، معنی آنها بدون تغییر است. EMA 13 روزه نمایانگر دلالان ، معامله گران روز و سرمایه گذاران انفرادی است.

میانگین های متحرک نمایی

آنها در این مکالمه برای مسافت طولانی نیستند. آنها فقط می خواهند ببینند که در حال حرکت است. وقتی کسل کننده می شود ، صعودی یا نزولی ، یا اگر آنها به خاطر سوء برداشت های خود مجازات شوند ، بیرون می آیند. EMA 50 روزه گروه محافظه کار ، سرمایه گذاران نهادی ، افرادی است که به دنبال حفظ سرمایه و سودهای بلند مدت هستند. آنها نیز باید روزانه تعهد خود را ارزیابی کنند و با صعودی یا نزولی تنظیم شوند. وقتی این خطوط عبور می کنند ، مکالمه تغییر کرده است. به یک سگ فکر کنید که خرگوش را تعقیب می کند. این یک اشاره می شود و اجرا می شود. در ابتدا خرگوش سریع است ، اما سگ ممکن است به خود جلب شود. صلیب 13 و 50 روز EMA نشانه ای مداوم از تغییر گفتگو است. بیایید عمیق تر به آناتومی یک روند شیرجه بزنیم. اگر EMA بسیار قدرتمند باشد ، اگر تمام توجه خود را به فاصله بین آن دو گروه ، سرمایه گذاران فردی و نهادی یا خرگوش و سگ تبدیل کنیم ، چه اتفاقی می افتد؟

حرکت همگرایی / واگرایی متوسط

اگر خرگوش روز به روز به طور مداوم از سگ فرار کند ، ممکن است آن سگ فرصتی برای گرفتن طعمه خود نداشته باشد. این واگرایی از میانگین های حرکت یک نشانگر روند قوی است ، آنقدر قوی که روزمره تفکر شرکت کنندگان را غلبه می کند. این گاوها را به خرس ها و برعکس تبدیل می کند ، و همانطور که در اوایل ماه مارس ، برفی های برفی را ادامه می دهد ، تا زمانی که به اوج خود رسیدیم.

تصور کنید که نمی توانید قیمت سازهای ما را مشاهده کنیم ، فقط می توانستیم MACD را ببینیم. آیا می توانید با نگاه کردن به این نمودار ، ببخشید ، وقتی احساسات تغییر کرد؟آیا می توانید متوجه شوید که بهترین زمان خرید و فروش بود؟اکنون ما فقط با سازها پرواز می کنیم. وقتی خط سریع از خط آهسته عبور می کند ، ما فرصتی برای جلوتر از بسته داریم. در واقع ، این که بر اساس MACD تنها ، اولین صلیب ما یک ناسازگار است. ما کوتاه کردیم و مجبور شدیم سریع بپوشیم. با این حال ، بار دوم جذابیت داشت و یک دلهره آور بود. MACD با قیمت های تاریخی ساخته شده است ، بنابراین همیشه دیر است. در واقع ، این یک نشانگر محافظه کارانه مکالمه است. چه می شود اگر بخواهیم کمی باریک شویم و به قله ها و فرورفتگی های دقیق ضربه بزنیم؟خوب ، بیایید چند استعاره دیگر را مخلوط کنیم. تصور کنید که دو بوکسور وارد یک حلقه می شوند ، این یک مبارزه خوب است ، یا جنگنده می تواند پیروز شود. با این حال ، هر دو محدودیت خود را دارند. آنها فقط برای یک لحظه ، حرکت خود را از دست می دهند. آنها باید قدرت خود را بازیابی کنند. این همان چیزی است که Stochastics اقدام می کند. این اتفاقی است که در محدوده فرسودگی رخ می دهد.

موتوری

تصادفی از صفر تا 100 اندازه گیری می شود. این به طور متوسط درصدی است که قیمت ها به طور مداوم بسته می شوند ، یا در پایین تر روز. با گذشت زمان ، گاوها و خرس ها وارد منطقه فرسودگی می شوند. گاهی اوقات به آن بیش از حد یا بیش از حد گفته می شود. یک صلیب در 20 ٪ برتر این محدوده نشان دهنده تغییر است. این بدان معناست که گاو خسته شده است ، زمان خرس است ، و برعکس. در حقیقت ، تصادفی غالباً سوء استفاده می کند. تمایل دارد که در یک روند جامد بالا یا پایین قرار بگیرد. و این منطقی است. گاو یا خرس انرژی زیادی دارد ، نیازی به استراحت ندارد. با این حال ، هنگامی که آتش می گیرد ، درست است. و همیشه درست است ، درست به موقع.

اکنون که ما واژگان جدیدی از روانشناسی گروهی را معرفی کرده ایم ، و اینکه چگونه مشتقات کمی می توانند بینش قدرتمندی به ما بدهند ، ما می خواهیم یک استراتژی جدید ، مشابه مدل های گروه را پیشنهاد کنیم.

هدف سرمایه گذاری

اولین شاخص صلیب صعودی یا نزولی تصادفی خواهد بود. ما بی فکر بر اساس یک شاخص واحد خریداری یا فروش نمی کنیم. ما به دنبال تأیید هستیم. شاخص دوم ممکن است تأیید کند که زمان عمل است. اگر محافظه کار باشیم ، ممکن است منتظر یک سوم باشیم. ما ممکن است برخی از سود را فدا کنیم تا در دراز مدت خطر خود را کاهش دهیم. اولین مانترا از هر مدیر ثروت خوب ، حفظ سرمایه است. این عالی است ، اما ما با یک مشکل جدی باقی مانده ایم. ما نمی توانیم آینده را ببینیم ، هیچ کس نمی تواند. با استفاده از یادگیری عمیق ، ما می توانیم با اطمینان از پیش بینی ، بسیار فراتر از سکه از آنچه در آینده خواهد بود ، پیش بینی کنیم. با این پیش بینی ها می توانیم با اعتماد به نفس بیشتری نسبت به معامله گر فنی کم زمان گذشته عمل کنیم. بیایید نگاهی به گزینه های خود بیندازیم. الگوریتم Arima به ویژه برای مجموعه داده هایی که می توانند در سری زمانی ثابت نقشه برداری شوند ، مفید است. خصوصیات آماری سری زمانی ثابت ، مانند همبستگی های خودکار مستقل از زمان است.

پیش بینی زمان

ما می‌توانیم داده‌هایمان را طوری قالب‌بندی کنیم که ثابت بماند، اما روندها طبیعتاً ثابت نیستند، بنابراین شروع بدی داریم. NPTS پیش بینی هایی را برای هر سری زمانی به صورت جداگانه ایجاد می کند. این داره بهتر میشهالگوریتم ETS به ویژه برای مجموعه داده هایی با فصلی بودن و سایر فرضیات قبلی در مورد داده ها مفید است. ETS یک میانگین وزنی را بر روی تمام مشاهدات در مجموعه داده های سری زمانی ورودی به عنوان پیش بینی خود محاسبه می کند. انتظارها در طول زمان به طور تصاعدی در حال کاهش هستند، به جای انتظارهای ثابت و روش های میانگین متحرک ساده. انتظارها به یک پارامتر ثابت بستگی دارد که به عنوان پارامتر هموارسازی شناخته می شود. پیامبر فیس بوک به ویژه برای مجموعه داده هایی مفید است که شامل یک دوره زمانی طولانی مشاهدات تاریخی دقیق، دارای چندین فصلی قوی، شامل رویدادهای مهم و نامنظم قبلا شناخته شده، دارای نقاط داده از دست رفته یا نقاط پرت بزرگ، و دارای روندهای رشد غیرخطی هستند که در حال نزدیک شدن هستند. یک محدودیتاما همه موارد فوق روش های آماری هستند که از قدرت یادگیری عمیق کوتاهی می کنند. DeepAR یک الگوریتم یادگیری نظارت شده برای پیش‌بینی سری‌های زمانی یک بعدی با استفاده از شبکه‌های عصبی مکرر است.

SageMaker DeepAR

روش‌های پیش‌بینی کلاسیک، مانند ARIMA و ETS، یک مدل را در هر سری زمانی مجزا برازش می‌کنند و سپس از آن مدل برای برون‌یابی سری‌های زمانی در آینده استفاده می‌کنند. با این حال، در بسیاری از برنامه‌ها، سری‌های زمانی مشابه زیادی در مجموعه‌ای از واحدهای مقطعی دارید، درست مانند سهام در یک سبد. در مورد ما، آموزش یک مدل به طور مشترک در تمام سری های زمانی مفید خواهد بود، DeepAR این رویکرد را اتخاذ می کند. وقتی مجموعه داده شما شامل صدها ویژگی سری زمانی باشد، الگوریتم DeepAR از روش های ARIMA و ETS بهتر عمل می کند. همچنین می‌توانید از مدل آموزش‌دیده برای تولید پیش‌بینی‌هایی برای سری‌های زمانی جدید که مشابه آن‌هایی است که روی آن آموزش داده شده است، استفاده کنید. معمولاً گفته می شود که 70٪ از حرکت هر سهام به لطف شاخص های گسترده، 20٪ به صنعت و فقط 10٪ به دلیل اخبار شرکت است. به نظر می رسد DeepAR انتخاب مناسبی برای پیش بینی سبد سهام است. اکنون، مولوی معماری را که برای این پیش‌بینی پیشنهاد کرده‌ایم معرفی می‌کند.- ممنون، کریس. بنابراین اینجا معماری مرجع ما با پلت فرم Databricks Unified Analytics در مرکز است، Amazon S3 و Amazon Kinesis منابع داده ای هستند که Databricks از آنجا داده ها را دریافت می کند. Databricks داده ها را برای مفید بودن آماده می کند و ماشینی را بر روی مدل شما می سازد. پس از آماده شدن مجموعه داده های آموزشی و آزمایشی، آنها را در سطل S3 آپلود می کنید. می‌توانید مجموعه داده‌ها را آپلود کنید و آموزش را از آن نوت‌بوک که روی پلتفرم Databricks اجرا می‌شود شروع کنید. همانطور که در نمودار می بینید، Databricks می تواند پس از پردازش داده های خام، داده ها را نیز در Amazon Redshift، که یک سرویس انبار داده است، و Amazon RDS، سرویس پایگاه داده رابطه ای، و Amazon DynamoDB، بدون پایگاه داده بعدی، بنویسد. همچنین می توانید داده ها را برای BI یا ابزار گزارش دهی مستقیماً از Databricks تنظیم کنید. در اواخر سال گذشته ما سرویس جدید خود، AWS Data Exchange را راه اندازی کردیم.

Xignite در MarketPlace

تبادل داده ، یافتن ، مشترک شدن و استفاده از داده های شخص ثالث در ابر را آسان می کند. ارائه دهندگان داده های واجد شرایط شامل مارک های پیشرو دسته ای هستند ، مانند رویترز که داده های نرخ را از بیش از 2. 2 میلیون اخبار منحصر به فرد در سال به زبان های مختلف می کشند ، و Foursquare ، که داده های موقعیت مکانی آنها از 220 میلیون مشتری منحصر به فرد گرفته شده است و شامل بیش از 16 میلیون مکان تجاری جهانی استوادXignite یکی از ارائه دهندگان داده ها است و داده هایی برای ساخت یک مدل محافظت از قیمت سهام ارائه شده است که بعداً خواهید دید. آنها رهبر صنعت داده های بازار با توزیع داده های مالی مبتنی بر AWS خود هستند و راه حل های مدیریت داده های بازار Xignite داده های بازار Cloud Platform مدیران داده های بازار ، شفافیت در استفاده از سطح اول شرکت ما ، زمان واقعی و داده های مرجع ما را ارائه می دهد. برای صاحبان داده ها امکان کنترل ، کنترل مصرف و رعایت الزامات مجوز را آسان می کند. لطفا بعد بروید

در اینجا یک معماری راه حل یا ساخت مدل تولید احساسات بازار وجود دارد. بنابراین ما یک قیمت پایانی تاریخی نمونه کارها را که توسط Xignite از طریق تبادل داده AWS تهیه شده است ، دریافت می کنیم. شما می توانید از کنسول تبادل داده به سطل S3 صادر کنید ، و Data Bricks داده ها را جمع می کند و نشانگرهای مختلفی را که نوت بوک در حال اجرا بر روی پلت فرم Databrick است ، شروع می کند تا آموزش مدل Sagemaker را شروع کند. پس از اتمام آموزش ، Sagemaker مصنوعات مدل را در سطل S3 ذخیره می کند. الگوریتم ساخته شده در Sagemaker چندین مزیت دارد و من شما را تشویق می کنم که بعد از این وبینار برای درک مزایا پیگیری کنید. به ویژه در مورد مقیاس بزرگ و بهینه سازی هزینه. ما از Deepar استفاده می کنیم ، زیرا به طور خاص برای کنترل مجموعه داده های بسیار بزرگ از موارد مختلف مانند ردیابی موجودی یا آمار سرویس وب طراحی شده است. در این حالت ، ما دو سال قیمت تاریخی را برای یک سبد سهام ترکیب کردیم که می تواند حاوی هر تعداد نماد باشد. ایگور اکنون ما را از طریق ساخت و اجرای نوت بوک در Databricks و Amazon Sagemaker راهنمایی خواهد کرد.- متشکرم ، مولوی. سلام ، نام من ایگور الکسف است. من یک معمار راه حل شریک در AWS هستم. در نقش من به طور گسترده با Databricks کار می کنم.

مشخصات نمونه و نقش برای Sagemaker را پیکربندی کنید

من اکنون می خواهم در مورد مکانیک چگونگی درک احساسات بازار صحبت کنیم. و کریس در پایان قرار است در مورد آنچه پیدا کردیم صحبت کند. در این اسلاید ، بنابراین اولین چیزهایی که من در آنجا داشتم پیش نیازها بود و مجبور شدم یک پروفایل فوری تنظیم کنم. این آینده Databricks است. بنابراین این پروفایل فوری با نقشی در AWS مطابقت دارد. در آن نقش مجبور شدم به Sagemaker دسترسی پیدا کنم. هنگامی که Databricks یک خوشه را راه اندازی می کند ، این نقش را به گره هایی که خوشه را اجرا می کنند ، وصل می کند. بنابراین این نقش لازم است تا بتوانید Sagemaker را اداره کنید. و وقتی خوشه را راه اندازی می کنم ، آن نقش را ضمیمه می کنم ، این نقش را در یک خوشه مشخص می کنم ، در یک ثانیه آن را به شما نشان می دهم. و بعد وقتی می توانم ، در سمت راست ، در پایین سمت راست می توانید ببینید که قطعه کد ، وقتی اجرا می کنم ، اکنون می توانم یک جلسه Sagemaker ایجاد کنم و سطل هایم را مشخص کنم و کد را اجرا کنم. بنابراین در این مرحله می خواهم به نوت بوک خود تغییر دهم و کدی را که ایجاد کرده ایم به شما نشان دهم. عالی، از شما متشکرم. بنابراین ، اکنون ما این خوشه را داریم. این خوشه ای است که من برای اجرای Sagemaker پیکربندی کرده ام. بنابراین این نمایه فوری است که من انتخاب کردم. برخی از پیکربندی های اضافی مورد نیاز بود. مجبور شدم کتابخانه های اضافی نصب کنم. من مجبور شدم Sagemaker ، Plotly ، S3FS ، Spark Excel را نصب کنم ،

این برای خواندن داده های اکسل است ، اما در پایان ما از آن استفاده نکردیم ، CSV بود. بنابراین ما با اکتشاف داده ها شروع کردیم.

اول ، همانطور که مولوی ذکر کرد ، داده ها به S3 می رسند. ما مطمئن نبودیم که آیا داده ها افزایشی یا بار کامل خواهند بود ، بنابراین بله ، من برای افزایشی کدگذاری کردم. اگر بار کامل طول بکشد ، شما فقط آن را در این فهرست رها می کنید ، آن را می گیرد. بنابراین این یک کد جرقه استاندارد توسط کد Spark است.

ابتدا این طرح را می خواند ، CSV را می خواند. با این کد توانستم به داده ها نگاه کنم و پیش نمایش داشته باشم. و از آنجا که من در مورد کار بالقوه با به روزرسانی ها فکر می کردم ، بنابراین مجبور شدم آن را ادغام کنم. من با یک تیک بازی می کردم ، اما برای چندین تیک ، شما فقط باید نمادی را نیز تهیه کنید. بنابراین ، از آنجا که چندین نماد در اینجا دارم ، بلیط های اضافی اضافه کردم.

من توانستم نمودارها را بسازم. این نمونه ای از نمودار است که در استفاده از تجسمات داخلی Databricks ساخته شده است. در اینجا من از Matplotlib برای ساخت همان استفاده کردم.

من نمودارهای شمعدانی را ترسیم کردم ، که از نظر محاسبات مفید بودند. بعد می خواهم به نوت بوک جایی که در واقع از آن استفاده می کردیم ، بچرخم ... ما آن را با Sagemaker در هم تنیده ایم.

بنابراین Sagemaker ، بگذارید فقط به بالا بروید. بنابراین ما با Sagemaker با استفاده از API های Python تعامل داریم.

نوت بوک داده های S3 را همانطور که قبلاً در مورد آن صحبت کردیم ، تهیه کرد. من می خواهم اینجا را به شما نشان دهم ، نگاهی به دم داده ها بیندازید. من می خواهم به شما نشان دهم ، در اینجا کریس من برخی از نمودارها را بر اساس داده های بارگذاری شده ساختم.

من می خواهم به شما نشان دهم که چگونه تعامل با Sagemaker واقعی اتفاق افتاد. بنابراین بله ، در اینجا جلسه را ایجاد کردیم. ما باید منطقه را مشخص کنیم ، این نقش را گرفتیم. بنابراین این نقشی است که به خوشه منتقل شد. و سپس ما مشخص کردیم که با چه نوع پارامتری بیش از حد می خواهیم اجرا کنیم. سپس ما برآوردگرها را ایجاد کردیم تا اندازه تصویر را مشخص کنیم. و یک کد وجود دارد ، در اینجا مناسب است. بنابراین در این مرحله ، یک تماس به سایت Sagemaker برقرار شد و این اکنون از Sagemaker در حال آمدن است. بنابراین Sagemaker کار را اجرا می کند. من برای یک ثانیه به UI Sagemaker می روم ، فقط برای اینکه به شما نشان دهم که در سایت Sagemaker چه اتفاقی افتاده است وقتی این کد را در Sagemaker اجرا می کنیم ،

اگر به Sagemaker Jobs بروید ، آن را خواهید دید

در کار آموزشی تمام کارهایی را که شروع به کار کرده اند مشاهده خواهید کرد. وضعیت آنها را خواهید دید ، خواهید دید که چه زمانی شروع می شوند و چه مدت طول کشید. بنابراین این رابط بین databricks است

و ساژ دهندهبعد از آموزش مدل ، در اینجا ما برآوردگرها ایجاد می کنیم

و با عرض پوزش ، در اینجا ما نقاط پایانی ایجاد می کنیم. من می خواهم به شما نشان دهم که چگونه نقاط پایانی به نظر می رسد ، کد.

بله ، بله ، بله. بنابراین در اینجا نکات آخر ، استقرار آن را آورده است. بنابراین این نتایج از طرف Sagemaker ، در صفحه انتهایی می توانید تمام نقاط پایانی را که مستقر شده اند مشاهده کنید. بنابراین در اینجا نقاط پایانی مربوطه وجود دارد. بنابراین همه ما می توانیم همه این نقاط پایانی را که برای برآوردگرهای مختلف ایجاد شده است ، ببینیم. و قبل از اینکه به کریس تحویل دهم تا در مورد نتایج صحبت کند ، می خواهم به این نکته اشاره کنم که اگر مشکلی پیش بیاید چه اتفاقی می افتد. بنابراین شما در حال اجرا در Databricks ، در تعامل با Sagemaker ، خطایی دارید. بنابراین در اینجا یک مثال است. مشکلی پیش آمد ، خطایی رخ داد. درست در اینجا URL را مشاهده خواهید کرد. بنابراین این URL به CloudWatch Trails است. شما فقط می خواهید آن URL را ایجاد کنید ، در اینجا کپی کنید و به CloudWatch بروید.

و می توانید ببینید ، بنابراین ، بله ، بلافاصله می بینید که پیام هایی که گوش داده شده است. و من می دانم که این یکی مربوط به این هدف مورد انتظار ارزش بوده است. و انتظار این بود که ، منطق مورد انتظار ، انتظار این بود که یک مقدار تأمین شده وجود داشته باشد ، اما تأمین نمی شود ، بنابراین این خطای ارزش است. به طور خلاصه ، می بینید که تعامل با Sagemaker هنگام کار در Databricks چقدر آسان بود. این امکان را به شما می دهد ، بنابراین این تنظیم چگونه آن را توصیف می کنیم. این امکان را برای انتخاب بهترین مدل یا بهترین الگوریتمی که می خواهید معماری مدل انجام دهید ، بهترین معماری مدل که می خواهید انجام دهید ، می دهد. شما گزینه هایی از Databricks و Sagemaker دارید که در همان محیط هستید. و فکر می کنم این یک داستان قدرتمند است. و من می خواهم اکنون به کریس تحویل دهم تا در مورد نتایج واقعی صحبت کند. کریس ، فقط به من اطلاع دهید که می خواهید به چه چیزی نگاه کنید. من می خواهم با این نمودار شروع کنم.- مطمئناً ، خوب ، بنابراین ما واقعاً آن ها را داریم ،

این جدیدترین طرح نیست.- اوه، آره، صبر کن، پس این DeeperAR است.- بله، ممکن است - اینها جدیدترین پست هستند، بله. اینها خطاهایی بود که ما داشتیم، درست است.- بله بله بله. اوه، ما می رویم، زیبا. خوب، عالی، آرهبسیار خوب، پس وضعیت امروز اینجاست. اگر به این نمودار نگاهی بیندازید، ما در واقع قیمت های بسته شدن، خط آبی را داریم، اما چیزی که ما واقعاً در اینجا به آن علاقه مندیم این است… چیزی که ما واقعاً به آن علاقه مندیم سیگنال های R، شاخص های R است. بنابراین اول از همه، EMA 13 روزه، خط سبز، بسیار بالاتر از 50 است. با این حال، اگر فقط یک لمس به سمت پایین حرکت کنیم، می‌توانیم ببینیم که MACD در واقع در همسایگی نزولی قرار دارد. اکنون این به خودی خود نمی گوید که روند صعودی که همین چند هفته پیش آغاز شد، پایان خواهد یافت. بنابراین اجازه دهید فقط به همه از نمودارهای قبلی یادآوری کنم که ما به آن نگاه کردیم که وارد یک روند صعودی شده ایم. بنابراین، ما در واقع به قیمت‌های امروز از 4 ژوئن 2020 نگاه می‌کنیم. بنابراین جالب است که ببینیم پیش‌بینی ما در زمان پخش این خبر چگونه انجام می‌شود، و چه اتفاقی افتاد این بود که به سقف 2525 رسیدیم، اما روند صعودی داشتیم.، درست؟ما آن سیگنال صعودی صحیح را در اواسط ماه مارس دریافت کردیم که باید دوباره وارد آن می‌شدیم. بین متحرک نمایی متحرک نمایی 13، 50 روزه تفاوت زیادی وجود دارد. و ما یک سیگنال صعودی MACD واقعا قوی داشتیم. اکنون MACD در اینجا نزولی شد، اما به stochastic نگاه کنید. Stochastic به خوبی در مرکز قرار دارد، در منطقه میانی به خوبی قرار دارد، در هیچ یک از نقاط افراطی نیست. بنابراین، همانطور که امروز این نمودار را می خوانیم و به دو هفته آینده نگاه می کنیم، که باید زمان پخش این برنامه را پوشش دهد، اساساً می گوییم: "صبر کن، این یک توقف است."در واقع، اگر به عقب برگردیم و کمی بیشتر به تاریخ نگاه کنیم، ممکن است این سهام بین 2250 و 2525، 2250 و 2525 معامله شود.

اکنون می دانیم که آمازون تمایل به کانال سازی دارد. بنابراین ممکن است این حمایت و مقاومت جدید برای این باشد، اما می دانید، ما در اینجا به شهود خود تکیه نمی کنیم. ما فقط به گفتگو می رویم. گفتگو این است که گاوها هنوز هم کنترل را در دست دارند و کمی خستگی نشان می دهند و این اساساً یک توقف است.

بنابراین من فقط می خواهم به یک یا دو ویژگی دیگر از این نمودار اشاره کنم. اوه، متشکرم. اینها نتایج واقعی هستند که به آینده می رسیم.

خیلی متاسفم ، ایگور. در واقع نمودار مورد نظر ما تاریخ بود ، در اینجا منتظر هستیم. متشکرم ، من فقط می خواندم که انگار آینده است. بنابراین آنچه ما می بینیم هنوز هم تا حدودی یکسان است. 13 EMA به طور مداوم بالاتر از 50 روز باقی مانده است. بنابراین ما هنوز در آن صعود صعودی قرار داریم ، MACD واقعاً قوی به نظر می رسد ، اما ما 14 روز از آنجا به سرزمین منفی می رویم. باشه ، خارق العادهبا عرض پوزش در مورد سوءاستفاده در آنجامن می خواهم به یک یا دو ویژگی دیگر این نوت بوک خاص اشاره کنم که بصورت آنلاین در دسترس است. این در واقع در repo github من است. ما پیوند را ارسال خواهیم کرد ، و من پس از آن را در اینجا قرار می دهم. بنابراین ویژگی های زیادی در اینجا وجود دارد. اولین ویژگی این است که شما می توانید هر تعداد نماد را در نمونه کارها خود قرار دهید ، و آنها و فقط آنها ، نمادی هستند که برای آنها آموزش می دهید. بنابراین این یک مدل بسیار قابل تنظیم برای نمونه کارها شما است. ما فقط به S& P 500 ET Cetera نگاه نمی کنیم و بر اساس یک تیکت واحد به جلو قیمت گذاری می کنیم. ثانیا ، ما می توانیم هر دوره تاریخ را برای ایجاد مدل آموزش دیده خود انتخاب کنیم. اکنون این مهم است ، ما در حال حاضر در پایان هستیم ، شما می توانید آن را به عنوان یک گاو نر هشت یا 10 ساله توصیف کنید. منطقی نیست که به دو سال گذشته قیمت گذاری بپردازیم تا در 14 روز آینده اتفاق بیفتد. در حقیقت ، انتخاب بهتر این است که آخرین باری که رکود اقتصادی داشتیم ، که می گویند 2007 تا 2009 بود. برای این نوت بوک و نسخه ی نمایشی که 2014 و 2016 را انتخاب کردم ، فقط برای سهولت دسترسی به افراد برای دریافت سایر قیمت ها. بنابراین مدل خود را بر روی مدلی آموزش دهید که نشان دهنده شرایط بازار است که فکر می کنید در آن هستید ، درست است؟این یک جعبه سیاه نیست ، شما باید از قضاوت استفاده کنید. و این احتمالاً مهمترین قطعه است. همانطور که گفتم ، فقط در دو سال گذشته که می توانید به عقب برگردید و دوره بحران را بدست آورید ، منطقی نیست. بیت سوم این است که این مدل به سرعت آموزش می دهد و مستقر می شود ، نحوه دستیابی به این امر زمانی است که ما مدل خود را آموزش می دهیم ، در بیانیه پنجم مشخص می کنیم که منتظر نباشیم. ما صبر کردیم تا نادرست باشد ، و ایگور وقتی به صفحه کنترل Sagemaker اشاره کرد ، این موضوع را بیان کرد که وقتی همه این مشاغل آموزشی را راه اندازی می کنیم ، این مشاغل آموزشی در واقع به طور همزمان راه اندازی می شوند. بنابراین شما پنج مدل مستقل به طور همزمان آموزش دارید. ما در آخرین مورد منتظر می مانیم تا بتوانیم به عقب برگردیم و آن را بدست آوریم تا بتوانیم مکث کنیم و اجازه دهیم همه چیز را بدست آوریم. سپس وقتی نقاط پایانی را مستقر می کنیم ، دقیقاً همین کار را انجام می دهیم.

بنابراین ما در حال آموزش و استقرار پنج مدل سری زمانی کاملاً مستقل به طور همزمان هستیم. اکنون چند ویژگی دیگر وجود دارد که می توانیم در اینجا قرار دهیم که بسیار جالب هستند. اما در پایان روز، این یک دفترچه یادداشت بسیار قوی برای شروع یک نمای تحلیل فنی پیش‌بینی‌کننده است

احساسات بازاربنابراین ، یک لحظه بزرگ را در نظر بگیرید ، زیرا ما آنقدر از آن دور هستیم که هر شب وقتی به آسمان نگاه می کنیم ، به نظر می رسد یک شکل ثابت است. این بدون تغییر است ، حتی اگر خودمان در حال تف کردن روی کره زمین هستیم که بیش از 8000 مایل یا 12000 کیلومتر از جایی که صبح تا عصر بودیم حرکت می کنیم. و در واقع ، خورشید به همین ترتیب در حال حرکت است. بنابراین ما در واقع هرگز روزانه در یک موقعیت ثابت قرار نداریم. با این حال ، Big Dipper بدون تغییر ، ثابت و دائمی به نظر می رسد و اینگونه است که بیشتر مردم بازارهای مالی را مشاهده می کنند. این ثابت است ، و می توان آن را از طریق لنزهای تجزیه و تحلیل اساسی یا فنی مشاهده کرد. این می تواند با تئوری مدرن نمونه کارها یا نظریه بازار منطقی لنگر انداخته شود. فرض اساسی این است که بازار همیشه درست است. در حقیقت ، اگر ما توانستیم سیاره خود را ترک کنیم ، منظومه شمسی را ترک کرده و در یک دایره کیهانی در اطراف هفت ستاره آن سفر کنیم شکل آن تغییر خواهد کرد. راه شیری تغییر می کند. این ممکن است به یک سپتوگرافی کامل تبدیل شود ، در این صورت در دنیای دیگری ، ما آن را سپتوگرافی عالی می نامیم. به همین ترتیب ، خود بازار به خودی خود وجود ندارد. این بازتاب رابطه همه شرکت کنندگان آن است. گفتگو در مورد بازار واقعیت واقعی است. این زودگذر ، لحظه ای و جیوه است. تجزیه و تحلیل کمی از آن مکالمه می تواند بینش های قدرتمندی در مورد نحوه عملکرد ما در بازار داشته باشد. در واقع ، این مکالمه جالب تر از نکات خاص در فضای سه بعدی است ، زیرا این واقعیت نیز به طور مداوم در حال تغییر است. تکنیک ارائه شده در اینجا برای توصیف این مکالمه داشتن دو شرکت کننده ، گاو و خرس است و احساسات آنها در هر زمان معینی برای توضیح واقعیت اساسی بازار کار چندانی ندارد. با این حال ، این یک استعاره قدرتمند برای شرکت در گفتگو به ما می دهد. این مکالمه مانند بسیاری قابل پیش بینی است. ما می توانیم پیش بینی کنیم که چگونه بازار به جمله خود پایان خواهد داد ، اما نمی توانیم پیش بینی کنیم که چه می گوید بعدی. خیلی ممنون که به ما پیوستیدبا تشکر از شما ، مولوی ، و از ایگور متشکرم. خوشحالیم که این موضوع را ارائه دهیم ، و در آمازون و AWS به طور مداوم به دنبال بهبود این ابزارها هستیم و شرکای خود را مانند Databricks بهترین مکان برای انجام یادگیری عمیق و علم داده می کنیم.

درباره کریس اسکریناک

کریس اسکریناک رهبر فنی جهانی یادگیری ماشین برای شبکه شریک آمازون (APN) است. او در سال 2017 گروه یادگیری ماشینی را برای APN تأسیس کرد. کریس کار خود را به عنوان یک استراتژیست کمی در گلدمن ساکس آغاز کرد، برنامه های تعمیر و نگهداری پیش بینی را به عنوان مهندس هوش مصنوعی در ATT توسعه داد و قبل از آمازون معمار ویژن کامپیوتر در GoPro بود. او 2 استارت آپ سیلیکون ولی را در زمینه امور مالی و نظارت بر شبکه تاسیس و فروخت: ClearStation و SiteRock. به عنوان سرپرست فنی برای پشتیبانی افقی AI/ML، او اولین خط پشتیبانی برای شرکای AWS است که به دنبال توسعه یا گسترش استفاده از آنها هستند.

درباره ایگور آلکسیف

ایگور آلکسیف یک معمار راه حل شریک در AWS در حوزه داده و تجزیه و تحلیل است. ایگور در نقش خود با شرکای استراتژیک همکاری می کند و به آنها کمک می کند تا معماری های پیچیده و بهینه شده AWS بسازند. قبل از پیوستن به AWS، به‌عنوان معمار داده/راه‌حل، او پروژه‌های زیادی را در حوزه داده‌های بزرگ اجرا کرد، از جمله چندین دریاچه داده در اکوسیستم Hadoop. به عنوان یک مهندس داده، او در استفاده از AI/ML برای کشف تقلب و اتوماسیون اداری شرکت داشت. پروژه های ایگور در صنایع مختلفی از جمله ارتباطات، مالی، امنیت عمومی، تولید و مراقبت های بهداشتی بود. پیش از این، ایگور به عنوان مهندس فول استک/سرد فنی کار می کرد.

به دنبال صحبتی از رویداد گذشته هستید؟آرشیو ویدیو را بررسی کنید