اصول و تکنیک‌ها در علم داده

اصول و تکنیک‌های علم داده؛ از داده خام تا تصمیم‌گیری داده‌محور

داده به‌تنهایی ارزش چندانی ایجاد نمی‌کند؛ ارزش واقعی زمانی شکل می‌گیرد که بتوان از داده‌ها اطلاعات معتبر استخراج کرد، الگوهای معنادار را شناخت و بر اساس نتایج تحلیل، تصمیم‌های بهتری گرفت. درس اصول و تکنیک‌های علم داده با هدف آموزش روش‌ها و ابزارهای لازم برای طی‌کردن این مسیر طراحی شده است.

در این درس، با مبانی ریاضی، آماری و احتمالاتی موردنیاز برای حل مسائل داده‌محور آشنا می‌شوید و می‌آموزید چگونه مراحل مختلف یک پروژه علم داده را اجرا کنید؛ از جمع‌آوری، پاک‌سازی، تحلیل اکتشافی و مصورسازی داده‌ها تا ساخت و ارزیابی مدل‌های آماری و یادگیری ماشین. همچنین، با چالش‌هایی مانند داده‌های ناقص و سوگیرانه، بیش‌برازش مدل‌ها، محدودیت تعمیم‌پذیری و تصمیم‌گیری در شرایط عدم قطعیت آشنا خواهید شد.

یکی از ویژگی‌های مهم این درس، توجه به کاربرد عملی روش‌های علم داده است. در کنار مباحث نظری، تمرین‌ها و یک پروژه عملی به شما فرصت می‌دهند روش‌های آموخته‌شده را در مسائل واقعی به کار بگیرید. همچنین، آشنایی با اصول مهندسی یادگیری ماشین در محیط عملیاتی (MLOps)، دید گسترده‌تری درباره مراحل استفاده از مدل‌های یادگیری ماشین در سامانه‌های واقعی در اختیار شما قرار می‌دهد.

در پایان این درس چه توانایی‌هایی کسب می‌کنید؟

• جمع‌آوری، پاک‌سازی، تحلیل اکتشافی و مصورسازی داده‌ها
• شناسایی الگوها و طرح فرضیه‌های داده‌محور، همراه با توجه به محدودیت‌ها و خطاهای تحلیل
• ساخت، ارزیابی و مقایسه مدل‌های آماری و یادگیری ماشین
• درک مفاهیمی مانند بیش‌برازش، اعتبارسنجی مدل و مصالحه بین سوگیری و واریانس
• استفاده از روش‌های آماری و احتمالاتی برای تحلیل داده و تصمیم‌گیری در شرایط عدم قطعیت
• آشنایی با چرخه عمر داده و مدل‌های یادگیری ماشین و اصول استقرار آن‌ها در محیط عملیاتی

این درس برای دانشجویان، دانش‌آموختگان، متخصصان و علاقه‌مندانی مناسب است که می‌خواهند توانایی خود را در تحلیل داده و حل مسائل داده‌محور توسعه دهند. آموخته‌های آن می‌توانند در پروژه‌های تحلیلی و پژوهشی، تحلیل داده‌های کسب‌وکار و صنعت و فعالیت‌های مرتبط با علم داده و یادگیری ماشین مورد استفاده قرار گیرند.

برای بهره‌گیری بهتر از این درس، آشنایی مقدماتی با مفاهیم ریاضی، آمار و احتمال و برنامه‌نویسی توصیه می‌شود. از آنجا که بخشی از مباحث به مدل‌سازی آماری، بهینه‌سازی و یادگیری ماشین اختصاص دارد، برخورداری از این دانش‌های پایه به درک بهتر مطالب کمک می‌کند.

1. آنالیز داده
   • آشنایی با چرخه عمر علوم داده
   • تولید داده (پرسشنامه، سرشماری، آزمایش کنترل شده)
   • جمع‌آوری و تجمیع داده‌ها (یکسان‌سازی داده‌ها، نمایش جدولی داده‌ها، فیلتر کردن و تجمیع داده‌ها)
   • تمیز کردن داده (مدیریت داده‌های پرت، مقادیر نامعلوم داده‌ها، کدگذاری و نمایش در فضای برداری)
   • تحلیل اکتشافی داده
   • مصورسازی داده‌ها
   • تشخیص الگو و فرضیه پردازی به کمک مصورسازی داده‌ها
   • شناخت آفت‌های تحلیل‌های داده (بایاس در داده‌ها، ناکافی بودن ویژگی‌ها، تشخیص همزمانی از علّیت)
   • تست فرضیه و دستکاری value-p۱
2. مدل‌سازی آماری داده‌
   • شنایی با گام‌های مدل‌سازی (تابع هزینه، یادگیری پارامترهای مدل، پیش‌بینی، نظریه تصمیم)
   • مفهوم قدرت تعمیم مدل و سنجش آن به کمک تابع هزینه
   • جداسازی داده‌های آموزش و اعتبارسنجی و تست
   • بیش‌برازش، اعتبارسنجی ضربدری، منظم سازی
   • روش‌های بهینه‌سازی (کاهش گرادیان، نیوتن، روش‌های مبتنی بر گشتاور)
   • مدل‌سازی احتمالاتی و بیزی
   • استنتاج آماری، یادگیری مدل به کمک نظریه تخمین، پیش‌بینی به کمک مدل‌های آموزش داده شده
   • نظریه تصمیم
   • مصالحه بین سوگیری و واریانس
   • نفرین ابعاد
3. مدل‌سازی آماری در عمل
   • مصورسازی داده‌های با ابعاد بالا با استفاده از روش tSNE
   • استخراج و انتخاب ویژگی
   • کوانتیزاسیون ویژگی‌ها به کمک درخت تصمیم
   • دسته‌بندی به کمک روش‌های خطی
   • دسته‌بندی با استفاده از درخت تصمیم
   • ارزیابی دسته‌بندها
4. مهندسی یادگیری ماشین در محیط عملیاتی
   • مقدمه‌ای بر mlops: یادگیری انتهابه‌انتها۱، یادگیری مداوم، تغییر داده، تغییر مفهوم، فروشگاه ویژگی، خط‌لوله
   • چرخه عمر داده در محیط عملیاتی
   • چرخه عمر و خط لوله‌های یادگیری در محیط‌های عملیاتی
   • استقرار سامانه‌های یادگیری در محیط عملیاتی

• آزمون: آزمون‌های میان‌نیم‌سال و پایان‌نیم‌سال (۵۰ درصد نمره)
• تمرین و پروژه: سه تمرین تئوری و یک پروژه عملی که در طول نیم‌سال تحویل داده می‌شوند (۵۰ درصد نمره).