پردازش زبان‌های طبیعی

مدرس: علی‌رضا صاحبی	پیش‌نیاز: یادگیری ژرف
ترم: زمستان ۱۴۰۴	محل برگزاری: کلاس مجازی
زمان ارائه: سه‌شنبه و پنج‌شنبه ۱۸:۳۰ تا ۲۰:۰۰	مشاهده: دریافت لایسنس

معرفی درس

پردازش زبان‌های طبیعی؛ از تحلیل متن تا مدل‌های زبانی بزرگ و عامل‌های هوشمند

پردازش زبان‌های طبیعی (Natural Language Processing یا NLP) یکی از حوزه‌های مهم هوش مصنوعی است که به ماشین‌ها امکان می‌دهد زبان انسان را پردازش کنند، معنای متن را تحلیل کنند و متناسب با آن پاسخ دهند یا محتوای جدید تولید کنند. از موتورهای جست‌وجو و ترجمه ماشینی گرفته تا دستیارهای هوشمند و مدل‌های زبانی بزرگ، بسیاری از فناوری‌های امروزی بر پایه روش‌های این حوزه توسعه یافته‌اند.

در این درس، با مفاهیم بنیادی زبان و چالش‌هایی مانند ابهام، تنوع بیان و دشواری درک معنای واژه‌ها و جمله‌ها آشنا می‌شوید. سپس روش‌های پردازش و پیش‌پردازش متن، مدل‌های زبانی آماری، بازنمایی واژگان و متن، و الگوریتم‌های یادگیری ماشین برای تحلیل زبان را بررسی می‌کنید. همچنین معماری‌های مهم شبکه‌های عصبی، از جمله شبکه‌های پیچشی و بازگشتی، مکانیزم توجه و مبدل‌ها (Transformers)، در کنار روش‌های طبقه‌بندی و تولید متن معرفی می‌شوند.

در ادامه، به روش‌های تنظیم‌دقیق مدل‌های زبانی و مفاهیم مرتبط با مدل‌های زبانی بزرگ (LLM) می‌پردازید. همچنین با دو رویکرد مهم در توسعه سامانه‌های مبتنی بر این مدل‌ها، یعنی تولید تقویت‌شده با بازیابی اطلاعات (RAG) و عامل‌های مبتنی بر مدل‌های زبانی بزرگ (LLM Agents)، آشنا می‌شوید. این مباحث تصویری از مسیر تحول پردازش زبان طبیعی، از روش‌های آماری کلاسیک تا فناوری‌های نوین هوش مصنوعی، در اختیار شما قرار می‌دهد.

در پایان این درس چه توانایی‌هایی کسب می‌کنید؟

شناخت مفاهیم بنیادی زبان، لایه‌های زبانی، ابهام‌های زبان و مسائل اصلی پردازش زبان طبیعی
آشنایی با روش‌های پیش‌پردازش متن، از جمله نرمال‌سازی، توکن‌سازی، ریشه‌یابی و لماتیزه‌کردن واژه‌ها و تشخیص موجودیت‌های نام‌دار
درک مدل‌های زبانی آماری، مدل‌های اِن‌گرام، روش‌های هموارسازی و شیوه‌های ارزیابی مدل‌های زبانی
شناخت روش‌های مختلف بازنمایی واژگان، از روش‌های پایه و مبتنی بر جبر خطی تا بازنمایی‌های عصبی و بازنمایی‌های وابسته به بافت
آشنایی با معماری‌های عصبی پرکاربرد در پردازش زبان طبیعی، شامل شبکه‌های پیچشی و بازگشتی، مکانیزم توجه، مبدل‌ها و معماری‌های رمزگذار، رمزگشا و رمزگذار-رمزگشا
شناخت روش‌های طبقه‌بندی متن با استفاده از الگوریتم‌هایی مانند بیز ساده و رگرسیون لاجیستیک، شبکه‌های عصبی و مدل‌های زبانی
آشنایی با مسائل برچسب‌زنی اجزای سخن (POS) و تشخیص موجودیت‌های نام‌دار (NER) و روش‌های آماری و عصبی حل آن‌ها
درک روش‌های تولید متن و ترجمه ماشینی، از رویکردهای سنتی تا مدل‌های عصبی دنباله‌به‌دنباله (Seq-to-Seq)
شناخت روش‌های تنظیم‌دقیق مدل‌های زبانی، از جمله آموزش لایه دسته‌بند و استفاده از Adapterها
آشنایی با مدل‌های زبانی بزرگ و کاربردهای آن‌ها، به‌ویژه معماری RAG و عامل‌های مبتنی بر مدل‌های زبانی بزرگ

این درس برای دانشجویان و دانش‌آموختگان مهندسی کامپیوتر، علوم کامپیوتر و رشته‌های مرتبط، و نیز برنامه‌نویسان و علاقه‌مندان به هوش مصنوعی مناسب است. اگر می‌خواهید درک منسجم‌تری از فناوری‌های پردازش زبان، مدل‌های زبانی و مبانی سامانه‌های هوشمند مبتنی بر متن به دست آورید، این درس می‌تواند نقطه شروع مناسبی برای یادگیری نظام‌مند این حوزه باشد.

پیش‌نیاز

آشنایی مقدماتی با برنامه‌نویسی و مفاهیم پایه هوش مصنوعی یا یادگیری ماشین می‌تواند به درک بهتر مطالب کمک کند. آشنایی با احتمال و آمار، جبر خطی و شبکه‌های عصبی نیز مفید است؛ با این حال، میزان نیاز به این مباحث به پیش‌زمینه آموزشی شما بستگی دارد.

سرفصل‌ها

معرفی درس و آشنایی با مفاهیم اولیه
- مفهوم زبان و پردازش زبان طبیعی، کاربردها، چالش‌ها، کلیات انواع مسائل و روش‌های حل آن‌ها
مفاهیم مربوط به زبان
- لایه‌های زبان و ابهام‌های آن، روابط واژگانی
پیش‌پردازش متن
- نرمال‌سازی، جداسازی‌واژگان (Tokenization)، تشخیص ریشه و لما، موجودیت‌های نام‌دار، فاصله ویرایشی، عبارات منظم
مدل‌های زبانی
- روش‌های پایه در مدل‌سازی زبانی، اِن‌گرام‌ها، هموارسازی، ارزیابی مدل
بازنمایی واژگان
- بازنمایی‌های ثابت (Static) (روش های پایه‌ای، روش‌های مبتنی بر جبرخطی، و روش‌های مبتنی بر شبکه‌های عصبی) و بازنمایی‌های مبتنی بر بافت (Contextualized)
معماری‌های شبکه‌های عصبی پرکاربرد در پردازش زبان طبیعی
- شبکه‌های عصبی پیچشی (Convolutional)، شبکه‌های عصبی بازگشتی (Recurrent)، مکانیزم توجه، مبدل‌ها (Transformers)، مدل‌های رمزگذار (Encoder)، مدل‌های رمزگشا (Decoder)، مدل‌های رمزگذار-رمزگشا (Encoder-Decoder)
روش‌های طبقه‌بندی متن
- بیز ساده (Naive Bayes)، رگرسیون لاجیستیک (Logistic Regression)، شبکه‌های عصبی و مدل‌های زبانی
روش‌های طبقه‌بندی اجزاء رشته
- مسائل برچسب‌زنی اجزاء سخن (POS) و تشخیص موجودیت‌های نامدار (NER)، مدل‌های مخفی مارکوف (HMM)، شبکه‌های عصبی و مدل‌های زبانی
روش‌های تولید متن
- مدل‌های سنتی ترجمه ماشینی، مدل‌های شبکه‌عصبی Seq-to-Seq
روش‌های تنظیم‌دقیق (Fine-tune) مدل‌های زبانی
- آموزش لایه دسته‌بند، استفاده از Adapterها
مدل‌ زبانی بزرگ (LLM) و برخی از کاربردهای آن‌ها
- معماری RAG، عامل‌های مبتنی بر مدل‌زبانی بزرگ (LLM agents)

ارزیابی

تمرین‌های عملی: ۸ نمره

آزمونک‌ها: ۴ نمره

آزمون پایانی: ۸ نمره

منابع

Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. Draft), 2023.
Manning and Schuetze, Foundations of Statistical Natural Language Processing, 1999.
Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing, 2015.
Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning, 2016.