چگونه دادهها را برای یادگیری ماشین آماده کنیم
خلاصه
1405/06/23
پیشپردازش داده شامل مراحل زیر است: ۱. **پاکسازی دادهها:** حذف مقادیر گمشده (NaN)، تصحیح دادههای پرت و رسیدگی به ناهنجیها. ۲. **تبدیل دادهها:** تبدیل متغیرهای 범جری (Categ
پیشپردازش داده شامل مراحل زیر است:
۱. **پاکسازی دادهها:** حذف مقادیر گمشده (NaN)، تصحیح دادههای پرت و رسیدگی به ناهنجیها.
۲. **تبدیل دادهها:** تبدیل متغیرهای 범جری (Categorical) مانند متن یا دستهبندی به فرمت عددی با استفاده از One-Hot Encoding، Label Encoding و غیره.
۳. **مقیاسبندی/نرمالسازی:** تطبیق مقیاس ویژگیهای مختلف با استفاده از Standard Scaling (استانداردسازی) یا Min-Max Scaling (نرمالسازی).
۴. **مهندسی ویژگی (Feature Engineering):** ایجاد ویژگیهای جدید و مرتبط از ویژگیهای موجود برای بهبود عملکرد مدل.
۵. **تقسیم دادهها:** تفکیک مجموعه داده به مجموعههای آموزش ($\text{Train}$)، اعتبارسنجی ($\text{Validation}$) و آزمون ($\text{Test}$).
برخی از محصولات شرکت مهندسی آبان رایان البرز
سایر مقالات آموزشی شرکت نرم افزاری آبان رایان البرز :
- OCR چیست و چگونه پیادهسازی میشود
- الگوریتمهای تشخیص چهره چگونه کار میکنند
- چگونه با OpenCV تصویر پردازش کنیم
- PyTorch چه مزایایی نسبت به TensorFlow دارد
- نقش TensorFlow در یادگیری عمیق چیست
- مفهوم epoch در یادگیری ماشین چیست
- مفهوم overfitting چیست و چگونه رفع میشود
- چگونه مدل یادگیری ماشین را آموزش میدهیم
- مفهوم supervised و unsupervised learning چیست
- Scikitlearn برای چه استفاده میشود
- Matplotlib چگونه نمودار تولید میکند
- Numpy چه کاربردی در محاسبات دارد
- کتابخانه Pandas برای چه استفاده میشود
- Generator در پایتون چگونه کار میکند
- نقش Decorator در پایتون چیست
- List و Tuple چه تفاوتهایی دارند