ReLU و Sigmoid چه تفاوتی دارند

---

تابع **ReLU** (Rectified Linear Unit) خروجی‌های منفی را صفر کرده و مقادیر مثبت را همان مقدار نگه می‌دارد:

$$f(x) = \max(0, x)$$

تابع **Sigmoid** یک ورودی هر عددی ($x$) را به بازه $(0, 1)$ نگاشت می‌کند، شبیه به منحنی S:

$$\sigma(x) = \frac{1}{1 + e^{-x}}$$

تفاوت اصلی در این است که ReLU برای شبکه‌های عصبی بیشتر استفاده می‌شود زیرا گرادیان ثابت‌تری (مشکل محو شدن گرادیان را تا حدودی حل می‌کند) و محاسبات ساده‌تری دارد، در حالی که Sigmoid خروجی‌های آن بین صفر و یک محدود شده و می‌تواند باعث مشکل محو شدن گرادیان شود.