مبدأ مُحسِّن الجهد

يعتمد مبدأ مُحسِّن الجهد بشكل أساسي على تحديث معلمات النموذج باستخدام خوارزمية التدرج الهبوطي أو خوارزمياتها المُشتقة لتقليل دالة الخسارة، وبالتالي تحسين أداء النموذج.

تلعب المُحسِّنات دورًا حيويًا في التعلّم الآلي والتعلّم العميق. ويتمثل مبدأها الأساسي في استخدام خوارزمية التدرج الهبوطي أو خوارزمياتها المُحسَّنة لضبط قيم المعلمات تدريجيًا وفقًا لمعلومات تدرج دالة الخسارة بالنسبة لمعلمات النموذج، مما يؤدي إلى تقليل دالة الخسارة تدريجيًا، وبالتالي تحقيق هدف تحسين النموذج.

وبالتحديد، تحسب خوارزمية التدرج الهبوطي تدرج دالة الخسارة بالنسبة لمعلمات النموذج، وتُحدِّث المعلمات في الاتجاه المُعاكس للتدرج، لأن الاتجاه المُعاكس للتدرج هو الاتجاه الذي تنخفض فيه قيمة دالة الخسارة بأسرع ما يُمكن. وبهذه الطريقة، وبعد عدة تكرارات، تتقارب معلمات النموذج تدريجيًا نحو الحل الأمثل، مما يؤدي إلى تقليل قيمة دالة الخسارة.

بالإضافة إلى ذلك، ولتحسين أداء خوارزمية التدرج الهبوطي، طُرحت العديد من الخوارزميات المُعدّلة، مثل طريقة الزخم، وطريقة نيوتن-زخم (NAG)، وAdaGrad، وغيرها. تُدخل هذه الخوارزميات حدود الزخم، ومعدل التعلم التكيفي، وآليات أخرى على أساس التدرج الهبوطي لتسريع التقارب، وتحسين الاستقرار، أو تجنب الوقوع في الحلول المثلى المحلية.

باختصار، يعتمد مبدأ المُحسِّن على التدرج الهبوطي أو خوارزمياته المُعدّلة، حيث يُحسِّن أداء النموذج من خلال ضبط معلمات النموذج باستمرار لتقليل دالة الخسارة.