الرئيس التنفيذي لكوالكوم: الهواتف المزودة بنماذج بمئة مليار معامل ستصل بحلول عام 2028
يقول الرئيس التنفيذي لكوالكوم إن بعض شركات الذكاء الاصطناعي تصنع هواتف لتشغيل نماذج بمئة مليار معامل بشكل مستمر بحلول عام 2028.
تقوم بعض شركات الذكاء الاصطناعي ببناء هواتف لتشغيل 100 مليار نموذج معلمة بشكل مستمر بحلول عام 2028، كما يقول الرئيس التنفيذي لشركة كوالكوم.
كن عضوًا مميزًا في Arjan Ambassador للاستفادة من المرافق الخاصة والأقسام المختلفة في Arjan Ambassador والوصول إليها.
يقول كريستيانو آمون، الرئيس التنفيذي لشركة كوالكوم، إن بعض شركات الذكاء الاصطناعي الرائدة تقوم ببناء هواتف يمكنها تشغيل نماذج لغوية كبيرة تحتوي على 100 مليار معلمة بشكل مستمر. ووفقا له، قد تصل هذه الأجهزة بحلول عام 2028؛ ومع ذلك، لا تزال محدودية سعة ذاكرة الوصول العشوائي (RAM) وتكلفتها العالية والتحديات الحرارية تشكل عقبات مهمة أمام تنفيذ مثل هذه النماذج على الهواتف الذكية.
وفي مقابلة مع بودكاست Fireside Alpha، ذكر آمون أنه لا يستطيع الكشف عن أسماء الشركات المعنية، لكن بعض الشركات الرائدة في مجال الذكاء الاصطناعي تعمل على تطوير هواتف بهذه القدرة. ولم يقدم تفاصيل فنية أو خارطة طريق محددة لتحقيق هذا الهدف.
أكبر عقبة أمام تشغيل نماذج اللغات الكبيرة على الهواتف الذكية هي سعة الذاكرة المطلوبة. يتطلب تشغيل نموذج معلمة مكون من 100 مليار مع تكميم 4 بت ما لا يقل عن 50 جيجابايت من الذاكرة؛ دون الأخذ في الاعتبار الذاكرة التي يتطلبها نظام التشغيل والبرامج والذاكرة المؤقتة لنص الإدخال الخاص بالنموذج.
حتى مع تكميم 2 بت، سيتطلب النموذج نفسه حوالي 25 جيجابايت من الذاكرة. وهذه الأرقام أعلى من سعة ذاكرة الوصول العشوائي (RAM) الشائعة في الهواتف الذكية، وبالنظر إلى العرض المحدود وزيادة تكلفة الذاكرة، يبدو من الصعب تحقيق مثل هذه السعة.
في العام الماضي، تم إصدار بعض هواتف Android بسعة تصل إلى 24 جيجابايت من ذاكرة الوصول العشوائي LPDDR5X؛ لكن أزمة الذاكرة تسببت في قيام عدد من الشركات المصنعة للهواتف بالتخلي عن إطلاق نماذج ذات ذاكرة وصول عشوائي أكبر.
إن تشغيل النماذج الكبيرة باستمرار يواجه مشكلة أخرى: الحرارة المتولدة. يمكن أن تؤدي المعالجة الثقيلة إلى زيادة درجة حرارة الجهاز، ونتيجة لذلك، سينخفض أداء الشريحة تلقائيًا لمنع ارتفاع درجة الحرارة؛ عملية تسمى فقدان الأداء الحراري.
أحد الحلول الممكنة هو تقليل دقة الأرقام المستخدمة لتمثيل معلمات النموذج. هذه الطريقة، تسمى التكميم، تقلل من مقدار الذاكرة المطلوبة. ومع ذلك، فإن تقليل الدقة إلى أقل من 4 بتات يمكن أن يقلل بشكل كبير من جودة النماذج اللغوية؛ خاصة عند القيام بمهام التفكير.
الحل الآخر هو استخدام مزيج من بنية الخبراء (وزارة التربية والتعليم). في هذه البنية، يتم تنشيط جزء فقط من الشبكة لمعالجة كل رمز مميز. وبهذه الطريقة، يمكن الاحتفاظ بالمتخصصين النشطين في ذاكرة الوصول العشوائي (RAM) ويمكن وضع أجزاء أخرى من النموذج على مساحة تخزين الجهاز ليتم تحميلها عند الحاجة.
الحل التالي هو استخدام نماذج أصغر ومقطرة. يمكن لـ 20-30 مليار نموذج معلمة تم تدريبها بطريقة التقطير أن تحقق جودة تقترب من 100 مليار نموذج معلمة على الهواتف الذكية. قد يكون هذا الأسلوب أكثر قابلية للتطبيق تجارياً لأنه يتطلب ذاكرة أقل.
أنا طالبة في علم اللغة وبقدر اهتمامي بـ "الكلمات"، فإنني أستمتع أيضًا باستكشاف عالم التكنولوجيا والعلوم.
قم بالتسجيل أو تسجيل الدخول للدردشة مع المستخدمين.