مشروع مفتوح المصدر ممتع جدًا AirLLM


تحسين استهلاك ذاكرة الاستدلال، مما يسمح لنموذج كبير بحجم 70B بالعمل على بطاقة رسومات بذاكرة 4G فقط
بدون تقليل الدقة، التقطير، أو الحذف.
تشغيل نموذج Llama3.1 بحجم 405B على ذاكرة 8G
وأكثر رغبة في GLM 5.2. أليس من الممكن أن أتمكن من تشغيل أكثر من 700+B على ذاكرة مشتركة تزيد عن 40G؟
Star🌟 21.3k
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت