Tim Stephenson

عشان تشغل نماذج AI على جهازك فيه برنامجين يعتبرون الأفضل للمبتدئين LM Studio و Ollama. البرنامجين سهلين في التعامل مع كل التفاصيل التقنية المعقدة بالنيابة عنك. كل اللي عليك تسويه هو تنزيل البرنامج، تختار النموذج اللي تبغاه من قائمة جاهزة، وتضغط زر التحميل. بعد ما ينتهي التحميل، تقدر تبدأ محادثة مع النموذج مباشرة. مثال LM Studio أول شيء، تروح لموقعهم وتحمل البرنامج على جهازك سواء كان ويندوز أو ماك. بعد ما تشغله، راح تجد واجهة بسيطة فيها مربع بحث. تكتب اسم النموذج اللي تبغى تجربه، مثل Llama 3. راح تظهر لك قائمة طويلة من النسخ المختلفة من نفس النموذج، كل نسخة تم ضغطها بدرجة مختلفة. كبداية، ممكن تختار أي نسخة يكون في اسمها (Q4_K_M)، لأنها تقدم توازن ممتاز بين الحجم والأداء. تضغط تحميل، وتنتظر. بعد ما يخلص، تروح لقسم الدردشة في البرنامج، تختار النموذج اللي حملته من القائمة، وتبدأ تسأله أي شيء يخطر في بالك. بالنسبة لمتطلبات التشغيل، القاعدة الأساسية هي إن حجم ذاكرة الوصول العشوائي (RAM) أو ذاكرة كرت الشاشة (VRAM) لازم تكون أكبر بشوي من حجم ملف النموذج اللي حملته. لو حملت نموذج حجمه 4 جيجابايت، فأنت تحتاج يكون عندك على الأقل 8 جيجابايت من الرام في جهازك عشان يشتغل بشكل مريح. أغلب أجهزة اللابتوب الحديثة فيها 16 جيجابايت رام، وهذا كافي جداً لتشغيل نماذج بحجم 7 مليار بارامتر (7B). خلك عارف أن حجم الذاكرة المطلوب بالجيجابايت يساوي تقريباً عدد متغيرات النموذج بالمليار مضروب في حجم المتغير الواحد بالبت مقسوماً على ثمانية. أيضا لازم تعرف أن النماذج تأتي بأحجام مختلفة، تقاس بالمليارات من الـ Parameters أو المعاملات، مثلًا نموذج Llama 3 منه عدة نسخ منها 8B (ثمانية مليار معامل) و 70B (سبعين مليار معامل). و كل حجم ممكن يأتي بصيغ ضغط مختلفة مثل Q4, Q6, Q8, FP16. مثلا نموذج بصيغة FP16 معناها كل معامل يحتاج 16 بت. بالتالي حجم الذاكرة المطلوبة = (عدد المعاملات بالمليار) * (معامل ضغط النموذج / 8) يعني نموذج بحجم 7 مليار معامل بصيغة FP16 يحتاج حوالي 14 جيجابايت. ( 7 * (16/8)) = 14 طبعاً، كل ما زاد حجم النموذج، زادت دقته وقدرته، لكن في نفس الوقت زاد حجمه واحتياجه لموارد الجهاز. عشان كذا نلجأ للضغط أو Quantization. مثلاًَ لو ضغطنا نموذج 7 مليار لصيغة 8 بت، حجم الذاكرة راح يقل النصف تقريباً، يعني 7 جيجابايت. وعند ضغطه لـ 4 بت، يقل حجم الذاكرة المطلوب للربع، يعني حوالي 3.5 جيجابايت. بالمناسبة هذه الحسبة تقريبية، ذاكرة الجهاز ما تحمل فقط أوزان النموذج، نحتاج مساحة إضافية لأشياء أخرى مثل الـ KV Cache اللي يكبر مع طول المحادثة. القاعدة العامة هي أنك تحتاج دائماً ذاكرة إضافية بنسبة 10 إلى 30 بالمئة فوق الحجم الصافي للنموذج عشان يشتغل بسلاسة. أيضاً مهم أننا ننتبه لسرعة الذاكرة، أو الـ Bandwidth. هذه هي اللي تحدد سرعة توليد التوكينات. السعة تحدد لك إن كان النموذج راح يعمل، والسرعة تحدد إن كان استخدامه سلس. كروت الشاشة المنفصلة من إنفيديا، مثل RTX 5090، تملك أعلى عرض نطاق ترددي في السوق، ممكن يصل إلى 1.8 تيرابايت في الثانية. هذا يخليها قادرة على استدعاء البيانات من الذاكرة بسرعة هائلة، وبالتالي توليد التوكنز بسرعة فائقة. مشكلتها أن سعتها محدودة نسبياً، 32 جيجابايت مثلاً، وهذا راح يكون السقف لحجم النماذج اللي ممكن تشغيلها. في المقابل، أجهزة أبل مثل Mac Studio M3 Ultra تعتبر حل وسط. عرض النطاق الترددي فيها أقل، حوالي 800 جيجابايت في الثانية، لكنها تتيح لك الوصول إلى ذاكرة موحدة ضخمة تصل إلى 512 جيجابايت. هنا أنت تضحي بجزء من السرعة القصوى مقابل القدرة على تشغيل نماذج عملاقة جداً لا يمكن أن تتسع في أي كرت شاشة استهلاكي. أيضاً فيه فئة جديدة بدأت تظهر، وهي أجهزة الكمبيوتر بمعالجات مثل Strix Halo من AMD، واللي تقدم ذاكرة موحدة بسعة كبيرة تصل إلى 96 جيجابايت وعرض نطاق ترددي مقبول نسبياً، حوالي 256 جيجابايت في الثانية. هذه تمثل أول محاولة حقيقية لتقديم حل متكامل في عالم x86 ينافس فلسفة أبل. بالنسبة لـ AI PC أو أجهزة اللابتوب الخفيفة، فعرض النطاق الترددي فيها يعتبر منخفض جداً، وهذا يجعلها مناسبة للمساعدات الصغيرة والمهام البسيطة، وليس لتشغيل النماذج القوية. واذا كان عندك وقت وحاب تتعلم أكثر عن موضوع تشغيل نماذج الـ AI على جهازك راح أضع لك مقالين نصيحة أقرأهم راح تتعلم كثير خصوصا موضوع حساب الذاكرة ، كل ما كتبته هنا أخذته من هذين المقالين .