تظهر قوانين توسيع نطاق الذكاء الاصطناعي الحالية عوائد متناقصة، مما يجبر مختبرات الذكاء الاصطناعي على تغيير مسارها

تدرك مختبرات الذكاء الاصطناعي التي تسير على الطريق نحو الأنظمة فائقة الذكاء أنها قد تضطر إلى سلوك منعطف آخر.

“قوانين توسيع نطاق الذكاء الاصطناعي”، وهي الأساليب والتوقعات التي استخدمتها المختبرات لزيادة قدرات نماذجها على مدى السنوات الخمس الماضية، تظهر الآن علامات على تناقص العوائد، وفقًا للعديد من المستثمرين والمؤسسين والمديرين التنفيذيين في مجال الذكاء الاصطناعي الذين تحدثوا مع TechCrunch. تعكس مشاعرهم التقارير الأخيرة التي تشير إلى أن النماذج داخل مختبرات الذكاء الاصطناعي الرائدة تتحسن بشكل أبطأ مما كانت عليه من قبل.

يبدو أن الجميع الآن يعترفون بأنه لا يمكنك استخدام المزيد من الحوسبة والمزيد من البيانات أثناء التدريب المسبق لنماذج اللغة الكبيرة، ويتوقعون أن تتحول إلى نوع من الإله الرقمي الذي يعرف كل شيء. ربما يبدو ذلك واضحًا، لكن قوانين التوسع هذه كانت عاملاً رئيسيًا في تطوير ChatGPT، مما جعله أفضل، ومن المحتمل أن يؤثر على العديد من الرؤساء التنفيذيين لوضع تنبؤات جريئة حول الذكاء الاصطناعي العام (AGI) الذي سيصل في غضون سنوات قليلة فقط.

صرح إيليا سوتسكيفر، المؤسس المشارك لـ OpenAI وSafe Super Intelligence، لرويترز الأسبوع الماضي أن “الجميع يبحث عن الشيء التالي” لتوسيع نطاق نماذج الذكاء الاصطناعي الخاصة بهم. في وقت سابق من هذا الشهر، قال مارك أندريسن، المؤسس المشارك لشركة a16z، في بث صوتي، إن نماذج الذكاء الاصطناعي تبدو حاليًا وكأنها تتقارب عند نفس السقف من حيث القدرات.

ولكن الآن، مباشرة بعد ظهور هذه الاتجاهات المثيرة للقلق، أعلن الرؤساء التنفيذيون والباحثون والمستثمرون في مجال الذكاء الاصطناعي بالفعل أننا في عصر جديد من قوانين التوسع. “الحوسبة في وقت الاختبار”، التي تمنح نماذج الذكاء الاصطناعي المزيد من الوقت والحوسبة “للتفكير” قبل الإجابة على السؤال، هي منافس واعد بشكل خاص ليكون الشيء الكبير التالي.

قال الرئيس التنفيذي لشركة Microsoft، ساتيا ناديلا، على خشبة المسرح في Microsoft Ignite يوم الثلاثاء: “إننا نشهد ظهور قانون جديد للتوسع”، في إشارة إلى بحث حساب وقت الاختبار الذي يدعم نموذج OpenAI’s o1.

إنه ليس الوحيد الذي يشير الآن إلى o1 باعتباره المستقبل.

“نحن الآن في العصر الثاني من قوانين التوسع، وهو التوسع في وقت الاختبار”، قال أندريسن هورويتز، شريك أندريسن هورويتز، الذي كان أيضًا عضوًا في مجلس إدارة ميسترال وكان مستثمرًا ملاكًا في أنثروبيك، في مقابلة أجريت معه مؤخرًا مع TechCrunch .

إذا كان النجاح غير المتوقع – والآن التباطؤ المفاجئ – لقوانين توسيع نطاق الذكاء الاصطناعي السابقة يخبرنا بأي شيء، فهو أنه من الصعب للغاية التنبؤ كيف ومتى ستتحسن نماذج الذكاء الاصطناعي.

بغض النظر، يبدو أن هناك تحولًا نموذجيًا جاريًا: فالطرق التي تحاول بها مختبرات الذكاء الاصطناعي تطوير نماذجها خلال السنوات الخمس المقبلة لن تشبه على الأرجح السنوات الخمس الماضية.

ما هي قوانين توسيع نطاق الذكاء الاصطناعي؟

يمكن أن تُعزى التحسينات السريعة لنموذج الذكاء الاصطناعي التي حققتها OpenAI وGoogle وMeta وAnthropic منذ عام 2020 إلى حد كبير إلى رؤية رئيسية واحدة: استخدام المزيد من الحوسبة والمزيد من البيانات خلال مرحلة التدريب المسبق لنموذج الذكاء الاصطناعي.

عندما يمنح الباحثون أنظمة التعلم الآلي موارد وفيرة خلال هذه المرحلة – حيث يحدد الذكاء الاصطناعي الأنماط ويخزنها في مجموعات بيانات كبيرة – تميل النماذج إلى الأداء بشكل أفضل في التنبؤ بالكلمة أو العبارة التالية.

لقد دفع هذا الجيل الأول من قوانين قياس الذكاء الاصطناعي نطاق ما يمكن أن تفعله أجهزة الكمبيوتر، حيث قام المهندسون بزيادة عدد وحدات معالجة الرسومات المستخدمة وكمية البيانات التي يتم تغذيتها. وحتى لو أن هذا الأسلوب بالتحديد قد وصل إلى نهايته، فقد أعاد رسم الخريطة بالفعل. لقد اتجهت كل شركات التكنولوجيا الكبرى إلى الذكاء الاصطناعي، في حين أن شركة Nvidia، التي تزود وحدات معالجة الرسومات التي تدرب جميع هذه الشركات نماذجها عليها، هي الآن الشركة الأكثر قيمة للتداول العام في العالم.

ولكن تم إجراء هذه الاستثمارات أيضًا مع توقع استمرار التوسع كما هو متوقع.

من المهم أن نلاحظ أن قوانين القياس ليست قوانين الطبيعة، أو الفيزياء، أو الرياضيات، أو الحكومة. لا يضمنهم أي شيء، أو أي شخص، الاستمرار بنفس الوتيرة. حتى قانون مور، وهو قانون آخر مشهور للقياس، تلاشى في نهاية المطاف – على الرغم من أنه كان له بالتأكيد فترة أطول.

قال روبرت نيشيهارا، المؤسس المشارك والرئيس التنفيذي السابق لشركة Anyscale، في مقابلة مع TechCrunch: “إذا قمت للتو بإضافة المزيد من الحوسبة، وقمت بإدخال المزيد من البيانات، وجعلت النموذج أكبر – فهناك عوائد متناقصة”. “من أجل الحفاظ على استمرار قوانين التوسع، ومن أجل الحفاظ على معدل التقدم المتزايد، نحتاج أيضًا إلى أفكار جديدة.”

نيشيهارا على دراية تامة بقوانين توسيع نطاق الذكاء الاصطناعي. وصلت قيمة Anyscale إلى مليار دولار من خلال تطوير برنامج يساعد OpenAI ومطوري نماذج الذكاء الاصطناعي الآخرين على توسيع نطاق أعباء عمل تدريب الذكاء الاصطناعي الخاصة بهم إلى عشرات الآلاف من وحدات معالجة الرسومات. لقد كانت Anyscale واحدة من أكبر المستفيدين من قوانين التوسع في التدريب المسبق حول الحوسبة، ولكن حتى مؤسسها المشارك يدرك أن الموسم يتغير.

قال نيشيهارا، في إشارة إلى القيود المفروضة على توسيع نطاق البيانات: “عندما تقرأ مليون مراجعة على Yelp، فربما لا تمنحك المراجعات التالية على Yelp الكثير”. “لكن هذا تدريب مسبق. أود أن أقول إن المنهجية المتبعة في مرحلة ما بعد التدريب غير ناضجة تمامًا ولديها مجال كبير للتحسين.

لكي نكون واضحين، من المرجح أن يستمر مطورو نماذج الذكاء الاصطناعي في مطاردة مجموعة حوسبة أكبر ومجموعات بيانات أكبر للتدريب المسبق، وربما يكون هناك المزيد من التحسين للاستفادة من هذه الأساليب. انتهى Elon Musk مؤخرًا من بناء حاسوب عملاق مزود بـ 100000 وحدة معالجة رسوميات، أطلق عليه اسم Colossus، لتدريب نماذج XAI التالية. سيكون هناك مجموعات أكبر وأكبر في المستقبل.

لكن الاتجاهات تشير إلى أن النمو المتسارع غير ممكن بمجرد استخدام المزيد من وحدات معالجة الرسومات مع الاستراتيجيات الحالية، لذلك أصبحت الأساليب الجديدة تحظى فجأة بمزيد من الاهتمام.

حساب وقت الاختبار: الرهان الكبير التالي لصناعة الذكاء الاصطناعي

عندما أصدرت OpenAI معاينة لنموذجها o1، أعلنت الشركة الناشئة أنها جزء من سلسلة جديدة من النماذج المنفصلة عن GPT.

قامت OpenAI بتحسين نماذج GPT الخاصة بها إلى حد كبير من خلال قوانين القياس التقليدية: المزيد من البيانات، والمزيد من القوة أثناء التدريب المسبق. ولكن الآن يقال إن هذه الطريقة لا تكسبهم الكثير. يعتمد إطار عمل النماذج o1 على مفهوم جديد، وهو حوسبة وقت الاختبار، ويُطلق عليه هذا الاسم لأن موارد الحوسبة تُستخدم بعد المطالبة، وليس قبلها. لم يتم استكشاف هذه التقنية كثيرًا بعد في سياق الشبكات العصبية، ولكنها تبدو واعدة بالفعل.

يشير البعض بالفعل إلى حساب وقت الاختبار باعتباره الطريقة التالية لتوسيع نطاق أنظمة الذكاء الاصطناعي.

قال Midha من a16z: “يُظهر عدد من التجارب أنه على الرغم من أن قوانين قياس ما قبل التدريب قد تكون بطيئة، فإن قوانين قياس وقت الاختبار – حيث تمنح النموذج المزيد من الحساب عند الاستدلال – يمكن أن تعطي مكاسب متزايدة في الأداء”.

“سلسلة “o” الجديدة من OpenAI تدفع [chain-of-thought] قال باحث الذكاء الاصطناعي الشهير يوشوا بينجيو في مقال افتتاحي يوم الثلاثاء: “يتطلب الأمر المزيد من الموارد الحاسوبية، وبالتالي الطاقة، للقيام بذلك”. “وهكذا نرى ظهور شكل جديد من القياس الحسابي. ليس فقط المزيد من بيانات التدريب والنماذج الأكبر حجمًا، ولكن قضاء المزيد من الوقت في “التفكير” في الإجابات.”

على مدار فترة تتراوح من 10 إلى 30 ثانية، يعيد نموذج OpenAI’s o1 تحفيز نفسه عدة مرات، مما يؤدي إلى تقسيم المشكلة الكبيرة إلى سلسلة من المشكلات الأصغر. على الرغم من أن ChatGPT يقول إنه “يفكر”، فهو لا يفعل ما يفعله البشر – على الرغم من أن أساليبنا الداخلية لحل المشكلات، والتي تستفيد من إعادة صياغة المشكلة بوضوح والحلول التدريجية، كانت مصدر إلهام رئيسي لهذه الطريقة.

منذ عقد من الزمان أو نحو ذلك، كان Noam Brown، الذي يقود الآن عمل OpenAI على o1، يحاول بناء أنظمة ذكاء اصطناعي يمكنها التغلب على البشر في لعبة البوكر. خلال محادثة حديثة، قال براون إنه لاحظ في ذلك الوقت كيف يستغرق لاعبو البوكر من البشر وقتًا للتفكير في سيناريوهات مختلفة قبل لعب توزيع الورق. وفي عام 2017، قدم طريقة للسماح للعارضة بالتفكير لمدة 30 ثانية قبل اللعب. في ذلك الوقت، كان الذكاء الاصطناعي يلعب ألعابًا فرعية مختلفة، ويكتشف كيفية تنفيذ السيناريوهات المختلفة لتحديد أفضل حركة.

وفي نهاية المطاف، كان أداء الذكاء الاصطناعي أفضل سبع مرات من محاولاته السابقة.

من المؤكد أن بحث براون في عام 2017 لم يستخدم الشبكات العصبية، التي لم تكن شائعة في ذلك الوقت. ومع ذلك، أصدر باحثون من معهد ماساتشوستس للتكنولوجيا ورقة بحثية الأسبوع الماضي تظهر أن حساب وقت الاختبار يحسن بشكل كبير أداء نموذج الذكاء الاصطناعي في مهام التفكير.

ليس من الواضح على الفور مدى حجم حساب وقت الاختبار. قد يعني ذلك أن أنظمة الذكاء الاصطناعي تحتاج إلى وقت طويل جدًا للتفكير في الأسئلة الصعبة؛ ربما ساعات أو حتى أيام. قد يكون هناك نهج آخر يتمثل في السماح لنموذج الذكاء الاصطناعي “بالتفكير” من خلال أسئلة حول الكثير من الرقائق في وقت واحد.

إذا أصبحت حوسبة وقت الاختبار هي المكان التالي لتوسيع نطاق أنظمة الذكاء الاصطناعي، يقول مدها إن الطلب على رقائق الذكاء الاصطناعي المتخصصة في الاستدلال عالي السرعة يمكن أن يرتفع بشكل كبير. قد تكون هذه أخبارًا جيدة للشركات الناشئة مثل Groq أو Cerebras، المتخصصة في رقائق الاستدلال السريع للذكاء الاصطناعي. إذا كان العثور على الإجابة مرهقًا للحوسبة تمامًا مثل تدريب النموذج، فإن مقدمي خدمة “الاختيار والتجريف” في الذكاء الاصطناعي يفوزون مرة أخرى.

عالم الذكاء الاصطناعي لا يشعر بالذعر بعد

لا يبدو أن معظم عالم الذكاء الاصطناعي قد فقد أعصابه بشأن تباطؤ قوانين التوسع القديمة هذه. حتى لو لم تثبت حوسبة وقت الاختبار أنها الموجة التالية من التوسع، يشعر البعض أننا لا نخدش سوى سطح التطبيقات لنماذج الذكاء الاصطناعي الحالية.

يمكن للمنتجات الشائعة الجديدة أن توفر لمطوري نماذج الذكاء الاصطناعي بعض الوقت لاكتشاف طرق جديدة لتحسين النماذج الأساسية.

“أنا مقتنع تمامًا بأننا سنشهد ما لا يقل عن 10 إلى 20 ضعفًا من المكاسب في أداء النموذج فقط من خلال العمل الخالص على مستوى التطبيق، مما يسمح فقط للنماذج بالتألق من خلال المطالبة الذكية، وقرارات تجربة المستخدم، وتمرير السياق في الوقت المناسب إلى قال مدحة.

على سبيل المثال، يعد وضع الصوت المتقدم في ChatGPT أحد التطبيقات الأكثر إثارة للإعجاب من نماذج الذكاء الاصطناعي الحالية. ومع ذلك، كان هذا إلى حد كبير ابتكارًا في تجربة المستخدم، وليس بالضرورة التكنولوجيا الأساسية. يمكنك أن ترى كيف أن ابتكارات تجربة المستخدم الإضافية، مثل منح هذه الميزة إمكانية الوصول إلى الويب أو التطبيقات على هاتفك، ستجعل المنتج أفضل بكثير.

يقول كيان كاتانفوروش، الرئيس التنفيذي لشركة Workera الناشئة للذكاء الاصطناعي والمحاضر المساعد في التعلم العميق في جامعة ستانفورد، لـ TechCrunch أن الشركات التي تبني تطبيقات الذكاء الاصطناعي، مثل شركته، لا تحتاج بالضرورة إلى نماذج أكثر ذكاءً بشكل كبير لبناء منتجات أفضل. ويقول أيضًا إن المنتجات الموجودة في النماذج الحالية لديها مجال كبير للتحسن.

وقال كاتانفوروش: “لنفترض أنك قمت ببناء تطبيقات الذكاء الاصطناعي، وكان الذكاء الاصطناعي الخاص بك يهلوس في مهمة محددة”. “هناك طريقتان يمكنك من خلالهما تجنب ذلك. إما أن يتحسن برنامج LLM وسيتوقف عن الهلوسة، أو يجب أن تتحسن الأدوات المحيطة به وستتاح لك الفرص لإصلاح المشكلة.

مهما كان الوضع بالنسبة لأبحاث الذكاء الاصطناعي، فمن المحتمل ألا يشعر المستخدمون بآثار هذه التحولات لبعض الوقت. ومع ذلك، ستفعل مختبرات الذكاء الاصطناعي كل ما هو ضروري لمواصلة شحن نماذج أكبر وأكثر ذكاءً وأسرع بنفس الوتيرة السريعة. وهذا يعني أن العديد من شركات التكنولوجيا الرائدة يمكنها الآن أن تركز على كيفية دفع حدود الذكاء الاصطناعي.