النموذج الكبير يتجاوز تقنية النصوص الطويلة بسرعة مذهلة

تزداد قدرة النماذج الكبيرة على معالجة النصوص الطويلة بسرعة. من 4000 توكن في البداية إلى 400000 توكن الآن، يمكن أن يُقال إن هذه الزيادة "مرئية بالعين المجردة".

يبدو أن معالجة النصوص الطويلة قد أصبحت "المعيار" الجديد لمصنعي النماذج الكبيرة. في الخارج، قامت OpenAI من خلال عدة ترقيات بزيادة طول السياق لـ GPT-4 إلى 32000 توكن. بينما قامت Anthropic بزيادة طول السياق لنموذجها إلى 100000 توكن دفعة واحدة. أما LongLLaMA فقد رفعت هذا الرقم إلى 256000 توكن.

لا تريد البلاد أن تتخلف عن الركب. مساعد ذكي تم إطلاقه من قبل شركة ناشئة في مجال النماذج الكبيرة يدعم إدخال 200,000 حرف صيني، وهو ما يعادل حوالي 400,000 توكن. بالإضافة إلى ذلك، طورت فريق بحثي تقنية جديدة تُسمى LongLoRA، والتي تستطيع توسيع طول النص لنموذج 7B إلى 100,000 توكن.

حالياً، تركز العديد من الشركات والمؤسسات الكبرى في مجال النماذج الكبيرة، بما في ذلك OpenAI وAnthropic وMeta، على توسيع طول السياق كاتجاه رئيسي للتطوير. هذه الشركات جميعها تحظى بشعبية كبيرة لدى المستثمرين.

لماذا تعطي شركات النماذج الكبيرة أهمية كبيرة لتكنولوجيا النصوص الطويلة؟ ماذا يعني توسيع طول السياق بمقدار 100 مرة؟

من الظاهر أن هذا يعني أن النموذج أصبح قادرًا على معالجة نصوص الإدخال الأطول بشكل متزايد، وزادت قدرته على القراءة. من القدرة على فهم النصوص القصيرة فقط في البداية، إلى القدرة الآن على فهم رواية طويلة بسهولة.

من منظور أعمق، فإن تقنية النصوص الطويلة تدفع تطبيق النماذج الكبيرة في مجالات المالية والقانون والبحث العلمي وغيرها من المجالات المهنية. إن ملخصات الوثائق الطويلة، وفهم القراءة، والقدرات على الإجابة عن الأسئلة هي المفتاح لترقية الذكاء في هذه المجالات.

ومع ذلك، من المهم ملاحظة أن دعم إدخال سياق أطول لا يعني بالضرورة أن أداء النموذج سيكون أفضل. أظهرت الأبحاث أن استخدام النموذج لمحتوى السياق هو الأمر الحاسم.

حالياً، لا تزال الاستكشافات المحلية والدولية لطول النصوص بعيدة عن الوصول إلى الحدود القصوى. قد تكون 400000 توكن مجرد بداية.

لماذا يجب "لف" النصوص الطويلة؟

قال مؤسس شركة نموذج كبير معين إن القيود المفروضة على طول الإدخال هي السبب وراء العديد من صعوبات تطبيق نماذج كبيرة. وهذا هو السبب وراء تركيز العديد من الشركات على تقنية النصوص الطويلة.

على سبيل المثال، في مشهد الشخصيات الافتراضية، بسبب نقص القدرة على التعامل مع النصوص الطويلة، ستنسى الشخصيات الافتراضية معلومات مهمة. عند تطوير ألعاب نوع "قتل السيناريو"، يكون طول مدخلات الطلب غير كافٍ، مما يجبر على تقليص القواعد والإعدادات، مما يؤثر على فعالية اللعبة. في المجالات المهنية مثل القانون والمالية، غالبًا ما تتعثر أيضًا تحليلات المحتوى العميقة والتوليد.

تلعب تقنية النصوص الطويلة أيضًا دورًا مهمًا في الطريق نحو التطبيقات الأصلية للوكيل والذكاء الاصطناعي في المستقبل. يحتاج الوكيل إلى الاعتماد على المعلومات التاريخية لاتخاذ قرارات التخطيط، بينما تحتاج التطبيقات الأصلية للذكاء الاصطناعي إلى السياق للحفاظ على تجربة مستخدم متماسكة وشخصية.

يعتقد المؤسس أن حد النموذج الكبير تحدده القدرة على الخطوة الواحدة وعدد خطوات التنفيذ. القدرة على الخطوة الواحدة مرتبطة بعدد المعلمات، بينما عدد خطوات التنفيذ هو طول السياق.

يمكن لتقنية النصوص الطويلة أن تحل بعض المشكلات التي تم انتقاد النماذج الكبيرة بها في وقت مبكر، وتعزز بعض الوظائف، كما أنها التقنية الرئيسية لدفع تطبيقات الصناعة إلى أرض الواقع. وهذا يدل على أن تطوير النماذج العامة الكبيرة قد دخل مرحلة جديدة من LLM إلى Long LLM.

عرض المساعد الذكي الذي أطلقته شركة معينة بعض ميزات الترقية للنموذج الكبير Long LLM.

• استخراج المعلومات الأساسية، والتلخيص، والتحليل للنصوص الطويلة جدًا
• تحويل النص مباشرة إلى رمز، ويمكن حتى إعادة إنتاج عملية توليد الرمز بناءً على الورقة البحثية.
• تحقيق لعب الأدوار، والتحدث وجهًا لوجه مع الشخصيات العامة

تظهر هذه الأمثلة أن الروبوتات الحوارية تتجه نحو التخصص، والتخصيص، والتعمق، وقد تكون هذه هي الأداة الجديدة لتحقيق تطبيقات صناعية ونشر تطبيقات فائقة.

ومع ذلك، لا يزال هناك مجال لتحسين سيناريوهات الحوار الطويلة المتاحة في السوق. على سبيل المثال، عدم دعم الاتصال بالإنترنت للحصول على أحدث المعلومات، وعدم القدرة على إيقاف وتعديل عملية التوليد، وأحيانًا ظهور بعض الهراء.

معضلة "مثلث المستحيل" في النصوص الطويلة

تواجه التقنيات النصية الطويلة معضلة "مثلث المستحيل" من حيث طول النصوص والانتباه والقدرة الحاسوبية:

• كلما كان النص أطول، كان من الصعب جمع انتباه كافٍ
• محدودية التركيز، النصوص القصيرة تجعل من الصعب قراءة المعلومات المعقدة بشكل كامل
• معالجة النصوص الطويلة تتطلب قوة حسابية كبيرة، مما يزيد من التكاليف

يعود هذا بشكل رئيسي إلى أن معظم النماذج تعتمد على بنية Transformer. حيث يجعل آلية الانتباه الذاتي حجم الحسابات ينمو بشكل مربعي مع زيادة طول السياق.

تشير بعض الدراسات إلى أن السياق الطويل جداً يمكن أن يؤدي إلى انخفاض نسبة المعلومات ذات الصلة، مما يزيد من تشتت الانتباه. وهذا يشكل تناقضاً بين طول النص والانتباه.

في الوقت نفسه، يتعين على تقنية تجاوز النصوص الأطول أن تستهلك المزيد من قوة الحوسبة. لكن في النشر الفعلي، غالبًا ما لا تتمكن الشركات من تقديم دعم كافٍ من قوة الحوسبة. وهذا يخلق تناقضًا بين طول النص وقوة الحوسبة.

هناك ثلاث حلول رئيسية حالياً:

1. استخدام أدوات خارجية للمساعدة في معالجة النصوص الطويلة
2. تحسين حساب آلية الانتباه الذاتي
3. الطرق العامة لتحسين النموذج

الخيار الأول هو منح النموذج "ملحق"، من خلال تقسيم النص الطويل إلى عدة نصوص قصيرة لمعالجتها.

الخيار الثاني هو إعادة بناء طريقة حساب الانتباه الذاتي، مثل تقنية LongLoRA التي تقوم بحساب النصوص الطويلة بشكل مجموعات.

الخيار الثالث يركز على تحسين النموذج، مثل LongLLaMA الذي يحقق التنبؤ بسلاسل أطول من خلال الضبط الدقيق.

لا تزال "مشكلة مثلث المستحيل" للنصوص الطويلة بلا حل حتى الآن، ولكنها أوضحت أيضًا مسار الاستكشاف: البحث عن أفضل نقطة توازن بين طول النص والتركيز والقوة الحاسوبية، بحيث يتم معالجة معلومات كافية مع مراعاة حسابات التركيز وقيود تكاليف القوة الحاسوبية.