شایعه شده است که OpenAI در حال کار بر روی نسل بعدی مدل پرچمدار زبان بزرگ خود (LLM) است، با این حال، ممکن است با یک گلوگاه برخورد کند. طبق یک گزارش، شرکت هوش مصنوعی مستقر در سانفرانسیسکو در تلاش است تا به طور قابل توجهی قابلیت‌های مدل هوش مصنوعی بعدی خود را با نام رمز داخلی Orion ارتقا دهد. گفته می‌شود که این مدل در مورد وظایف مبتنی بر زبان از مدل‌های قدیمی‌تر بهتر عمل می‌کند، اما در برخی کارها مانند کدنویسی ضعیف است. شایان ذکر است، گفته می‌شود که این شرکت برای جمع‌آوری داده‌های آموزشی کافی برای آموزش صحیح مدل‌های هوش مصنوعی در تلاش است.
ظاهراً مدل هوش مصنوعی اوریون OpenAI پیشرفت های قابل توجهی را نشان نمی دهد
اطلاعات گزارش داد که LLM اصلی بعدی شرکت هوش مصنوعی، Orion، در مورد وظایف مربوط به کدنویسی مطابق انتظارات عمل نمی کند. این گزارش با استناد به کارمندان ناشناس ادعا می‌کند که مدل هوش مصنوعی ارتقای قابل توجهی را در مورد وظایف مبتنی بر زبان نشان داده است، اما برخی از وظایف بسیار دشوار هستند.
این به عنوان یک مشکل اصلی در نظر گرفته می‌شود زیرا طبق گزارش‌ها، Orion برای اجرا در مراکز داده OpenAI در مقایسه با مدل‌های قدیمی‌تر مانند GPT-4 و GPT-4o گران‌تر است. نسبت هزینه به عملکرد LLM آینده ممکن است چالشی را برای شرکت ایجاد کند تا آن را برای شرکت ها و مشترکین جذاب کند.
علاوه بر این، گزارش همچنین ادعا کرد که جهش کلی کیفیت بین GPT-4 و Orion کمتر از پرش بین GPT-3 و GPT-4 است. این یک پیشرفت نگران‌کننده است، با این حال، این روند در سایر مدل‌های هوش مصنوعی اخیراً توسط رقبایی مانند Anthropic و Mistral نیز مورد توجه قرار گرفته است.
به عنوان مثال، نمرات معیار کلود 3.5 Sonnet نشان می دهد که جهش کیفیت با هر مدل پایه جدید تکراری تر است. با این حال، رقبا تا حد زیادی با تمرکز بر توسعه قابلیت‌های جدید مانند هوش مصنوعی عاملی، از توجه دوری کرده‌اند.
در این گزارش، این نشریه همچنین تاکید کرد که صنعت به عنوان راهی برای مقابله با این چالش، پس از تکمیل آموزش اولیه، مدل هوش مصنوعی را بهبود می‌بخشد. این را می توان با تنظیم دقیق خروجی با افزودن فیلترهای اضافی انجام داد. با این حال، این یک راه حل است و محدودیتی را که به دلیل چارچوب یا نبود داده کافی ایجاد می شود، جبران نمی کند.
در حالی که اولی بیشتر یک چالش تکنولوژیکی و مبتنی بر تحقیق است، دومی عمدتاً به دلیل در دسترس بودن داده‌های رایگان و دارای مجوز است. گزارش شده است که برای حل این مشکل، OpenAI یک تیم بنیادی ایجاد کرده است که وظیفه یافتن راهی برای مقابله با کمبود داده های آموزشی را بر عهده دارد. با این حال، نمی توان گفت که آیا این تیم می تواند به موقع اطلاعات بیشتری برای آموزش بیشتر و بهبود قابلیت های Orion به دست آورد یا خیر.