در سال‌های اخیر، هوش مصنوعی شاهد پیشرفت‌های چشمگیری بوده است. این تحولات سریع، هر روز اخبار و به‌روزرسانی‌های جدیدی را به همراه دارد. با این حال، یک چالش اساسی همچنان پابرجا مانده است: ناتوانی هوش مصنوعی در یادگیری مداوم از داده‌ها بدون فراموش کردن دانش قبلی.
گوگل با معرفی رویکرد Hope در یادگیری ماشین، به دنبال حل این مشکل است. برخی کارشناسان معتقدند این رویکرد می‌تواند مسیر دستیابی به هوش مصنوعی عمومی (AGI) را هموار کرده و این فناوری را به افق‌های جدیدی سوق دهد. بیایید با جزئیات این رویکرد بیشتر آشنا شویم.
چالش فراموشی فاجعهبار در مدلهای هوش مصنوعی
در دهه گذشته، مدلهای هوش مصنوعی پیشرفت‌های باورنکردنی در یادگیری ماشین (ML) داشته‌اند که عمدتاً به لطف معماری‌های قدرتمند شبکه‌های عصبی و الگوریتم‌های بهینه‌سازی پیشرفته محقق شده است.
با این حال، علی‌رغم موفقیت چشمگیر مدلهای زبانی بزرگ (LLM)، چالش‌های بنیادی متعددی باقی مانده‌اند. دو مورد از مهم‌ترین آنها عبارتند از: یادگیری پیوسته (توانایی مدل برای کسب فعالانه دانش و مهارت‌های جدید) و جلوگیری از فراموشی فاجعهبار (Catastrophic Forgetting) که در آن مدل، دانش‌های قبلی خود را در حین یادگیری اطلاعات جدید از دست میدهد.
همان‌طور که می‌دانید، هوش مصنوعی شبیه‌سازی از هوش انسان است. بنابراین، برای دستیابی به رویکردی جدید و بهینه‌سازی عملکرد مدلها، می‌توان از فرآیند یادگیری و تصمیم‌گیری مغز انسان الگو گرفت.
مغز ما قادر است با داده‌های جدید سازگار شود و مسیرهای عصبی تازه‌ای برای آنها بسازد. در واقع، مغز با تکیه بر انعطاف‌پذیری شناختی و عصبی خود، می‌تواند دانش جدید را بدون حذف دانش‌های قبلی یاد بگیرد و در عمل آنها را به کار گیرد.
بدون این توانایی، هوش مصنوعی به «زمینه فوری» (مانند فراموشی پیش‌رونده) محدود می‌شود که در حال حاضر LLMها با آن دست و پنجه نرم می‌کنند. این بدان معناست که دانش آنها به دو چیز محدود می‌شود:
- زمینه فوری پنجره ورودی.
- اطلاعات ایستا که در طول فرآیند پیش‌آموزش یاد گرفته‌اند.
برای توسعه‌دهندگان و مدیران محصول، درک این چالش‌ها حیاتی است. پلتفرم هوشی با ارائه ابزارهای پیشرفته و APIهای منعطف، به شما کمک میکند تا مدلهای هوش مصنوعی خود را با قابلیت‌های یادگیری و حافظه بهبود یافته توسعه دهید. همین امروز یک توکن API بسازید و تفاوت را تجربه کنید.
رویکرد گوگل به Hope: یادگیری تودرتو
گوگل در وب‌سایت رسمی Research خود به وضوح اعلام کرده که مدت‌هاست معماری مدل (ساختار شبکه) و الگوریتم بهینه‌سازی (قانون آموزش) را دو چیز جداگانه در نظر می‌گیرد. این غول فناوری معتقد است که این دو فناوری موجود، مانع دستیابی به یک سیستم یادگیری یکپارچه و کارآمد می‌شوند.
این نگرش متفاوت گوگل، منجر به تحقیق و ایجاد روش جدیدی شد که در مقاله‌ای با عنوان “Nested Learning: The Illusion of Deep Learning Architectures” مورد بحث قرار گرفت و در کنفرانس سالانه NeurIPS 2025 ارائه شد.
گوگل می‌گوید که Nested Learning یا «یادگیری تودرتو» به مدل کمک میکند تا ورودی را یک سیستم چندوجهی ببیند؛ یعنی ورودی یک فرآیند پیوسته و دنباله‌دار نیست، بلکه سیستمی متشکل از ده‌ها مسئله چند سطحی و به‌هم پیوسته است که مدل به‌طور همزمان روی آنها کار میکند.
استدلال گوگل این است که معماری مدل و قوانین مورد استفاده برای آموزش آن (یعنی الگوریتم بهینه‌سازی) اساساً مفاهیم یکسانی هستند. از نظر این کمپانی ابرقدرت، الگوریتم‌های بهینه‌سازی فقط سطوح مختلف بهینه‌سازی هستند که هر کدام جریان داخلی اطلاعات و نرخ به‌روزرسانی خاص خود را دارند.
گوگل توانسته با تشخیص این ساختار ذاتی، یادگیری تودرتو را بسازد تا بُعد جدیدی به فرآیند طراحی هوش مصنوعی اضافه کند. با این رویکرد، متخصصان هوش مصنوعی می‌توانند اجزای یادگیری ماشین را با عمق بیشتر در محاسبات آموزش دهند.
این کمپانی پیش‌رو در تحقیقات هوش مصنوعی، رویکرد Nested Learning خود را از طریق یک معماری خود-اصلاح‌گر اثبات مفهوم آزمایش و اعتبارسنجی میکند. نام این رویکرد “Hope” یا «امید» و مخفف “Hierarchical Optimizing Processing Ensemble” است.
طبق اظهار گوگل، معماری Hope در مدل‌سازی به بالاترین سطح عملکرد می‌رسد و مدیریت حافظه بلندمدت در آن نسبت به مدلهای پیشرفته موجود بهتر است.
چرا مدلهای LLM دانش قبلی خود را فراموش می‌کنند؟
اجازه دهید با یک مثال ساده، نحوه فراموشی دانش قبلی در مدلهای LLM فعلی را توضیح دهیم. سپس دلایل این چالش را بررسی می‌کنیم تا نحوه حل مسئله توسط Hope را بهتر درک کنیم.
فرض کنید به‌تازگی یک مهارت جدید را به فردی آموزش می‌دهید. در این فرآیند، یادگیرنده تمام چیزهایی که قبلاً یاد گرفته بود را کاملاً فراموش میکند. یعنی دانش جدید باعث پاک شدن دانش قبلی در حافظه او می‌شود. این مشکل همان فراموشی فاجعهبار در مدلهای LLM و سایر سیستم‌های هوش مصنوعی است.
- یادگیری متوالی: فرآیند یادگیری دانش در مدلهای هوش مصنوعی به‌شکل گام‌به‌گام (متوالی) است. بنابراین وقتی مدل چیز جدیدی یاد می‌گیرد، تنظیمات داخلی – که به آنها وزن می‌گوییم – خود را برای تطبیق با اطلاعات جدید تغییر میدهد. این موضوع یک مشکل بزرگ ایجاد میکند: تغییر تنظیمات برای تطبیق با دانش جدید، تنظیمات قبلی را مختل میکند و باعث می‌شود مدل داده‌های قدیمی را فراموش کند.
- نحوه به‌خاطر سپردن داده‌های غیرایستا: در بسیاری از سناریوهای دنیای واقعی، توزیع داده‌ها با گذشت زمان تغییر میکند. وقتی یک مدل با توزیع جدیدی از داده‌ها مواجه می‌شود، معمولاً یادگیری توزیع جدید را در اولویت قرار میدهد. این اولویت‌گذاری باعث فراموشی توزیع قبلی می‌شود.
- بازنویسی حافظه: مجموعه دانش یک هوش مصنوعی در تنظیمات داخلی آن و با نام «وزن» یا “Weight” ذخیره می‌شود. وقتی داده‌های جدید وارد دیتابیس می‌شوند، مدل LLM وزن‌های قدیمی را بازنویسی میکند تا خطاها در کار جدید را به‌حداقل برساند. این کار درست مثل ضبط یک ویدیوی جدید روی ویدیوی قدیمی و مهم است.
- فقدان سیستم حافظه: برخلاف مغز انسان که روش‌های پیچیده و لایه‌بندی‌شده برای ذخیره و بازیابی انواع مختلف خاطرات دارد، مدلهای استاندارد هوش مصنوعی به چنین سیستم‌هایی مجهز نیستند.
- عدم وجود فضای کافی برای نگهداری تمام اطلاعات: اگر ظرفیت شبکه مدل کم باشد یا ساختار آن برای مدیریت همزمان چندین کار تنظیم نشده باشد، نمی‌توان هم اطلاعات قدیمی و هم دانش جدید را ذخیره کرد. محدودیت فعلی LLMها مثل این است که بخواهید تعداد زیادی کتاب بزرگ را در یک قفسه کوچک جا بدهید. مسلماً نمی‌توانید همه کتاب‌ها را در همین قفسه جا بدهید و باید چندتای آنها را به کتاب‌خانه دیگری ببرید.
- سوگیری نسبت به داده‌های اخیر: شبکه‌های عصبی ذاتاً مایلند به جدیدترین داده‌هایی که بر اساس آنها آموزش دیده‌اند، اهمیت بیشتری بدهند. این سوگیری نسبت به داده‌های اخیر باعث می‌شود که شبکه، دانش قدیمی‌تر را بازنویسی کند؛ به‌خصوص اگر داده‌های جدید تفاوت قابل توجهی با داده‌های قدیمی‌تر داشته باشند.
چگونه رویکرد Hope مشکل فراموشی فاجعهبار را حل میکند؟
سیستم Hope تقلیدی هوشمندانه از نوروپلاستیسیته در مغز انسان است. این اصطلاح در علوم نوروساینس رایج است و به انعطاف‌پذیری مغز و ایجاد مسیرهای عصبی و رشدیافته جدید اشاره میکند.
با الهام‌گرفتن از این انعطاف‌پذیری، گوگل رویکرد یادگیری تودرتو در معماری Hope را معرفی کرد که در آن، کل مدل هوش مصنوعی یک سلسله مراتب از ماژول‌های یادگیری به‌هم پیوسته است. این سلسله مراتب در مقیاس زمانی یا فرکانس منحصربه‌فرد خودش عمل کرده و به‌روزرسانی می‌شود. در ادامه این بخش، جزئیات این رویکرد را به‌طور مفصل توضیح می‌دهیم.
به‌روزرسانی در چند بازه زمانی
Nested Learning معماری مدل (لایه‌های شبکه) و الگوریتم بهینه‌سازی آن (قوانین آموزشی) را در یک سیستم واحد و منسجم از مسائل بهینه‌سازی تودرتو متحد میکند. سپس در ساختار سلسله مراتبی، مدل از نظر مفهومی به سطوح یا اجزای مختلفی تقسیم می‌شود که روی هم انباشته شده و در عین حال به یکدیگر وصل هستند. به هر سطح از این ساختار لایه‌ای، یک نرخ فرکانس به‌روزرسانی متمایز اختصاص داده می‌شود.
- لایه‌های سریع و داخلی: ماژول‌های سطحی بهصورت مکرر به‌روز می‌شوند. مثلاً هر چند مرحله یک‌بار یا برای هر داده ورودی جدید، این به‌روزرسانی انجام می‌شود. این ماژول‌های داخلی مسئول حافظه کوتاه‌مدت و سازگاری سریع هستند. نمونه آن در دنیای واقعی و تعاملات انسانی، همان یادگیری سبک مکالمه در یک جلسه کاری است که ما خیلی سریع خودمان را با آن تطبیق می‌دهیم.
- لایه‌های کند و بیرونی: این ماژول‌ها خیلی کمتر از ماژول‌های سطحی به‌روز می‌شوند و هر چند هزار مرحله، یک‌بار به‌روزرسانی صورت می‌گیرد. این ماژول‌ها مسئول حافظه بلندمدت هستند و فقط پایدارترین، ماندگارترین و بنیادی‌ترین دانش را ذخیره می‌کنند؛ مثل قوانین دستور زبان یا مفاهیم اصلی یک حوزه تخصصی.
جلوگیری از فراموشی
حالا مدل می‌تواند سرعت‌های یادگیری را جدا کند. پس به‌روزرسانی‌های سریع و ضروری را برای یادگیری یک کار جدید، به ماژول‌های سطحی واگذار میکند. این توزیع از تداخل یا بازنویسی وزن‌های پایدار در لایه‌های کند جلوگیری میکند؛ لایه‌هایی که مسئول مهارت‌های بنیادی مدل هستند.
سیستم حافظه پیوسته (CMS)
Hope به‌جای تقسیم ساده بین حافظه کوتاه‌مدت (توجه) و بلندمدت (پیش‌خور)، طیفی از ماژول‌های حافظه به نام “Continuum Memory System” یا “CMS” را در خود جا داده است. این سیستم چندین بلوک پیش‌خور را به یکدیگر وصل میکند که هرکدام با فرکانس به‌روزرسانی خاص و متفاوت خود پیکربندی شده‌اند. CMS سیستم حافظه‌ای غنی‌تر و مؤثرتری برای مدلهای LLM است که می‌تواند اطلاعات را در بازه‌های زمانی مختلف مدیریت کند.
معماری خود-اصلاح‌کننده
این معماری، یک ساختار بهینه‌سازی آموخته‌شده است. در واقع، مدلی که با هوش مصنوعی Hope ساخته می‌شود، به یک معماری بازگشتی مجهز است و می‌تواند یاد بگیرد چگونه حافظه خود را به‌روزرسانی کند. بنابراین مدل فقط به یک قانون بهینه‌سازی خارجی ثابت مثل Adam یا SGD متکی نیست؛ بلکه قوانین به‌روزرسانی بهینه خود را در لحظه یاد می‌گیرد. این فرآیند خودارجاعی، توانایی بالقوه و نسبتاً نامحدودی را برای یادگیری درون‌زمینه‌ای امکان‌پذیر میکند.
ادعاهای گوگل درباره عملکرد بهینه Hope
مجدداً برمی‌گردیم به صفحه رسمی Google Research و این‌بار گفته‌های گوگل درباره اثربخشی این رویکرد را بیان می‌کنیم.
گوگل نتایج به‌دست‌آمده در وظایف مدل‌سازی زبان عمومی و استدلال را با سه معماری Hope، مدلهای بازگشتی مدرن و ترانسفورماتورهای استاندارد مقایسه کرده و می‌گوید که هوش مصنوعی Hope پیچیدگی کمتر و دقت بالاتری داشته است.
همچنین در تست Needle-In-Haystack با ابزار هوش مصنوعی Hope، این رویکرد توانست عملکرد بهینه‌تری نسبت به معماری‌های Titan، TTT و Mamba2 از خود نشان دهد.
همان‌طور که در تصاویر منتشر شده توسط گوگل مشاهده می‌شود، هوش مصنوعی Hope حافظه را بهتر از سایر معماری‌ها در وظایف مختلف با زمینه طولانی مدیریت کرد. این نتیجه ثابت میکند که CMSها روشی کارآمدتر و مؤثرتر برای مدیریت توالی‌های طولانی اطلاعات هستند.
تست NIAH، میزان توانایی یک LLM را در شناسایی دقیق اطلاعات یک پنجره متنی می‌سنجد. در این تست، یک عبارت تصادفی (معروف به “Needle”) در یک متن طولانی (“Haystack”) جا داده می‌شود و مدل را وادار می‌کنند که عبارت را بازیابی کند.
نتیجه‌گیری: آیا Hope ما را به AGI می‌رساند؟
برخی متخصصان معتقدند که ساختن هوش مصنوعی Hope و معماری MoE، ما را به AGI بسیار نزدیک میکند؛ اما برخی دیگر از کارشناسان و رهبران هوش مصنوعی می‌گویند که همچنان محدودیت‌های سخت‌افزاری و منابع محاسباتی، مشکلات بزرگ‌تری در مسیر رسیدن به AGI هستند که با این رویکرد هم حل نمی‌شود.
با تمام این اوصاف، حالا می‌دانیم که گوگل با آزمایشگاه هوش مصنوعی و واحد DeepMind خود، تلاش دارد مدال طلای پیش‌روی در هوش مصنوعی را در دست بگیرد و روی سکوی اول بایستد. در حال حاضر هم توانسته با مدالش روی این سکو بماند. اما چه کسی می‌داند مسیر AGI با چه فرازونشیب‌ها و احتمالاً چالش‌های عمدی مواجه می‌شود؟ شاید رویکرد Hope هم نتواند موانع را بردارد و همچنان نزدیک به یک دهه با AGI فاصله داشته باشیم.
برای توسعه‌دهندگانی که به دنبال پیشرفت در هوش مصنوعی هستند، پلتفرم هوشی ابزارهای لازم را فراهم میکند تا بتوانید ایجنت‌های کدنویسی خود را توسعه داده و مدلهای هوش مصنوعی با قابلیت‌های پیشرفته را پیاده‌سازی کنید. برای شروع کار با هوشی اینجا کلیک کنید.
سوالات متداول درباره هوش مصنوعی Hope
۱. هوش مصنوعی Hope چیست؟ ابزار هوش مصنوعی Hope به مدلها اجازه میدهد که بهصورت مداوم – احتمالاً مادامالعمر – دانش جدید را یاد بگیرند؛ بدون اینکه دانش قبلی را فراموش کنند. این رویکرد توسط گوگل معرفی شده است. ۲. ابزار هوش مصنوعی Hope چه مشکلی را در هوش مصنوعی حل میکند؟ هوش مصنوعی Hope یک رویکرد جدید و معرفیشده توسط گوگل است که مشکل فراموش شدن دانش قبلی (فراموشی فاجعهبار) را در مدلهای LLM حل میکند و به آنها امکان یادگیری پیوسته را میدهد. ۳. آیا Hope همان AGI است؟ خیر. AGI توانایی هوش مصنوعی در حل مسائل و استدلال، نزدیک به توانایی مغز انسان است؛ در حالی که Hope یک رویکرد ساخته‌شده توسط گوگل است که مشکل فراموشی دانش در مدلهای کنونی را برطرف میکند و به عنوان گامی مهم در مسیر AGI تلقی می‌شود.چرا هوشی؟
در دنیای پرشتاب هوش مصنوعی، دسترسی به ابزارهای قدرتمند و انعطاف‌پذیر برای توسعه‌دهندگان و شرکت‌ها حیاتی است. هوشی با ارائه APIهای پیشرفته، ایجنت‌های کدنویسی هوشمند و یک پلتفرم یکپارچه، به شما کمک میکند تا نوآوری‌های خود را در حوزه هوش مصنوعی به واقعیت تبدیل کنید. با هوشی، می‌توانید مدلهای خود را آموزش دهید، آنها را مقیاس‌پذیر کنید و از قابلیت‌های پیشرفته یادگیری ماشین بهره‌مند شوید. شفافیت در بیلینگ و پشتیبانی قوی، تجربه کاربری بی‌نظیری را برای شما به ارمغان می‌آورد. به جمع کاربران هوشی بپیوندید و آینده هوش مصنوعی را بسازید.