OpenAI در مقاله‌ای به نام «مدل‌های زبانی فراگیرانی سریع هستند»، GPT-3 را به عنوان بزرگ‌ترین مدل زبان که تا کنون ساخته شده است معرفی کرد. در این مقاله‌ی ۷۳ صفحه‌ای، نشان می‌دهد که چطور GPT-3 ترند‌های جدید پیشرفت‌های هنرمندانه در مدل‌سازی زبان‌ها را دنبال می‌کند. به طور گسترده، در بنچمارک‌های پردازش زبان طبیعی، GPT-3 به نتایج امیدوار‌کننده و قابل رقابت می‌رسد.
ربات تولید متن چیست؟
GPT-3 افزایش کارایی تولید متن را هدف گیری کرده است. و دنباله‌رو افزایش عظیم در مدل و اندازه اطلاعات است. ربات تولید متن جدیدترین پیشرفت‌های NLP را توصیف می‌کند. پیام اصلی این بیانیه بیش‌تر از این که در مورد کارایی این مدل در بنچمارک‌ها باشد، حل مسائل پیچیده NLP است. یعنی تولید متن قادر است تا وظایفی در NLP که تاکنون با آنها روبه‌رو نشده است را بعد از یک بار دیدن و یا تعداد کمی مثال حل کند. و البته مدل‌های ترنسفورمر، برای دستورات جدید باید با حجم عظیمی از اطلاعات تمرین داده شوند.
در گذشته، OpenAI نسخه دوم GPT را توسعه داد که قادر بود متونی طولانی و منسجم تولید کند. (که تمایز آن با نوشته‌ی انسان‌ها سخت بود). شرکت OpenAI بیان می‌کند که از مدل و ساختار GPT-2 در محصول جدید خود بهره برده است. ولی تولید متن تفاوتی که دارد این است که اندازه شبکه و اطلاعاتی که با آن آموزش داده می‌شود بسیار بزرگ‌تر از نسخه‌ها قبلی خود بوده است. GPT-3 در مقایسه با GPT-2 که ۱.۵ میلیارد مولفه داشته، ۱۷۵ میلیارد مولفه دارد. و برخلاف GPT-2 که بر روی ۴۰ میلیارد گیگابایت متن بوده، تولید متن بر روی ۵۷۰ میلیارد گیگابایت متن تمرین داده شده است. با این حال افزایش این مقیاس، بدعت جدیدی نیست. چیزی که GPT-3 را مهم کرده یادگیری با گزینه‌های اندک (few-shot learning) است.
فیدبک‌های تولید متن
رسانه‌ها، متخصصان این زمنیه و انجمن‌های تکنولوژی، نظرات متفاوتی پیرامون توانایی‌ها و پتانسل‌های تولید متن و پیاده‌سازی آن در مقیاس‌های بزرگ‌تر دارند. مانند خوش‌بینی به بهره‌وری بیش‌تر انسان‌ها در آینده و ترس از دست‌دادن شغل‌ها و همین‌طور بررسی‌های دقیق توانایی‌ها و محدودیت‌های GPT-3.
فیدبک رسانه‌های در مورد OpenAI چیست؟
پوشش این مسئله توسط رسانه‌ها از زمانی که نسخه‌های دمو GPT-3منتشر شدند افزایش یافت:
- بازخورد موسسه تکنولوژی MIT درباره GPT-3، همراه با ارائه‌ی منابع مختلفی نشان داد که چگونه می‌تواند متونی شبیه انسان‌ها خلق کند. از تولید کد‌های react گرفته تا سرودن شعر. این موسسه در مورد تولید متن نکته مهمی را اشاره کرده است. «این فناوری می‌تواند نوشته‌های شبیه انسان بسازد اما نمی‌تواند ما را به هوش واقعی نزدیک‌تر کند.»
- موسسه Verge بر روی پتانسیل‌های تبلغاتی نرم‌افزار‌های GPT-3 تمرکز کرد.
- در پی بحث‌های پیرامون این موضوع، منابع خبری مانند Forbes و Venturebeat مشکلاتی مانند مدل Bias و Hype را بررسی کردند.
- اضافه بر ذکر کردن عیوب آن، Wired بیان کرد که GPT-3 می‌تواند نسخه‌ی جدیدتر و خطرناک‌تری از تکنولوژی Deepfake را به ما معرفی کند. ربات تولید متن باعث می‌شود رسانه‌ای دستکاری نشده برای مقایسه با نمونه‌های دستکاری شده در دسترس نباشد. متون مصنوعی معمولاً به راحتی در حجم زیاد می‌توانند منتشر شوند و به راحتی نمی‌توان آنها را شناخت.
- روزنامه نیویورک‌تایمز نیز مطلبی با تیتر «نسل جدید هوش مصنوعی بسیار جالب و کمی ترسناک است» منتشر کرد. در مورد اینکه GPT-3 جایگزین نویسنده‌ها خواهد شد و این جای نگرانی دارد.
- در آخر جان ناتن، پروفسور «فراگیری عمومی فناوری» ربات GPT-3 را فقط به عنوان پیشرفتی افزون‌بر پیشینیان این تکنولوژی می‌بیند. نه این که کشف جدید و مهمی باشد. ناتن این هشدار را می‌دهد که اگر این پیشرفت‌ها به خاطر ارائه‌ی هر چه بیش‌تر داده‌ها باشد، هزینه‌های جانبی آن در آینده بسیار هنگفت خواهد شد.
بازخورد متخصصان هوش مصنوعی در مورد تولید متن چیست؟
- سردبیر بخش تحقیقات هوش مصنوعی NVIDIA و پروفسور علوم ریاضی و حساب در Caltech، انیما آنندکوماد، از OpenAI انتقاد کرد. که چرا به Bias به اندازه کافی توجه نکرده است. با توجه به این که GPT-2 نیز مشکلاتی شبیه به این مدل جدید داشت. به دلیل این که منابع اطلاعاتی مدیریت‌نشده‌ای مانند Reddit در این تکنولوژی استفاده شده و برای نوشتن متن از انسان‌ها تاثیر گرفته است.
- مدیر هوش‌مصنوعی فیسبوک، نیز نظرات مشابهی داشت. GPT-3 خلاقانه و جالب است ولی برای از جنبه‌های حقوق بشری می‌تواند مضر باشد. وقتی از تولید متن می‌خواهیم با کلماتی مانند یهودیان، سیاه، زنان و هولوکاست توییت بزند، به نتایج زننده‌ای ممکن است دست پیدا کنیم. ما به پیشرفت‌های بیش‌تری در مورد «هوش مصنوعی مسئولیت‌پذیر یا ResponsiveAI» قبل از این که آن را در دسترس عموم قرار بدهیم نیاز داریم.
- دلیپ رائو، محقق یادگیری ماشین، در مورد همه‌ی این مباحث پاسخ داده است. او می گوید GPT-3 و نسخه‌های یادگیری با داده‌های کم یا few-shot learning از مرحله‌ی تحقیقاتی به مرحله‌ی عملیاتی و کاربردی رسیده اند. ولی هرگونه جهش تکنولوژی از حجم زیادی صحبت‌ها و بحث‌های درون شبکه‌های اجتماعی می‌آید. که می‌توانند تفکر ما در مورد توانایی‌های واقعی این فناوری‌ها را مخدوش کنند.
- جولیان توگلیوس، یک پروفسور هوش مصنوعی، نیز در مورد این موضوع مطلبی جالب ارائه کرده است. «الگوریتم‌ها برای جست‌وجو، بهینه‌سازی و یادگیری روزی دغدغه‌هایی برای ما داشتند. مثلا چگونه بشریت در حال سقوط و جایگزینی آن با ماشین‌ها است! اما دیگر امروزه این الگوریتم‌ها نرم‌افزار‌ها و محصولات ما را مدیریت می‌کنند. همچنین بهره‌وری آنها را افزایش می‌دهند. بازی‌ها و اپلیکشین‌های گوشی و ماشین‌ها نیز از این مسئله مستثنی نیستند. الان که این تکنولوژی به طرز قابل اعتمادی کار می‌کند دیگر نمی‌توان اسمش را هوش مصنوعی گذاشت. بلکه این مسائل کمی خسته‌کننده شده‌اند!»
بازخورد صنایع لبه تکنولوژی و علم دنیا در مورد GPT-3 چیست؟
مفسران از صنایع تکنولوژی برخورد‌های متفاوتی داشتند و تعدادی نیز مفاهیم برنامه‌نویسی هوش مصنوعی را توضیح دادند.
- مکس ولف، دانشمند داده در بازفید، اهمیت این که انتظارات ما در سنجش GPT-3 چه تاثیری دارد را گوشزد کرد. چون معمولاً مسائلی که به عنوان هوش گزارش می‌شوند از بهترین نمونه‌ها انتخاب می‌شوند. با اینکه، متن به دست آمده توسط GPT-3 از مدل‌های زبانی دیگر بهترند، اما مشکلاتی در تولید متون اختصاصی دارد. زیرا GPT-3 مدلی بسیار کند، بزرگ و نیازمند یادگیری با داده‌های زیاد است. از اینرو، تنظیم آن برای کارکردن با اطلاعات اختصاصی می‌تواند ممکن نباشد.
- کوین لکر، از مهندسان گوگل اعلام کرده است که GPT-3 می‌تواند پاسخ‌های دقیقی به بسیاری از سوالاتی که در مورد واقعیت‌های جهان از آن پرسیده می‌شود بدهد. این فناوری می‌تواند آنها را به راحتی از طریق مجموعه نوشته‌های تمرینی‌اش به دست آورد. بلاگری به نام گوون برانون نیز GPT-3 را با بسیاری از نمونه‌کارها و موضوعات سنجیده است.
- آقای برت گلدستین، مدیرسابق بخش محصولات گوگل، در پاسخ به اینکه GPT-3 چگونه می‌تواند بر اساس مشخصات داده شده به آن توسط انسان، کد نویسی کند؟ پاسخ جالبی داده است. او می‌گوید: «بسیاری از شرکت‌ها تمایل به استفاده از GPT-3 را خواهند داشت. آنها مهندسان گران‌قیمت یادگیری ماشین را استخدام خواهند کرد تا از مدل‌های GPT-3 استفاده کنند.»
نظر مدیرعامل OpenAI چیست؟
مدیرعامل OpenAI، به حواشی این موضوعات این گونه پاسخ داده است. هرچند ما با این تکنولوژی به پیشرفت بسیاری زیادی در زمینه هوش مصنوعی رسیده‌ایم. ولی هنوز زمینه‌های زیادی در همین مبحث هوش‌مصنوعی وجود دارد که انسان هنوز به آنها دست نیافته است.
هیاهوی پیرامون GPT-3 بسیار زیاد بوده و این واقعا جالب است. ولی نقطه ضعف‌هایی دارد و گاهی هم باعث اشتباهاتی احمقانه می‌شود. هوش مصنوعی قرار است در آینده دنیا را تغییر دهد ولی GPT-3 فقط یک سرچشمه‌ی آن است. چیز‌های بسیاری برای یافتن هنوز باقیست.
به طور خلاصه، بسیاری از متخصصان مثال‌های جالبی در مورد مقایسه‌ی زبان طبیعی با GPT-3 زدند. رسانه‌ها و مجامع تکنولوژی هر دو پیشرفت OpenAI را تبریک گفته و در عین حال هشدارهایی هم داده اند. این هشدارها ممکن است این باعث آشفتگی‌های تکنولوژی عظیمی در آینده شود. به‌هرحال، مدیرعامل OpenAI با نظرات محققان و منتقدان این تکنولوژی همراهی می‌کند. او می‌داند که GPT-3 پیشرفت و جهش عظیمی را در زمینه هوش مصنوعی نشان می‌دهد، ولی نمی‌تواند واقعا زبان را درک کند.
محدودیت‌های OpenAI چیست؟
قابلیت‌های فراوان GPT-3 و توانایی انجام کار‌های مختلف و به خطر انداختن شغل‌های مرتبط، نشان‌‌دهنده‌ی نگرانی‌هایی پیرامون این مسئله است. با این که GPT-3 پیشرفت‌های مهمی در زمنیه‌ی مدل‌های زبانی از خود نشان می‌دهد ولی هوش واقعی ندارد و نمی‌تواند کاملاً جای کارکنان را بگیرد.
گذشته از همه‌ی این‌ها، مدل GPT-3 شبیه همه‌ی مدل‌های پیشین خود است و فقط پیشرفته‌تر شده است. با این که بزرگ‌تر کردن مقیاس تمرینی، نتایج عملکردی بسیار عالی داشت ولی GPT-3 محدودیت‌هایی که در ادامه ذکر خواهیم کرد را با خود دارد.
- نداشتن حافظه‌ی طولانی مدت (به گونه‌ای که الان GPT-3 کار می‌کند، نمی‌تواند چیزی را شبیه انسان‌ها بعد از فعل و انفعالات موفق یاد بگیرد.)
- محدودیت حجم ورودی (در مورد GPT-3، درخواست‌های بیش‌تر از چند جمله نمی‌توانند اجرا شوند.)
- فقط می‌تواند با متن کار کنند (پس نمی‌تواند با تصویر، صدا یا هر چیز دیگری که انسان به راحتی به آنها دسترسی دارد کار کند.)
- نبود اعتماد (GPT-3 در زمینه‌هایی مبهم است و برای همین هیچ گونه گارانتی برای این که متن اشتباه یا مشکل‌داری در پاسخ به بعضی سوالات تولید کند وجود ندارد.)
- ناتوان در تفسیر (وقتی GPT-3 با روش‌هایی تعجب‌آور کار می‌کند، ممکن است که تصحیح یا جلوگیری از چنین شرایطی را سخت یا حتی غیر ممکن بسازد.)
- استنتاج آهسته (مدل‌های فعلی GPT-3 به علت مقیاس بالای تصمیم‌گیری‌های صورت گرفته، گران و نامناسب هستند.)
تاثیر تولید متن بر مشاغل آینده چیست؟
با این که یک فناوری‌های شبیه GPT-3 می‌تواند طبیعت همه‌ی شغل‌ها را در آینده تغییر دهد ولی لزوما به این معنی نیست که آن شغل‌ها ناپدید خواهند شد. همان‌طور که پذیرفتن تکنولوژی‌های جدید معمولاً یک فرایند طولانی مدت است، بسیاری از فناوری‌های هوش مصنوعی به‌جای جایگزینی شغل انسان، به انسان‌ها یاری رسانی خواهند کرد. البته مورد دوم بسیار محتمل‌تر خواهد بود زیرا مدل‌های هوش مصنوعی نیاز به نظارت انسان‌ها دارند تا از نواقص احتمالی در امان باشند. با نگاه کردن به مثال توسعه‌ی وب، کسی که در مورد نکات تکنیکی اطلاعات و تخصص دارد برای کد نویسی و تصحیح کردن کد GPT-3 باید وارد عمل شود.
منبع – احمدرضا کرمی – فنولوژی
