انسان‌ها گونه اي هستند كه مي‌توانند خود را با چالش‌هاي محيطي وفق دهند، و در طول سال‌ها اين ما را قادر به تكامل بيولوژيكي كرده است - يك ويژگي اساسي كه در حيوانات يافت مي‌شود اما در هوش مصنوعي تربيت كودك وجود ندارد. اگرچه يادگيري ماشين در بازي هاي پيچيده‌اي مانند Go و Dota 2 پيشرفت چشمگيري داشته است، مهارت‌هاي تسلط بر اين عرصه‌ها لزوماً به كاربردهاي عملي در سناريوهاي دنياي واقعي تعميم نمي‌يابند. هدف تعداد فزاينده‌اي از محققين ساختن هوش ماشيني است كه بيشتر شبيه انسان‌ها رفتار مي‌كند، ياد مي‌گيرد و تكامل مي‌يابد. مقاله ايي جديد من باب تربيت اصولي مقاله جديدي از OpenAI مستقر در سانفرانسيسكو پيشنهاد پكيج آموزش تربيت كودك مي‌كند كه آموزش مدل‌ها در بازي پنهان كردن كودكان و قرار دادن آنها در مقابل يكديگر در ده‌ها ميليون مسابقه، منجر به اين مي‌شود كه مدل‌ها به طور خودكار رفتارهاي انسان‌مانندي را ايجاد كنند كه هوش آنها را افزايش مي‌دهد و پس از آن بهبود مي‌يابد. كارايي. پنهان كاري كودكان چرا پنهان كاري؟ بوئن بيكر، محقق OpenAI، اولين نويسنده مقاله ميگويد كه پنهان كاري به عنوان يك نقطه شروع سرگرم كننده بيشتر به دليل قوانين ساده آن انتخاب شد. قوانين بازي: همه عوامل به عنوان اشياء كروي شبيه سازي شده اند كه مي توانند سه نوع عمل انجام دهند: پيمايش. چنگ زدن و حركت دادن اشيا؛ و اشياء را قفل كنيد كه فقط توسط هم تيمي هاي آن عامل باز مي شود. دلايل پنهان كاري كودكان محققان يك تا سه «پنهان‌گر» و يك تا سه «جستجو» را در محيط‌هاي شبيه‌سازي‌شده و زمين‌بندي‌شده فيزيكي با اتاق‌هايي كه با ديوارهاي ساكن مرزبندي شده بودند، قرار دادند. محيط ها همچنين شامل جعبه هاي متحرك با اندازه هاي مختلف و رمپ هاي متحرك بودند. محققان از يادگيري تقويتي براي آموزش عواملي استفاده كردند كه سيگنال پاداش آنها - مكانيسم تشويقي براي تحريك عوامل براي دستيابي به اهدافشان - از قوانين ساده پنهانكاري پيروي مي كرد: پنهان كاران وقتي از ديد جويندگان پنهان مي مانند، پاداش دريافت مي كنند و جويندگان پاداش دريافت مي كنند. وقتي مخفي گاه ها را پيدا مي كنند. چگونه هوش مصنوعي مخفي كاري مي كند در طول فرايند آموزش، عوامل هوش مصنوعي در چندين مرحله از استراتژي ها تكامل يافتند. در آغاز پنهان كاران (آبي) فقط فرار از جويندگان (قرمز) را آموختند. با پيشرفت گيم پلي، پنهان كنندگان شروع به استفاده از ابزارهايي به نفع خود كردند، به عنوان مثال، جعبه ها را براي مسدود كردن درها حركت دادند تا جويندگان نتوانند وارد اتاق آنها شوند. سپس جويندگان استراتژي هاي مقابله اي مربوطه را توسعه دادند، به عنوان مثال از رمپ ها براي بالا رفتن از ديوارها استفاده كردند. در پاسخ، مخفي كاران ياد گرفتند كه سطح شيب دار را به داخل اتاق خود ببرند تا جويندگان نتوانند از آن براي عبور از ديوارها استفاده كنند. با پيچيده‌تر شدن محيط‌ها، پنهان‌كاران ياد گرفتند كه با استفاده از جعبه‌هاي دراز «قلعه‌هاي» مستحكم‌تري بسازند. اگرچه OpenAI بر اين باور بود كه اين استراتژي نهايي خواهد بود، اما جويندگان بار ديگر با موفقيت مقابله كردند - راهي را براي پريدن روي جعبه و استفاده از حركت براي «موج‌سواري» در بالاي آن، از روي ديوار و داخل قلعه پنهان‌سازان پيدا كردند. در مرحله آخر، پنهان‌كاران ياد گرفتند كه با قفل كردن تمام جعبه‌ها قبل از ساختن قلعه خود، در برابر «موج‌سواري باكس» دفاع كنند. محققان از تكامل اين استراتژي‌هاي مختلف به عنوان «پيشرفت مهارت‌هاي نوظهور از برنامه‌هاي آموزشي چند عاملي» ياد مي‌كنند. اصطلاح "خودكار آموزشي" امسال توسط DeepMind ابداع شد و براي چندين عامل به كار مي رود كه به تدريج وظايف جديدي را براي به چالش كشيدن يكديگر در يك محيط خاص ايجاد مي كنند. محققان OpenAI بر اين باورند كه اين فرآيند مشابهاتي در انتخاب طبيعي دارد. "چرا ما واقعاً در مورد اين موضوع هيجان زده هستيم اين است كه به نوعي پويايي هاي مشابهي را مي بينيم كه روي زمين با تكامل ديده ايم. بنابراين شما همه اين نوع موجودات را روي زمين داريد كه در حال رقابت و تكامل با هم بودند. و در نهايت از آن انسان هايي به دست آمد كه به نوعي AGI جهان طبيعي هستند. چرا اين تحقيق اهميت دارد: با توجه به هدف نسبتاً ساده پنهانكاري، چندين عامل آموزش ديده از طريق خودبازي رقابتي ياد گرفتند كه از ابزارها استفاده كنند و مهارت هاي مربوط به انسان را براي پيروزي به كار گرفتند. OpenAI معتقد است كه اين يك جهت تحقيقاتي اميدواركننده براي توسعه و استقرار عامل هوشمند آينده است. OpenAI به منظور تشويق تحقيقات بيشتر در اين زمينه، كدها و محيط هاي خود را منبع باز مي كند. يكي از نويسندگان مقاله، محقق OpenAI، يي وو، به Synced گفت: «جامعه دانشگاهي واقعاً به محيط‌ها و مشكلات خوب و جالب براي مطالعه نياز دارد. اين محيط كمي پيچيده‌تر از دنياي ذرات دو بعدي است و مانند StarCraft فوق‌العاده پيچيده نيست. چرا OpenAI علاقه مند است هدف نهايي OpenAI ايجاد يك هوش عمومي مصنوعي (AGI) است كه قادر به انجام بسياري از وظايف در يك سيستم عمومي است. در حالي كه ممكن است مسيرهاي متفاوتي براي رسيدن به اين هدف وجود داشته باشد، OpenAI در حال دو برابر كردن تحقيقات يادگيري تقويتي است كه توسط قدرت محاسباتي عظيم فعال مي شود. OpenAI اخيرا يك قرارداد محاسباتي 10 ساله با مايكروسافت به ارزش يك ميليارد دلار امضا كرده است. تحقيقات تربيتي اين تحقيق پنهانكاري OpenAI را نيز هيجان‌زده مي‌كند زيرا با افزايش پيچيدگي محيط، عوامل به طور مداوم با استراتژي‌هاي جديد خود را با چالش‌هاي جديد سازگار مي‌كنند. بيكر ميگويد: «اگر فرآيندي مانند اين بتواند بزرگ‌تر شود و در محيط بسيار پيچيده‌تري قرار گيرد، ممكن است عواملي به‌قدري پيچيده‌تر دريافت كنيد كه بتوانند وظايف واقعي را براي ما حل كنند. الگوريتم تربيت و پرورش كودك الگوريتم اصلي: عوامل هستند تربيت كودكان از دو شبكه تشكيل شده است: يك شبكه سياست براي توليد توزيع كنش و يك شبكه انتقادي براي پيش بيني بازده هاي مربوطه در آينده. محققان OpenAI از Proximal Policy Optimization (PPO)، تكنيكي كه در آموزش برنامه هاي كامپيوتري Dota2 استفاده كرده اند، براي بهينه سازي خط مشي استفاده كردند. معماري در زير نشان داده شده است. آموزش كودك براي بازي كامپيوتري عوامل هوش مصنوعي ميليون ها بار به طور موازي آموزش ديده اند. آموزش به سمت مرحله نهايي (دفاع موج سواري) در پيچيده ترين محيط سه تا چهار روز بر روي 16 GPU و 4000 CPU طول كشيد. نتايج آزمايش در مقايسه با الگوريتم‌هاي قبلي تربيت كودكان مانند انگيزه دروني، سياست پنهانكاري بسيار بيشتر قابل تفسير توسط انسان است. محققان همچنين روش پنهان و جستجوي چند عاملي را در شمارش اشيا، قفل و بازگشت، قفل متوالي، ساخت طرح اوليه و وظايف هوشمندي ساخت سرپناه ارزيابي كردند. عوامل در سه كار از پنج كار بهتر از مدل هاي پايه عمل كردند. چالش هاي تربيت كودك بيكر به Synced گفت كه عوامل تربيت كودكان گاهي اوقات رفتارهاي شگفت انگيزي از خود نشان مي دهند. براي مثال، مخفي كنندگان سعي كردند به طور كلي از منطقه بازي فرار كنند تا زماني كه محققان براي آن جريمه اعمال كردند. چالش هاي ديگر را مي توان به اشكالات موجود در فيزيك تماس محيط شبيه سازي شده نسبت داد. براي مثال، مخفي‌كاران آموختند كه اگر يك سطح شيبدار را در گوشه‌ها به ديوارها فشار دهند، به دلايلي سطح شيبدار از ديوارها عبور مي‌كند و سپس ناپديد مي‌شود. چنين «تقلب‌هايي» نشان مي‌دهد كه چگونه ايمني الگوريتم‌ها مي‌تواند نقش مهمي در يادگيري ماشين بازي كند. قبل از اينكه اين اتفاق بيفتد، هرگز نمي دانيد. اين نوع سيستم ها هميشه ايراداتي دارند. آنچه ما انجام داديم اساساً مشاهده و تجسم سياست است تا بتوانيم اين اتفاق عجيب را ببينيم. وو ميگويد سپس سعي مي‌كنيم فيزيك را درست كنيم. منبع:
دوشنبه ۲۴ آبان ۰۰ ۱۷:۰۸ ۴۰ بازديد
تا كنون نظري ثبت نشده است