DotA 2 | Разработчики OpenAI ответили на вопросы пользователей в AMA-сессии

Разработчики OpenAI ответили на вопросы пользователей в AMA-сессии

Разработчики OpenAI ответили на вопросы пользователей в AMA-сессии. Они рассказали, почему боты ставят несколько вардов в одном месте, поведали об адаптивных возможностях OpenAI Five, а также поделились планами на будущее.


• Какова логика ботов, когда они ставят 4 варда в одном месте или оставляют недобитого крипа в своем нейтральном лагере?
— У нас есть теория, что OpenAI Five ставят варды, чтобы сохранить слоты для более ценных предметов. Это поведение придумал и развил сам ИИ, поэтому мы можем только теоретизировать о том, почему Five решают, что применение нескольких вардов является наиболее нужным/оптимальным действием в данный момент.

Вообще вардинг до сих пор остается одной из загадок поведения OpenAI Five. Я уверен, что вардинг во время наших предыдущих тестов был намного лучше, чем сейчас. ¯\(ツ)/¯
 
Касательно нейтральных лагерей, пока неясно, понимают ли они правила блокировки/зачистки лагеря - и еще менее ясно, понимают ли они тайминги этих лагерей. Самый простой и напрашивающийся ответ заключается в том, что они еще не поняли эти концепции.

• Когда боты тренируются, есть ли преимущество Radiant над Dire? Для матчей людей присутствует значительный перевес процента побед Radiant: dotabuff

— Мы наблюдаем примерно +5% винрейта, когда Five играют за Radiant вместо Dire.

Мы также заметили, что поведение Five отличается в зависимости от игры за Radiant и Dire - например Dire отдают очень высокий приоритет разрушению внешней башни на safe-линии Radiant, также в зависимости от стороны сильно различается выбор линии для определенных героев, таким образом многие факторы влияют на итоговый винрейт. В целом, разница винрейта, вероятно, отличается от таковой у людей (например у ИИ нет проблемы с углом камеры), но некоторое сходство возможно. 

В среднем Radiant имеет 55-56% винрейта для случайных зеркальных матчей в нашем пуле из 17 героев.

 

•  Вы рассматривали вопрос о добавлении финальной версии Five в качестве замены для стандартных ботов в Dota 2?
— Нужно чтобы Valve попросили нас об этом :)
 
•  Есть ли возможность того, что OpenAI Five снова станет доступным для общественности в будущем? Я не смогу принять участие в тестировании в этот раз по причине отъезда, но очень хочу попробовать, я уверен, что сообществу понравится иметь дополнительный режим борьбы с ИИ в игре, чтобы практиковаться (и быть уничтоженным)
—  На данный момент у нас нет планов по сохранению публичного доступа к OpenAI Five, к сожалению.

Основная трудность здесь заключается в том, что при каждом игровом патче, понимание игры у OpenAI Five будет сильно ухудшаться.
 
•  По всей видимости после этих выходных часть OpenAI, посвященная Dota 2, подойдет к своему логическому завершению и будет завершена?  
— После этих выходных мы заморозим соревновательную часть нашего проекта - после победы над Интернациональный, International OG в пуле из 17 героев, нам больше нечего достигать, продвигаясь дальше в соревновательном направлении. Вместо этого мы сосредоточимся на исследованиях и использовании среды Dota 2 для тестирования сложных идей и изучения того, что мы можем узнать о совершенствовании самообучения и искусственном интеллекте. Теперь, когда у нас есть одна из самых сложных и глубоких сред ИИ, мы надеемся, что она откроет возможность изучать действительно важные вопросы об алгоритмах, исследованиях и структуре среды. Мы также надеемся, что наша работа позволит пролить свет на многие другие важные проблемы и вопросы современного мира и будущего.

•  Как мы можем быть уверены, что вы, ребята, не ИИ?
—  В этом не уверен даже я, часто проваливаю тесты "капча".
 
•  Насколько велика компьютерная модель ИИ по размеру на данный момент?
— В настоящее время модель имеет около 167 миллионов параметров

•  Сколько вычислительных мощностей требуется для запуска одного бота?
— 32 ядра CPU достаточно, чтобы запустить игру с OpenAI Five. Следует уточнить, что это 32 ядра Intel Skylake, которые в действительности являются гиперпоточными, поэтому реальное число ближе к 16 физическим ядрам для запуска как игры, так и бота.

•  Каков процесс принятия решения о выборе того или иного героя для обучения OpenAI Five?
— Когда мы только начинали, мы выбирали героев, которых, по нашему мнению, было легче всего изучить ИИ (герои дальнего боя, простые способности и т. д.). После того, как мы заметили некоторый прогресс, мы попытались немного сбалансировать пул, добавив героев ближнего боя и героев 4 позиции. Далее в нашем списке были более забавные/интересные герои, но они, к сожалению, не достигли того уровня игры, на котором они были бы столь же конкурентоспособны, как и герои из первоначального набора.


•  Можете ли вы сказать, сколько героев включает в себя этот расширенный пул?
— Первыми мы добавили Drow Ranger и Huskar, и после того, как они были почти на одном уровне с первоначальным набором героев, мы добавили Pugna, Pudge, Venomancer, Mirana и Windrunner, чтобы узнать, сможет ли ИИ изучить новые механики, которые не существовали в первоначальном пуле героев. Мы также тестировали пул из ~80 героев (исключая героев с призывом и иллюзиями) очень непродолжительный период времени, чтобы увидеть какой-либо прогресс.

•  Огромные поздравления команде. У меня есть пара вопросов, спасибо, что отвечаете.
 1) Теперь, когда вы достигли сверхчеловеческого результата в такой сложной игре, какова ваша текущая дорожная карта разработки и совершенствования RL для Dota 2 на ближайшие 6 месяцев? 
 2) Как проходит ваш рабочий день, как инженера RL для MOBA?
 3) На каком уровне находится ваше сотрудничество с Valve? В какой степени Valve поддерживала вас в достижении сверхчеловеческого уровня ИИ для Dota 2?
—  1) Нам еще многое предстоит понять! Основная цель этого проекта - исследовать RL, и мы в основном были сосредоточены на том, чтобы максимально усовершенствовать OpenAI Five. Теперь мы можем сделать шаг назад и выяснить, почему Five работает так, как он это делает, надеюсь это поможет сделать RL более эффективным и тренироваться лучше.
2)  Будучи инженером, вы должны понимать Tensorflow, RL, игровой движок, в общем весь стек. В обычный день мы можем посмотреть повторы и увидеть проблемы с обучением. Нужно ли Five новое наблюдение? Как обработать наши замечания наиболее оптимальным образом? Каков шанс победы, если герой начинает с игру с дополнительной Healing Salve? Мы пытаемся найти ответы на все подобные вопросы. Наша команда состоит из инженеров и исследователей, все работают вместе, поэтому инженеры тоже часто проводят исследования. Очень весело быть в этой команде. :)
3) Valve помогла нам получить стабильные, "замороженные" сборки клиента. Поскольку ИИ нужно переучиваться всякий раз, когда появляется новый патч, и этот процесс обновления может занять очень много времени, было важно получить версию, которая не изменится.

•  Вы, ребята, планируете перейти в другие игры? Будь то MOBA-игры, RTS, FPS и т. д.
— На данный момент мы не планируем переходить на другие игры. В Dota 2 все еще есть открытые вопросы, которые мы можем исследовать и использовать в качестве среды RL для исследований.


•  Пожалуйста, не закрывайте открытый доступ к OpenAI Five, я хочу играть в это вечно
— Мы бы хотели оставить его открытым для всех людей, но, к сожалению, каждый патч для Dota 2 в настоящее время требует дополнительной подготовки, в этом плане ИИ пока не хватает скорости.


•  Вы хотите сказать, что невозможно запустить OpenAI Five в пользовательской игре, которая будет копией текущего патча?
—  Это возможно, но все еще требует большого объема внимания и обслуживания. Хотя это и выполнимо, но это очень сложно реализовать для широкой общественности, поскольку требуются обновления/даунгрейды клиента. Прямо сейчас мы скрестили пальцы и надеемся, что у Valve нет патча для Dota 2, запланированного до закрытия Арены!
 
 
• Мы когда-нибудь увидим, как боты играют с полным пулом героев?
— В настоящее время у нас нет планов расширения пула героев до полного, хотя мы можем заняться этим вопросом в будущем, если обнаружим резкое повышение эффективности обучения. 

• Вы когда-нибудь покажете нам, как эти боты могут исполнять на таких героях, как MeepoInvoker и т. д.?
—  У нас есть несколько клипов, показывающих других героев на разных уровнях развития ИИ, мы очень хотим ими поделиться когда все немного успокоится - некоторые из них довольно крутые (есть веселые, демонстрирующие катастрофически плохие навыки владения героем..=D)
 
•  Какова основная причина, по которой вы выбрали Dota 2?
— У нас было несколько причин:
 1) Популярность (и огромные призовые фонды)
 2) Рефлексы и микроконтроль являются вторичными навыками
 3) Глубина (сложность)
 4) Доступность для Linux
 5) API

Все они одинаково важны.
Сложность дает нам очень интересную задачу для решения. Не монументальная зависимость от рефлексов делает игру более честной для человека, который играет против AI. Популярность/призовые фонды гарантируют, что люди вложили и вложат бесчисленные часы в игру, и мы получим правильные ориентиры для нашей модели. И, наконец, поддержка Linux & API делает нашу работу более экономически эффективной.

•  Привет! Я написал статью о глубоком машинном обучении и связанными с ним вещами. Искусственный интеллект мне очень интересен. Как вы думаете, в ближайшем будущем "настоящий, полностью автономный, независимый и самообучающийся искусственный интеллект" будет создан? Спасибо за АМА, ребята!
—  Мы работаем над достижением этой цели. Это часть нашей миссии: openai.com/charter/
 

Открытый тест OpenAI Five закончится 22 апреля в 10:00 МСК.
Принять участие можно, зайдя на сайт OpenAI Arena через Steam-аккаунт.
Текущий винрейт OpenAI Five за ~4000 соревновательных (5 людей vs 5 ботов) матча равен 99.2%.
Следить за текущими матчами можно по ссылке: twitch.tv/openai 


jekaSP21.04.2019 14:0425972

Комментарии

Junis 3 месяцев назад
Интересно, на каком этапе боты научатся разбивать шмотки?
Аватар GoHard GoHard 3 месяцев назад
@Junis на том этапе, когда посмотрят стримы Алоши.

Чтобы оставить комментарий, войдите в систему или зарегистрируйтесь!

Активность на форуме

Тема дня. Автор:  

AsYouWish

173845

5041

TI and Majors > [The International 2019 15-18.08.19] Group Stage

Топ Флудер дня.  

RobertDjordan

67