Программирование[9]

JuJeu написал 3 часа назад:

Твои шахматы и го и есть задачи классификации

А в каком месте это задачи классификации? По ситуации на доске предсказать кто выиграет? Так это не игра в шахматы, да и предсказать не получится потому что это от скиллухи зависит, только если бы можно было ещё и скиллуху игрока на вход подать, но тогда обучающей выборки не хватит. 

А с доказательством матана есть пруверы, которые тоже часть области ии, но там нейронок нет как и в принципе задач матстата 

Погугли, ты же умный

besteady написал 5 минут назад:

А в каком месте это задачи классификации?

Классифицировать успешность каждого из возможных ходов и походить наиболее успешно.

Index написал 7 минут назад:

Погугли, ты же умный

besteady написал 12 минут назад:

А в каком месте это задачи классификации?

Классифицировать успешность каждого из возможных ходов и походить наиболее успешно.

А где тут нейронки? Что ты подашь на вход?

Index написал 5 часов назад:

Не говоря уже про то, что нейросети это все же задачи классификации

В смысле

Нейронки и для задач регрессии хорошо подходят. Тем более что они по сути реализуют самый большой пул функций из доступных на компе

Да и полно ещё всяких задач супер резолюшн, замена стилей ганами, поиск предметов

Index написал 15 минут назад:

Погугли, ты же умный

нет не умный

те чё сложно чтоли, ваш сайт не разрешает скачивать

besteady написал 5 минут назад:

А где тут нейронки? Что ты подашь на вход?

12 матриц 8х8

6 на фигуры белых 6 на фигуры черных, каждая матрица отвечает за свой тип фигур.

Index написал 3 минуты назад:

besteady написал 11 минут назад:

А где тут нейронки? Что ты подашь на вход?

12 матриц 8х8

6 на фигуры белых 6 на фигуры черных, каждая матрица отвечает за свой тип фигур.

ну хоть 300 ммр наберёт такой движёк?)

Index написал 7 минут назад:

besteady написал 15 минут назад:

А где тут нейронки? Что ты подашь на вход?

12 матриц 8х8

6 на фигуры белых 6 на фигуры черных, каждая матрица отвечает за свой тип фигур.

Я что-то энивей ничего не понял 

А что в этой матрице будет?

Типо 1 если фигура есть, 0 если нет

Так можно тогда и одну матрицу 8х8 просто разные фигуры разными числами закодировать. Проблема то не в этом

Как например в таком случае выход закодировать, если количество ходов может быть переменным. Как обучать?

Если допустим у нас есть все игры, и для данной расстановки есть куча примеров разных ходов, как мы оценим хорошие это были ходы или нет, привели они к победе или наоборот.

И даже если бы могли это как-то вы вести, тогда незачем нейронки просто берем ход, для которого количество партий с профитом от хода наибольшее

besteady написал 2 часа назад:

А что в этой матрице будет?

Типо 1 если фигура есть, 0 если нет

Так можно тогда и одну матрицу 8х8 просто разные фигуры разными числами закодировать.

1) Да.

2) Можно, но тогда это будет 8х8х3 входов, 3 чтобы бинарное представление 6 разных фигур обозначить.

По поводу выходов их тоже можно дохуя сделать, чуть ли не матрицу на каждую из фигур в игре.

Проблема в том, что игра комплексная и будет требовать огромного числа слоев для памяти.

besteady написал 2 часа назад:

И даже если бы могли это как-то вы вести, тогда незачем нейронки просто берем ход, для которого количество партий с профитом от хода наибольшее

Ну вот нейронки научившись на объеме партий выведут закон который позволяет с какой-то точностью вычислить этот ход например.

как тебе нейронки выведут какой-то закон, если тебе сначала надо дать им какую-то функцию для вычисления, а куда собственно нейронка обучается

а её нет (

тема нейросетей не раскрыта

пока индекс на тройку с минусом отвечает, если сделать поблажку на донность универа и то что он уже всё забыл

Хотите обучать нейронку играть в игры с минимальным погружением в предметную область -- reinforcement learning нужно применять, есть куча статей как люди это делают в разных областях, но там будет много математики везде. А общая идея в целом простая и тема довольно интересная, попробую коротко изложить (хз интересно это тут кому-то кроме элазора будет или нет ).

Нейронка обучается прямо в процессе игры (как во внешней среде). То есть ты реально запускаешь ее играть много-много раз и как-то оцениваешь результат каждой партии (в идеале -- каждого шага, с этим обучается намного быстрее). Например (не претендую, что это хорошие метрики) -- можно штрафовать за проеб фигур, плюсовать если ест чужие фигуры, сильно штрафовать если быстро проигрывает и наоборот накидывать кучу скора, если быстро выигрывает. Время от времени корректируешь параметры модели (раз в партию или в несколько партий), плюс нужно случайный шум иногда в модель добавлять, чтобы новые движения начинать использовать, без этого все в локальный экстремум скатится. Корректировка делается исходя из принципа "штрафуешь действия, приводящие к ухудшению скора" (поэтому иметь хорошую функцию скора на каждом ходу/партии очень важно). Корректировать можно по-разному, (простой пример -- какой-нибудь градиентный спуск), причем штрафовать можно не только действия, приводящие к понижению скора, но и несколько предыдущих (с экспоненциальным затуханием например).

С кем прогонять симуляцию игры? На первых стадиях обучения берешь любой известный достаточно сильный алгоритм, потом можно саму против своих предыдущих итераций ставить играть (но это если ты такой успешный и твоя нейронка уже нагибает раком все остальные алгоритмы).

Как это математически сформулировать? С входом нейронки все тривиально -- подается матрица текущего состояния доски, фигуры числами закодировать можно (вплоть до уникального идентификатора для каждой фигуры. С выходом чуть интереснее, обычно в задачах RL это вектор размерности всех возможных действий, а внутри вектора числа от 0 до 1. Для шахмат я бы предложил формат "походить фигурой с id=<id> в такую-то из 64 клеток", это будет жирный вектор. В качестве выбранного нейронкой действия берется допустимый на текущем ходу механикой игры элемент с максимальным значением (например, ты не можешь ходить туда, где уже стоит твоя фигура, поэтому выбирать надо только из допустимых действий). В целом от этого скорость обучения тоже очень сильно зависит: чем больше получится сузить пространство выходного вектора -- тем быстрее будет обучаться.

Но без хитрых оптимизаций/эвристик/скора для хороших результатов при таком подходе может понадобиться столько итераций на обучение, что вам жизни не хватит, чтобы подождать. А если процедура переобучения настроена криво -- то вообще модель скатится в локальный экстремум и никогда не выберется из него. Прямо в таком подходе, как я тут описал, скорее всего ничего путного не получится обучить, но это вполне может быть стартовой точкой.

Index написал 34 минуты назад:

Можно, но тогда это будет 8х8х3 входов, 3 чтобы бинарное представление 6 разных фигур обозначить.

хм я кстати действительно забыл, что лейбл енкодинг он расставляет важность категориальных значений. И если допустим в пределах одной стороны ещё можно расставить значения, то одну команду выше другой нельзя ставить

Но тогда надо 8x8x4, если one hot encoding юзать, потому что у нас 6 фигур одной команды и 6 фигур другой

Или же 8x8x2 доска на каждую команду и лейбл енкодингом (0 - пешка, 1 - слон, 2 - конь и тд)

Index написал 1 час назад:

По поводу выходов их тоже можно дохуя сделать, чуть ли не матрицу на каждую из фигур в игре.

ну тогда это конечно пиздец будет

Index написал 1 час назад:

Ну вот нейронки научившись на объеме партий выведут закон который позволяет с какой-то точностью вычислить этот ход например.

тогда надо на вход подавать всю партию, иначе ему никак в отрыве остальных ходов не оценить полезность. все это закодировать при этом конечно импосибле было бы

или вот, я щас вспомнил, есть же рекуррентные сетки и lstm как раз для этого, чтобы рефлексировать над прошлыми входами

рекуррентная сеть бы не подошла, потому что у нас много разных партии и ходы из одной партии на другую не влияют, а вот lstm вполне 

Bad|Fat|Rat написал 7 минут назад:

Хотите обучать нейронку играть в игры с минимальным погружением в предметную область -- reinforcement learning нужно применять, есть куча статей как люди это делают в разных областях, но там будет много математики везде. А общая идея в целом простая и тема довольно интересная, попробую коротко изложить (хз интересно это тут кому-то кроме элазора будет или нет ).

Ну да, кстати, есть же и такая тема. По-моему так щас все и делают. Open AI там всякие, игровые соревнования, где надо запрогармировать бота

Bad|Fat|Rat написал 21 минуту назад:

Обучение с подкреплением

Этот шарит, спс, интересно расписал.

Захотелось чёнить на нейросетках сделать, может как-нибудь найду недельку на это.

ну в шахматах мне кажется нейросеть придётся встраивать в алгоритм перебора ходов, т.е. она не будет решать как именно ходить, а будет указывать порядок перебора ходов, так чтобы самые сочные ходы постараться не упустить

нада бы у альфазиро это спросить но там на английском лень читать

альфазирычи писали что внутри вообще нет подгона совсем никакого никакими шаманствами, даже верю что это так

E1azor написал 1 час назад:

Bad|Fat|Rat написал 1 час назад:

Обучение с подкреплением

Этот шарит, спс, интересно расписал.

Захотелось чёнить на нейросетках сделать, может как-нибудь найду недельку на это.

 

ну в шахматах мне кажется нейросеть придётся встраивать в алгоритм перебора ходов, т.е. она не будет решать как именно ходить, а будет указывать порядок перебора ходов, так чтобы самые сочные ходы постараться не упустить

нада бы у альфазиро это спросить но там на английском лень читать

альфазирычи писали что внутри вообще нет подгона совсем никакого никакими шаманствами, даже верю что это так

 

http://shamin.ru/link/ai/shamin.pdf

первая глава

JuJeu написал 1 час назад:

E1azor написал 3 часа назад:

Bad|Fat|Rat написал 3 часа назад:

Обучение с подкреплением

Этот шарит, спс, интересно расписал.

Захотелось чёнить на нейросетках сделать, может как-нибудь найду недельку на это.

 

ну в шахматах мне кажется нейросеть придётся встраивать в алгоритм перебора ходов, т.е. она не будет решать как именно ходить, а будет указывать порядок перебора ходов, так чтобы самые сочные ходы постараться не упустить

нада бы у альфазиро это спросить но там на английском лень читать

альфазирычи писали что внутри вообще нет подгона совсем никакого никакими шаманствами, даже верю что это так

 

http://shamin.ru/link/ai/shamin.pdf

первая глава

 

хз к чему это, но написано школьником или очень сыро + похоже на пиздёж

доска 8х8 -- 129 итераций

доска 20х20 -- 392 итерации

ну и не понятно а если любая перестановка приводит к ухудшению (или таких очень мало), а температура уже низкая тогда не сойдётся ведь нихуя

вот он написал про это

Цитата

Кроме того, следует быть готовым к
тому, что метод отжига будет сходиться не всегда, поэтому иногда
приходиться запускать метод отжига несколько раз.

+дохуя другого, сам не читал видимо что высрал

и вместо ё пишет е, урод ёбаный

кароч 6 глав прочитал чёта пока слишком азы бесполезные

офк не читал лол, первая книжка в гугле.

в этом году может чё по-мощнее выкатят

не выкатят, они забили еще тогда

после второго десятка героев сетка "внезапно" перестала учиться, тк теперь миллиарда наигранных часов не хватало, чтобы забрутфорсить варианты добавления даже одного нового героя.

но они мемно выкрутились "нам не интересно, мы добились чего хотели" и укатили в закат 

ну ниче, по крайней мере польза от этого аи была хоть в 1 моменте, бот открыл, что можно поставить вард, чтобы засейвить катапульту, тк у варда приоритет выше, чем у катапульты

чёнить придумают рано или поздно