Программирование[11]

Index написал 33 минуты назад:

Тут же смысл в том, что влитые бабки, мощности и скейлинг линейно увеличивают эффективность трансформеров уже сейчас

это все прекрасно

не понятно как это все конвертируется в ауткамы и импакт

выше предположение что импакт будет расти экспоненциально, только для эотго 0 предпосылок

Just.Doit написал 11 минут назад:

выше предположение что импакт будет расти экспоненциально, только для эотго 0 предпосылок

ну типо экспоненциально масштабируешь экспоненциально растет, не?

Заскейлил модель в 10 раз - получил один ООМ (order of magnitude)

Обучил в 10 раз дольше - получил другой ООМ

Взял в 10 раз больше данных - получил ещё один ООМ

сейчас этот закон соблюдается, какие предпосылки чтобы он отвалился?

если один долбоеб может палкой пнуть птицу, это не значит, что миллион долбоебов сможет построить ракету

Index написал 3 часа назад:

какие предпосылки чтобы он отвалился?

предпосылка в том что это не закон и даже не закономерность

это просто ряд фактов, которые на данный момент  вроде как выглядят как некая линия, не факт что прямая

также вопрос подбора фактов этой линии. подбирать удобыне варианты (ошибки выжившего) и придерживая wishful thinking находить в них закономерность это конечно верх объективного анализа данных

Index написал 3 часа назад:

Заскейлил модель в 10 раз - получил один ООМ (order of magnitude)

Обучил в 10 раз дольше - получил другой ООМ

Взял в 10 раз больше данных - получил ещё один ООМ

лол

ты ошибся примерно во всем

"дольше обучать модель" - ничего не дает обычно

особено без х10 данных

также как скейл метапараметров модели не дает прироста сам по себе - без как раз таки х10 данных и х100 дольших обучений тк время тренировки экспоненциально растет от количества токенов, емнип

так что то что ты посчитал за линейную прямую зависимость оказывается обратной экспоненциальной

и после этого ты пытаешься продлить "линенйый рост" вперед. хотя рост оказывается обратно экпоненциальным уже на данном отрезке

Бля пацаны спс вы открыли мне глаза, действительно ИИ ГБЗ и пузырь котороый скоро лопнет 

Жаль что всяким челикам из америкнских бигтехов со всякими PhD недоступна такая простая истина которая озарила мозг сына картофельных полей и немецкого Gastarbeiter 

Index написал 50 минут назад:

Бля пацаны спс вы открыли мне глаза, действительно ИИ ГБЗ и пузырь котороый скоро лопнет 

Жаль что всяким челикам из америкнских бигтехов со всякими PhD недоступна такая простая истина которая озарила мозг сына картофельных полей и немецкого Gastarbeiter 

 

Ты про доткомы что-то слышал? Ну или в курсе, что случилось в 2008 году?

Grohuf написал 3 минуты назад:

Index написал 54 минуты назад:

Бля пацаны спс вы открыли мне глаза, действительно ИИ ГБЗ и пузырь котороый скоро лопнет 

Жаль что всяким челикам из америкнских бигтехов со всякими PhD недоступна такая простая истина которая озарила мозг сына картофельных полей и немецкого Gastarbeiter 

 

Ты про доткомы что-то слышал? Ну или в курсе, что случилось в 2008 году?

биткоин пирамида кста

Вообще у текущего ИИ есть две проблемы. Первая - нужны просто невъебенные мощности, чтобы получить приемлемый результат. Вторая - это обучение. Если обучать просто на данных из интернета, то ИИ начинает нести лютую хуйню. Даже если ты соберешь массив данных для обучения (который, скорее всего, будет стоить больше, чем все эти видюхи, на которых ИИ работает), то все равно есть проблема, что когда ты отправляешь этот ИИ в свободное плавание, то он не будет учиться на своих ошибках. Нет никакой приспособляемости к изменяющимся условиям. В реальности нельзя провести дохулиард матчей на го, чтобы обучить модель. У тебя будет только 1-2 события и модель должна понять, что эти события важнее того, чем она раньше обучалась. Для этого она должна уметь производить анализ этих данных. А текущие нейронки умеют только имитировать человеческую память и интуицию, которая на этой памяти основана.

В текущем состоянии ИИ будет облегчать человеку различные работы, но не сможет заменить. И из-за этого те инвестиции, которые вливают в эту тему, кажутся неоправданными.

Index написал 2 часа назад:

Бля пацаны спс вы открыли мне глаза, действительно ИИ ГБЗ и пузырь котороый скоро лопнет 

Жаль что всяким челикам из америкнских бигтехов со всякими PhD недоступна такая простая истина которая озарила мозг сына картофельных полей и немецкого Gastarbeiter 

 

дак чел. никто тебе не доказал с пхд что это все реально. тебе рассказывают в условном твиттере как все будет заебись. неважно кто говорит, важно что он говорит. также ты почему-то людей с пхд наделяешь хорошей репутацией даже не в том что они делают а в том что они говорят. я могу быть с пхд и даже быть топ профессионалом в своей области, но при этом пиздеть на каждом шагу вне работы (в твиттере и медиуме)

у них порой есть agenda (осознанно или не осознанно) разгонять хайп чтобы еще больше надувать пузырь с которого они кормятся

либо у них статьи чисто wishful thinking в духе "через 10 лет у нас будет термояд и бесконечная дешевая енергия"

тоесть уровень информации в любом случае в духе "крах доллара неизбежен"

и там хоть пхд хоть кто

... написал 1 час назад:

Grohuf написал 1 час назад:

Index написал 2 часа назад:

Бля пацаны спс вы открыли мне глаза, действительно ИИ ГБЗ и пузырь котороый скоро лопнет 

Жаль что всяким челикам из америкнских бигтехов со всякими PhD недоступна такая простая истина которая озарила мозг сына картофельных полей и немецкого Gastarbeiter 

 

Ты про доткомы что-то слышал? Ну или в курсе, что случилось в 2008 году?

биткоин пирамида кста

кстати нет.

чисто с формальной точки зрения

Grohuf написал 1 час назад:

А текущие нейронки умеют только имитировать человеческую память и интуицию, которая на этой памяти основана.

ну там дальше идут рассуждения что мы вот можем генерить интуицию а потом скармливать ее опять нейросетки с посылом "оцени реализуемость или проверь на логичность" и она выдаст следующую интуицию, которую ты тоже скармливаешь на следующую проверку и тп. и в итоге воспроизводишь итеративный мыслительный процесс аля человеческий.

и в доказательство того что это неизбежно говорят ну смотри разницу между гпт1 гпт2 гпт3 и гпт4!!!! вот щас вот в гпт5 все будет супер умное и все само
хотя уже между гпт3 и гпт4 я не вижу разительных изменений. тоесть убывающая доходность на лицо. типичная логистическая кривая

Index написал 26.07.2024 в 20:43:

Just.Doit написал 26.07.2024 в 20:30:

выше предположение что импакт будет расти экспоненциально, только для эотго 0 предпосылок

ну типо экспоненциально масштабируешь экспоненциально растет, не?

 

Заскейлил модель в 10 раз - получил один ООМ (order of magnitude)

Обучил в 10 раз дольше - получил другой ООМ

Взял в 10 раз больше данных - получил ещё один ООМ

 

сейчас этот закон соблюдается, какие предпосылки чтобы он отвалился?

вот кстати мы можем посчитать это для гпт3 и гпт4

1. params:

гпт3 - 175kkk  parameters

gpt4 - 100kkkk parameters

тоесть по количеству параметров увеличили в 500 раз

2. data

> Compared to GPT-3's 17 gigabytes of data, GPT-4, the most recent iteration of OpenAI, has 45 gigabytes of training data. 

итого по данным почти в 3 раза

3. длительность обучения (точнее количество вычислений, тк это не столько время сколько объем который можно обрабатывать параллельно и время зависит от количества карточек)

гпт3 - 

гпт4 - сложно гуглится, но выдает такое

The computational resources required to train GPT-4 are immense. The model's training involves approximately 2.15e25 floating-point operations, or FLOPs.

+ пишут что это х100 от гпт3

итого у нас х500 по параметрам х3 по данным и х100 по компьют павер

теперь давай сравним ауткам/импакт который они выдают

ты хочешь сказать что гпт4 стала в 150 тысяч раз умнее чем гпт3? )))

нам нужна какая-то шкала "умности" LLM

кто-то сравнивает нейросетки по уровню человеческого ребенка - типа вот эта выдает интуицию на уровне 7 летнего ребенка, а вот эта на уровне 11 летнего

я не видел особо таких сравнений, но субьективно по впечатлениям из статей

умность гпт4 по тому на сколько пользы оно приносит не отличается даже в несколько раз.

в лучшем случае она может держать в уме и учитывать не 5 контекстов а 15 (х3, давай дадим фору и скажем х10), в лучшем случае она пишет текст который в 2-5 раз богаче чем у гпт3

но в плане "мышления" и приближения к AGI, она дай бох улучшила себя на 30% - суждения чуть подробнее, но приципиально такие же

импакт на продукты которые можно сделать с ее помощью сравнимый - х1.5-х5

в итоге зависимость от скейла модели (по параметрам, данным и компьют) обратно экспоненциальный...

про что и речь

Нужен рывок. Во-первых, научить нейронку ДУМАТЬ, а не просто замешивать как-то данные, которые она запомнила. Во-вторых, сделать устройство, которое на железном уровне является нейросетью, а не имитирует ее с помощью числодробилок. Человеческий мозг содержит огромное количество нейронов, которые заняты только жизнедеятельностью организма, "думает" лишь малая часть. В самих нейронах дохрена место занято опять-таки жизнедеятельностью клетки. Если все это выкинуть, то, по идее, получится компактное устройство, которое по мощности равно человеческому мозгу. Но, судя по тому, как пытаются экстенсивным путем достигнуть AGI, ученые до сих пор не понимают, как работает мышление в человеческом мозге.

Очень может быть, что нейронки нахер не нужны. Вон для создания самолета совсем не обязательно было повторять за птицами и махать крыльями. Но теория того, как птицы летают, для создания самолета нужна.

Grohuf написал 3 часа назад:

Первая - нужны просто невъебенные мощности, чтобы получить приемлемый результат.

Все еще меньшие мощности чем нужно для людей (обучить дать зарплату накормить)

Если бы результат был не нужен то там то сям люди бы не интегрировались с оупенэйай и не платили деньги за /dev/urandom | tokenize 

Т.е ты платишь меньше чем индусу копирайтеру + получаешь какую-то структурированность, осмысленность и тд и тп.

Grohuf написал 3 часа назад:

В текущем состоянии ИИ

Ты про какое состояние? 2022? 2023? 2024?

Я вижу как ИИ развивается от хуйни ахаха смотрите оно может написать сортировку пузырьком из  описания метода.

До состояния когда ты можешь в чатжпт спросить какой-нибудь вопрос на стыке технологий (например постгря, хибернейт, спринг, котлин) и получить ответ и тебе не надо в кучу документаций лезть по каждой хуйне + интеграции.

Just.Doit написал 2 часа назад:

ты хочешь сказать что гпт4 стала в 150 тысяч раз умнее чем гпт3? )))

Сложно определять умность. Человек вообще в силу специфики биологических вещей экспоненциальный рост интерполирует в линейный 

например звуковое давление в 10 раз больше мы воспринимаем как звук в 2 раза громче

так же и с яркостью и прочими явлениями

И с интеллектом я думаю тоже. Ребенок которому 6 лет и ребенок которому 12 лет интеллектуально различаются не в 2 раза, может для человека вообще с его субъективного взгляда в диалоге разница будет в интеллекте даже меньше, но с точки зрения бекграунда и количества нейронных связей, впитанной информации разница между 6-ю и 12-ю годами коллосальна.

И вот представь что GPT-3 это ребенок которому 5 лет, GPT-3.5 ребенок которому 7 лет, GPT-4 ребенок которому 9 лет

тебе кажется что он дохуя умнее не стал  короче мне выходить пора додумайте сами мысль

П.С. Сравнение с доткомами вообще топчик.

Концептуально в доткомах ничего такого нет, и сейчас я уверен этих доткомов в интернете на ПОРЯДКИ больше чем было в момент лопанья пузыря доткомов.

Просто был перегрев, концептуально идея цифровизации осталась.

Точно так же как и крипта пузырится спадает и пузирится опять. Да ИИшка может быть перегрета сейчас или в ближайшее будущее вливаниями бабок которым не так легко найти выход в ревенью но концептуально она переживет любое сдувание и пойдет дальше.

Сколько раз уже хоронили нейронки с 60х годов прошлого века?

Когда научится сравнивать 9.9 и 9.11, тогда надо начинать бояться

Index написал 3 часа назад:

она переживет любое сдувание и пойдет дальше.

да

только речь то про аги и экспоненциальное развитие в сингулярность

за 20 лет прикрутят чатпт-7 куда только можно и станет все удобнее и трансформируются профессии

но человека скорее всего не заменят нихера в огромном количестве направлений

Index написал 3 часа назад:

например звуковое давление в 10 раз больше мы воспринимаем как звук в 2 раза громче

ну дак для нас важна характеристика громче а не давление, про что и речь

речь про импакт а не про аутпут...

Grohuf написал 4 часа назад:

Во-первых, научить нейронку ДУМАТЬ, а не просто замешивать как-то данные, которые она запомнила.

дефайн думать

я все еще не вижу причин поему нельзя говорить что гпт3 думает

вопрос на засыпку - ребенок 3 лет думает? а 5,7,9,11?

Index написал 3 часа назад:

Если бы результат был не нужен то там то сям люди бы не интегрировались с оупенэйай и не платили деньги за /dev/urandom | tokenize 

это кстати не так

во 1х опенаи не понятно по какой цене продает щас. часто компании ставят цену услуг ниже себестоимости чтобы набрать долю рынка и чуть позже начать извлекать прибыль

во 2х все ринулись прикручивать не потому что им это нужно а потому что хайп. нужно ли тебе это ты поймешь через год померяв метрики, а не когда ты ринулся это прикручивать

Index написал 3 часа назад:

Я вижу как ИИ развивается от хуйни ахаха смотрите оно может написать сортировку пузырьком из  описания метода.

 

До состояния когда ты можешь в чатжпт спросить какой-нибудь вопрос на стыке технологий (например постгря, хибернейт, спринг, котлин) и получить ответ и тебе не надо в кучу документаций лезть по каждой хуйне + интеграции.

но это одного порядка задачи - скомпилировать то что она видела на тему заданного вопроса (спрашиваемого контекста)

если ты ее спросишь про то про что не написано прямой статьи - она тебе скорее всего выдаст очень дженерик херню

это всеравно все полезно конечно. но в контексте приблежения к аги гпт 3 и гпт4 не поменяли ничего. тоесть уже видно замедление прогресса, несмотря на х150к сложности нейронки

Arzanis написал 3 часа назад:

Когда научится сравнивать 9.9 и 9.11, тогда надо начинать бояться

это какой-то мем? или речь про лекскографическое сравнение?

Just.Doit написал 46 минут назад:

дефайн думать

Как минимум уметь в базовые человеские приемы мышления: анализ, дедукция, структурирование информации, индукция, логические операции и так далее. То есть, чтобы не было так:

- сколько будет 2х2

- четыре

- ты уверен? должно быть 5

- да, вы правы, я ошибся, правильный ответ 5

Этот ChatGPT на данный момент хуйня, потому что я тупо не доверяю тому, что он выдает. Нужно перепроверять. На хабре, кстати, был пост, что после двух месяцев использование copilot, чел его дропнул, так как все те сниппеты, которые выдавал помощник нужно было перепроверять.

Когда будет уверенность, что этот помощник умеет делать ограниченные вещи, но делает их очень хорошо (лучше человека), вот тогда будет первый этап развития таких ИИ. Экскаватор может быть не даст тебе ответ, стоит ли вкладываться в акции Яндекса, но зато он копает яму на порядки лучше человека. Именно этого хочется от ИИ на данный момент.

Just.Doit написал 54 минуты назад:

во 1х опенаи не понятно по какой цене продает щас. часто компании ставят цену услуг ниже себестоимости чтобы набрать долю рынка и чуть позже начать извлекать прибыль

во 2х все ринулись прикручивать не потому что им это нужно а потому что хайп. нужно ли тебе это ты поймешь через год померяв метрики, а не когда ты ринулся это прикручивать

Чел на рынке провайдеров AIaaS не один оупенэйай

Grohuf написал 8 минут назад:

- сколько будет 2х2

- четыре

- ты уверен? должно быть 5

- да, вы правы, я ошибся, правильный ответ 5

Чел если к тебе подойдут с ножом на улице с таким диалогом, какой твой ответ будет?

Нейронка может быть претрейнута принимать ответы упоротого пользователя, это вопрос поощрения. 

Arzanis написал 3 часа назад:

Когда научится сравнивать 9.9 и 9.11, тогда надо начинать бояться

Пчел, давно не актуально, придумай что-нибудь сложнее, мне самому интересно примитивной математикой сломать чатжпт-4о 

Index написал 12 минут назад:

Чел если к тебе подойдут с ножом на улице с таким диалогом, какой твой ответ будет?

Нейронка может быть претрейнута принимать ответы упоротого пользователя, это вопрос поощрения. 

Эта хуйня меня не интересует. Я говорю о вариантах, когда в интернете на одну и ту же тематику есть противоречивая информация. Я хочу, чтобы ИИ мог проанализировать ее , проверить информацию на валидность и кратко выдать резюме.

Также нейросеть не должна засираться заведомо ложной или юморной информацией, чтобы это не портило ее ответы в будущем.

Just.Doit написал 1 час назад:

это какой-то мем? или речь про лекскографическое сравнение?

Ну мем, да.
Почти все языковые модели текущие без промта говорят что 9.9 меньше чем 9.11:

Grohuf написал 3 минуты назад:

Эта хуйня меня не интересует. Я говорю о вариантах, когда в интернете на одну и ту же тематику есть противоречивая информация. Я хочу, чтобы ИИ мог проанализировать ее , проверить информацию на валидность и кратко выдать резюме.

Также нейросеть не должна засираться заведомо ложной или юморной информацией, чтобы это не портило ее ответы в будущем.

Если нейросеть нормально натренирована она знает контекст информации на которой она тренировалась, была это юмористическая переписка или серьезная, достоверный источник или нет.

Ты всегда можешь отфайнтюнить промпт чтобы она опиралась на информацию из более достоверных источников. 

Arzanis написал 5 минут назад:

Just.Doit написал 1 час назад:

это какой-то мем? или речь про лекскографическое сравнение?

Ну мем, да.
Почти все языковые модели текущие без промта говорят что 9.9 меньше чем 9.11:

Ну всякие оупенсурс решения да. Хотя даже Claude 3.5 обосралась.

Я хз какую черную магию хранят стены OpenAI что их модель на голову выше в таких вещах. 

Index написал 8 минут назад:

Ну всякие оупенсурс решения да. Хотя даже Claude 3.5 обосралась.

Я тестил на gpt4. Тоже обсирается без промта