Программирование[11]

besteady написал 17 часов назад:

Vova написал 17 часов назад:

besteady написал 18 часов назад:

Почему тогда со всего интернета

 

Потому что там маштаб всего интернета ))))))))

 

Миллиард юзеров от тиктока миллиард от китайского аналога

Ну всё-таки есть разница между задачей инфопоиска, где ты весь интернет скрапишь и задачей запилить рекомендательную систему в своей системе

 

Не спорю

Ну я так маштаб просто обозначил

Vova написал 8 минут назад:

besteady написал 17 часов назад:

Vova написал 17 часов назад:

besteady написал 18 часов назад:

Почему тогда со всего интернета

 

Потому что там маштаб всего интернета ))))))))

 

Миллиард юзеров от тиктока миллиард от китайского аналога

Ну всё-таки есть разница между задачей инфопоиска, где ты весь интернет скрапишь и задачей запилить рекомендательную систему в своей системе

 

 

Не спорю

 

Ну я так маштаб просто обозначил

ага, ещё выяснится потом, что ты просто скрипточки деплоя запустил

madvlaydin написал 1 час назад:

Vova написал 1 час назад:

besteady написал 19 часов назад:

Vova написал 19 часов назад:

besteady написал 19 часов назад:

Почему тогда со всего интернета

 

Потому что там маштаб всего интернета ))))))))

 

Миллиард юзеров от тиктока миллиард от китайского аналога

Ну всё-таки есть разница между задачей инфопоиска, где ты весь интернет скрапишь и задачей запилить рекомендательную систему в своей системе

 

 

Не спорю

 

Ну я так маштаб просто обозначил

ага, ещё выяснится потом, что ты просто скрипточки деплоя запустил

У нас было 2 фул тайма и интерн и тиме кроме меня

Vova написал 31.01.2022 в 21:28:

 

Любая компания уровне Яндекса это уже 120к для мидла Инфа - levels.fyi

Вован, а что по этому сайту можно salary range прям хуярить? Типо мне например собес револют (remote) кинули, если че пойдет мне как на сайте кидать ~100k base и 40k stock? 

Rilay написал 6 часов назад:

madvlaydin написал 6 часов назад:

Rilay написал 6 часов назад:

madvlaydin написал 7 часов назад:

ArzanisAncient написал 7 часов назад:

А нахуя ему ехать в мск, если сейчас существенная часть мск контор удаленку фултайм предлагают.

Пиздец конеш, как можно на крестах писать за 1 ГР в месяц. Ебануцо.

самое смешное, что голд робот всегда будет за 1 ГР работать

надо будет новую валюту вводить

 

@Rilay сколько тебе грошей платют?

65 минус налоги там меньше 60 получается

нихуево так-то, не везде столько опытным офисным работягам платят

мне поетому очень хуево когда я ниче не делаю

типа незаслуженно вот

щас например я ниче не делаю (делать нечего) и мне грустно

вангую через пол года втянешься в режим и перестанешь успевать.

https://habr.com/ru/company/hexlet/blog/649041/

Vova написал 2 часа назад:

madvlaydin написал 3 часа назад:

Vova написал 3 часа назад:

besteady написал 21 час назад:

Vova написал 21 час назад:

besteady написал 21 час назад:

Почему тогда со всего интернета

 

Потому что там маштаб всего интернета ))))))))

 

Миллиард юзеров от тиктока миллиард от китайского аналога

Ну всё-таки есть разница между задачей инфопоиска, где ты весь интернет скрапишь и задачей запилить рекомендательную систему в своей системе

 

 

Не спорю

 

Ну я так маштаб просто обозначил

ага, ещё выяснится потом, что ты просто скрипточки деплоя запустил

 

У нас было 2 фул тайма и интерн и тиме кроме меня

 

Ты получается кор пилил?

Так и как это все работает? Расскажи.

GoldRobot написал 4 минуты назад:

https://habr.com/ru/company/hexlet/blog/649041/

чисто на рефлексе промотал поляную из твиттеринок, а там оказывается и конец статья

вау

GoldRobot написал 4 минуты назад:

Ты получается кор пилил?

Я не понимаю какой кор

3 фул тайма в тиме

Каждый естественно более менее знал всю кодобазу что-то грубже что-то нет

Так и как оно работает то?

GoldRobot написал 42 минуты назад:

https://habr.com/ru/company/hexlet/blog/649041/

И ты это прочитал? 

GoldRobot написал 21 минуту назад:

Так и как оно работает то?

Ну я статью кидал

Три сервиса - один для прохода по первым уровням графа второй для прохода по последним

третий для хранения в инхаус распределенной файловой системе нод графа с информацией о соседях

бля хотел бы я в резюме строчку "запилил рекомендательную систему в тиктоке с помощью йоба knn" 

Это не рекомендательная система хотя вроде в ней он щас тоже используется

Первичная функция это находить похожие или дублирующие видео при загрузке и не допускать их

Grohuf написал 12 минут назад:

 

GoldRobot написал 55 минут назад:

https://habr.com/ru/company/hexlet/blog/649041/

И ты это прочитал? 

Гоншь чтоли

Открыл, увидел твит, скрольнул, скрольнул, пошли коменты. Охуел поорал.

Vova написал 6 минут назад:

Ну я статью кидал

 

Кинь еще раз.

Алгоритмически это как все выглядит? Я не представляю как анализируются видео, и как с них получают вектора.

GoldRobot написал 1 минуту назад:

Алгоритмически это как все выглядит? Я не представляю как анализируются видео, и как с них получают вектора.

Ну это называется embedding - с помощью нейросети видео а точнее в моем случае картинку из него преобразуют в ветор из double размерности 1024

Этим конечно же занимается другая команда Хотя я там тоже участвовал какое-то время

Короче в итоге задача сводиться к поиску ближайших векторов и в размерности 1024 это... тяжело и не очень работает

Но все таки немного работает и алгоритм тут https://arxiv.org/ftp/arxiv/papers/1603/1603.09320.pdf

https://www.quora.com/What-is-image-embedding

Vova написал 5 минут назад:

с помощью нейросети видео а точнее в моем случае картинку из него преобразуют в ветор из double размерности 1024

Я знаю как распознование лиц работает, у нас в офисе все по ним ходят. И я делал это в том числе. Но вот я не представляю как это в видео работает. Там кадров то дохуя раз, и из них каждый матчить это никакой мощи нехватит. Несколько радров матчить если? Берете случайные отрезки там одну секунду две, и на их основе уже вектора считаете? А если перекодировать и буквально несколько пикселей поотрезать, это ведь уже вектора поменяются, нет?

Тоесть я спрашиваю про специфику работы с видео. Грубо предположим что картинки я знаю как поиндексить отдельные.

Что для обработки видосов добавляется? Как выбирается отрезок по которому расчет идет? Сколько их, и какой длины?

GoldRobot написал 6 минут назад:

Vova написал 9 минут назад:

с помощью нейросети видео а точнее в моем случае картинку из него преобразуют в ветор из double размерности 1024

Я знаю как распознование лиц работает, у нас в офисе все по ним ходят. И я делал это в том числе. Но вот я не представляю как это в видео работает. Там кадров то дохуя раз, и из них каждый матчить это никакой мощи нехватит. Несколько радров матчить если? Берете случайные отрезки там одну секунду две, и на их основе уже вектора считаете? А если перекодировать и буквально несколько пикселей поотрезать, это ведь уже вектора поменяются, нет?

Во первых можно делать embedding чего угодно Что тебя удивляет? Нейросеть все схавает

Сдругой стороны видео отлично описывается картинкой + потоком (куда что движется на картинке) взятыми раз в секунду

Во вторых по-моему тикток просто берет несколько кадров из нового видео и смотрит сколько из них дублируются имеющимися Если продублировано много видео считается дублирующим

Так что все довольно тупо с одной стороны С другой стороны там разные метапараметры чтобы это все работало

GoldRobot написал 8 минут назад:

А если перекодировать и буквально несколько пикселей поотрезать, это ведь уже вектора поменяются, нет?

Ты явно не понимаешь как работает embedding

Суть embedding в том чтобы случайный шум или несколько пикселей почти не меняли значения получившегося вектора

Vova написал 4 минуты назад:

Во вторых по-моему тикток просто берет несколько кадров из нового видео и смотрит сколько из них дублируются имеющимися

Так в том то и дело, какие несколько кадров? Берем раз в секунду опорный кадр, и по ним уже матчим?

Получается на точность в целом забиваем, и надеемся что пользователь долбаеб и не осилил хотя бы подрезать и несколько сместить кадр. Ну и пусть там танцульки на видосе, а не эпилептик контент когда чутка сместившись по времени будем получать кардинально разные вектора.

Grohuf написал 7 часов назад:

besteady написал 7 часов назад:

По-моему если в Яндекс пройти то они даже помогут с поиском хаты 

Не знаю, как насчет поиска, но предоставляется жилье на первый месяц, а также деньги на релокацию.

с условиями год отработать иначе вернуть, насколько помню

kez написал 5 часов назад:

Особенно, если есть тачка: закинул всё говно в багажник и салон

чел

обычно переезд это несколько кубометров + несколько сотен КГ. если у тебя не газель это не влезет

это если мебель не перевозить

GoldRobot написал 7 минут назад:

Vova написал 18 минут назад:

Во вторых по-моему тикток просто берет несколько кадров из нового видео и смотрит сколько из них дублируются имеющимися

Так в том то и дело, какие несколько кадров? Берем раз в секунду опорный кадр, и по ним уже матчим?

Получается на точность в целом забиваем, и надеемся что пользователь долбаеб и не осилил хотя бы подрезать и несколько сместить кадр. Ну и пусть там танцульки на видосе, а не эпилептик контент когда чутка сместившись по времени будем получать кардинально разные вектора.

Блять сука

Embedding определяет например если есть собака в кадре то дает 1 если нет то дает -1

То что ты подрежишь там или сместишь нихуя не обманет нейросеть