Программирование[11]

[GoldRobot]

ArzanisAncient написал 4 часа назад:

Я тебе предлагал вон 8000 по дефолту ставить, тебя всё равно не устроило.

Потому что 8000 это вообще ни тебе, ни мне, непонятно для чего.

ural1qqq написал 1 час назад:

база данных как пизда любимой женщины

ходить в нее должен только один пользователь

 

а если больше, то ты лох рогатый имхо

а в базе заведутся мандавошки

ArzanisAncient написал 9 часов назад:

У меня в базу может лезть 20 систем так или иначе

Делаем вывод:

Азанист - куколд 

[Arzanis]

GoldRobot написал 4 часа назад:

Потому что 8000 это вообще ни тебе, ни мне, непонятно для чего.

...

[GoldRobot]

?

[krasavec]

Index написал 22.02.2023 в 11:31:

krasavec написал 22.02.2023 в 03:42:

беру на работу разработчиков на языке джавы (не ее конечно же)

резюме в личку

5к$+ предложишь?

есть такие зарплаты у меня в департаменте если ты не зашоренный микросервисами финтехспец (не работал в галерах и не писал говнософт для банков) который умеет проектировать а не следовать гаэдлайнам.

резюме в личку.

[Index]

krasavec написал 4 часа назад:

Index написал 22.02.2023 в 10:31:

krasavec написал 22.02.2023 в 02:42:

беру на работу разработчиков на языке джавы (не ее конечно же)

резюме в личку

5к$+ предложишь?

есть такие зарплаты у меня в департаменте если ты не зашоренный микросервисами финтехспец (не работал в галерах и не писал говнософт для банков) который умеет проектировать а не следовать гаэдлайнам.

резюме в личку.

Ну вот сперва джаву просят, а потом проектировать, ещё и на микросервисы наехал.

Скрытый текст

В любом случае я до 2024 обещал ПМу остаться на текущем месте

 

[Just.Doit]

Vova написал 18 часов назад:

Just.Doit написал 23 часа назад:

кидай датапоинты

https://www.levels.fyi/t/software-engineer?countryId=91&showAllRegions=true&sortBy=total_compensation&sortOrder=DESC&offset=0&sinceDate=year

чето не увидел где там плюсы

Index написал 4 часа назад:

В любом случае я до 2024 обещал ПМу остаться на текущем месте

раб

[SubTraTo]

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

[GoldRobot]

На перфокартах работаешь?

Что значит без записи в оперативку.

 

Скинь сразу лабу и все.

Изменено 11 марта 2023 пользователем GoldRobot

[SubTraTo]

на других языках советы тоже принимаю 

[Arzanis]

SubTraTo написал 6 минут назад:

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

Вот тут тема видео другая, но чел делает вроде то что тебе надо с делением по частям и всякими оптимизациями

По крайней мере какие-то идеи должны подойти.

[Just.Doit]

SubTraTo написал 12 часов назад:

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

для начала реши и опиши как бы ты это делал в памяти.

соответственно без  вызова команды shuffle из std. сам алгоритм перемешивания какой?

SubTraTo написал 12 часов назад:

на других языках советы тоже принимаю 

в том что ты спрашиваешь - язык вообще не важен

Изменено 12 марта 2023 пользователем Just.Doit

[UglyBastard]

SubTraTo написал 12 часов назад:

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

я не понял, что ты хочешь... ты бы мог реально условие нормально расписать

[SubTraTo]

Just.Doit написал 33 минуты назад:

SubTraTo написал 12 часов назад:

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

для начала реши и опиши как бы ты это делал в памяти.

соответственно без  вызова команды shuffle из std. сам алгоритм перемешивания какой?

SubTraTo написал 12 часов назад:

на других языках советы тоже принимаю 

в том что ты спрашиваешь - язык вообще не важен

 

 

besteady написал 5 минут назад:

SubTraTo написал 12 часов назад:

привет друзья как без записи в оперативку перемешать строчки в огроменном текстовом файле сортированому по алфавиту ( при делении на чанки буквы алфавита будут перемешиваться друг с другом и в итоге все равно будет начинаться с а б с )

С#

я не понял, что ты хочешь... ты бы мог реально условие нормально расписать

хорошо сори вчера сонный чуть был попробую более подробно

я работаю с текстовыми файлами большими, со строками
мне нужно удалять дубли строк и перемешивать их
что бы это происходило мне нужно что бы промежуточный результат записывался, он записывается в оперативную память
проблему с удалением дублей я решил так:
делю сначала строки по алфавиту, затем разбиваю по первым символам/буквам/цифрам, затем из этих файлов удаляются дубли строк и заново склеиваются в единый результат, таким образом оперативная память работает с каждым файлом отдельно и не упирается в свои лимиты 

Теперь же мне надо, что бы результат перемешивался а не был в алфавитном порядке
если я мешаю так же, разбивая на файлы по алфавиту/символам, то получается у меня строки с буквами алфавита, к примеру буква а, перемешивается только с буквой а, и в результате перемешивание сходит на нет

 

[Just.Doit]

SubTraTo написал 5 минут назад:

делю сначала строки по алфавиту, затем разбиваю по первым символам/буквам/цифрам, затем из этих файлов удаляются дубли строк и заново склеиваются в единый результат, таким образом оперативная память работает с каждым файлом отдельно и не упирается в свои лимиты 

можно просто сортировать файл и бежать окном, записывая недублирующиеся строки в результирующий файл

без этих танцев с бубном

 

сортировать большие файлы умеет утилита юникса sort. все что ты делал можно в 1 строчку команды записать

 

про шафл - там скорее всего тоже есть утилита.

 

ставлю 9 к 1 что в винде все эти утилиты перенесены в павершел

 

 

 

если тееб все таки надо реализовать перемешивание самому.

то еще раз спрашиваю. какой алгоритм перемешивания ты хочешь использовать?

просто реализуй его на файлах 

я понимаю что ты привык что у тебя в языке array.shuffle есть, но это так не работает, тебе надо знать целевой алгоритм и перенести его на файловую систему

ну или юзать командную строку

Изменено 12 марта 2023 пользователем Just.Doit

[SubTraTo]

Just.Doit написал 12 минут назад:

сортировать большие файлы умеет утилита юникса sort. все что ты делал можно в 1 строчку команды записать

 

про шафл - там скорее всего тоже есть утилита.

 

ставлю 9 к 1 что в винде все эти утилиты перенесены в павершел

я этим и пользуюсь долгое время

удаляет дубли оно без проблем, но для этого расставляет по алфавиту, собственно отсюда идею я и взял
шафл всегда в оперативную память упирается, если делить по частям а потом шафлить через это же, получится что файл, отсортированный по алфавиту, делить более мелкие файлы, тоже перемешивание такое себе получится

 

Just.Doit написал 17 минут назад:

можно просто сортировать файл и бежать окном, записывая недублирующиеся строки в результирующий файл

что значит бежать окном?
пока файл до конца не считается как программа узнает что дублей больше нет? т.е записывать сразу не может. Например дубль первая строчка и последняя

 

Just.Doit написал 35 минут назад:

если тееб все таки надо реализовать перемешивание самому.

то еще раз спрашиваю. какой алгоритм перемешивания ты хочешь использовать?

просто реализуй его на файлах 

ока посмотрю, спасибо

[hira88]

SubTraTo написал 1 минуту назад:

удаляет дубли оно без проблем, но для этого расставляет по алфавиту, собственно отсюда идею я и взял
шафл всегда в оперативную память упирается, если делить по частям а потом шафлить через это же, получится что файл, отсортированный по алфавиту, делить более мелкие файлы, тоже перемешивание такое себе получится

в 2023 еслиб мне нужно было чтото подобное - ябвзял pytorch или tensorflow и методами загрузки датасетов и сортировки все отсортировал

в ML библиотеках самые оптимизированные способы работы с данными

[Just.Doit]

SubTraTo написал 20 минут назад:

пока файл до конца не считается как программа узнает что дублей больше нет

так что отсортировано 

SubTraTo написал 22 минуты назад:

ока посмотрю, спасибо

вообще тебе интернета то не хватило для ответа на вопрос?

https://www.google.com/search?q=shuffle+large+file

[NFT)Late]

получив добавку в 10к EUR к годовой зп :) флекшу с 80к и 3 налоговым классов в Германии

[Ember_Xinit]

Сколько тут примерно платят? Интересно просто https://rabota.sber.ru/search/4128043/
 

Сколько щас програмистеры получают после хайринг фриз ?

[Index]

 

SubTraTo написал 2 часа назад:

Just.Doit написал 2 часа назад:

сортировать большие файлы умеет утилита юникса sort. все что ты делал можно в 1 строчку команды записать

 

про шафл - там скорее всего тоже есть утилита.

 

ставлю 9 к 1 что в винде все эти утилиты перенесены в павершел

я этим и пользуюсь долгое время

удаляет дубли оно без проблем, но для этого расставляет по алфавиту, собственно отсюда идею я и взял
шафл всегда в оперативную память упирается, если делить по частям а потом шафлить через это же, получится что файл, отсортированный по алфавиту, делить более мелкие файлы, тоже перемешивание такое себе получится

 

Just.Doit написал 2 часа назад:

можно просто сортировать файл и бежать окном, записывая недублирующиеся строки в результирующий файл

что значит бежать окном?
пока файл до конца не считается как программа узнает что дублей больше нет? т.е записывать сразу не может. Например дубль первая строчка и последняя

 

Just.Doit написал 2 часа назад:

если тееб все таки надо реализовать перемешивание самому.

то еще раз спрашиваю. какой алгоритм перемешивания ты хочешь использовать?

просто реализуй его на файлах 

ока посмотрю, спасибо

https://stackoverflow.com/a/24492814

Вот тут парень тулзу делал для шафла огромных файлов

https://github.com/alexpreynolds/sample

которая жрет как меньше памяти так и быстрее работает