Программирование, т. 8

 

какой стейт?

краш это условно комп вырубился во время выполнения

 

я пока не нашел как это сделать даже на С не говоря уже про джаву

самое банальное - 

перед началом чтения файла  пишем в лог/дамп текущий шаг

после пишем что завершили шаг

etc

если крашнулось - начинаем с момента завершения предыдущего шага

я ж не знаю что у тебя значит процессить

 

записать шаг звучит пиздато конечно но ты хоть представляешь как это сделать?

в этом собственно и заключается вопрос как мне сохранить какую-то информацию о том где я был и как потом с этой точки продолжить

ладно пойду на стековерфлоу лучше попробую спросить

 

 

какой стейт?

краш это условно комп вырубился во время выполнения

 

я пока не нашел как это сделать даже на С не говоря уже про джаву

самое банальное - 

перед началом чтения файла  пишем в лог/дамп текущий шаг

после пишем что завершили шаг

etc

если крашнулось - начинаем с момента завершения предыдущего шага

я ж не знаю что у тебя значит процессить

 

записать шаг звучит пиздато конечно но ты хоть представляешь как это сделать?

в этом собственно и заключается вопрос как мне сохранить какую-то информацию о том где я был и как потом с этой точки продолжить

 

ладно пойду на стековерфлоу лучше попробую спросить

 

Я тоже до конца не понимаю, что значит процессить. Но у тебя же там полюбому есть какой-то шаг - ты берешь первый файл и как только его взял записываешь в логи (или в базу). После краша начинаешь "процессить" все, где нет инфы о старте и завершении "процессинга"

А потом последовательность/названия/количество/вместимость файлов поменялась и еще раз краш и так сансара 

я хочу вообще не проходить по той части что я уже прошел

наверное тут никак не получится без того чтобы сохранить список всех файлов (полных путей к ним) и потом уже по нему итерироваться и писать номер элемента где закончил

при восстановлении прочитать этот список и продолжить с элемента где закончил

LifeIsPain ой бля хуйню не пиши офк всякие исключения не приводят к крашу. краш это условно железо наебнулось

ясн все с вами

подожду гуру переднего конца

я хочу вообще не проходить по той части что я уже прошел

 

наверное тут никак не получится без того чтобы сохранить список всех файлов (полных путей к ним) и потом уже по нему итерироваться и писать номер элемента где закончил

при восстановлении прочитать этот список и продолжить с элемента где закончил

 

 

LifeIsPain ой бля хуйню не пиши офк всякие исключения не приводят к крашу. краш это условно железо наебнулось

блять что тебе мешает записывать в файлик не один integer 

а идентификаторы файлов по которым ты уже прошелся 

if (prosholsya(file_id)) continue;

мне мешает мое нежелание сканить файловую систему заново

допустим я просканил 99% файлов и тут все крашнулось

если я записал все пути к файлам изначально, то я продолжу с файла перед крашем

а если я записывал файлы которые я уже запроцесил, то мне опять придется пройтись по всем файлам и чекать запроцесил я их или нет

Так состояние расположения файлов не постоянно, как ты собрался без повторного скана это делать?

это всё равно бессмысленно, тк ты не знаешь, что изменилось в файловой системе с прошлого запуска твоей программы

пиши в лог себе перед чтением очередной папки путь к ней, до глубины 5, например, при запуске если увидел, что в логах не написано, что ты дочитал до конца, высчитываешь вершину иерархии, которую ты не прочел, и читаешь оттуда заново

максимум просканишь повторно одну папку и ее подпапки

контент директории меняться не будет пока не закончим, так что это не нужно

ну храни обработанные файлы в другом месте, в конце процессинга файла просто муваешь туда

del

ладно если серьезно то мувать файлы не хочется потому что потом надо будет удалять старую директорию а это пиздец стремно

сук ему еще и не нравится 

 

ясн все с вами
подожду гуру переднего конца

Да ты же сам себе ответил) сокеты самое норм

 

ServerSentEvent говорят еще

https://github.com/akka/akka-http/blob/master/akka-http-core/src/main/scala/akka/http/scaladsl/model/sse/ServerSentEvent.scala

 

какой стейт?

краш это условно комп вырубился во время выполнения

 

я пока не нашел как это сделать даже на С не говоря уже про джаву

самое банальное - 

перед началом чтения файла  пишем в лог/дамп текущий шаг

после пишем что завершили шаг

etc

если крашнулось - начинаем с момента завершения предыдущего шага

я ж не знаю что у тебя значит процессить

 

это не самое банальное, это помоему единственное решение

всегда всё через файлы делается (тк самая быстрая операция по сохранению текущего стейта вне приложения) + пишется просто лог действий

какой стейт?

краш это условно комп вырубился во время выполнения

 

я пока не нашел как это сделать даже на С не говоря уже про джаву

ты ебобо, это написать 2 часа на любом языке

а ищешь это наверное уже полдня

я искал как это сделать без записывания списка файлов, типо передать в каком-то виде точку где я закончил и рутовую директорию и чтобы файловая система мне выдавала дальше файлы

не факт что такого нет бтв, но я ничего такого не нашел

я хочу вообще не проходить по той части что я уже прошел

 

наверное тут никак не получится без того чтобы сохранить список всех файлов (полных путей к ним) и потом уже по нему итерироваться и писать номер элемента где закончил

при восстановлении прочитать этот список и продолжить с элемента где закончил

1 и 2 абзацы это одно и то же

вопрос откуда ты берешь "список всех файлов"

можно сделать просто linux: find . * или java traverse file tree - в общем то как ты первоначально получаешь это. ты можешь это сохранить, но тут смысл такойже как в кешировании. если тебе это надо - можешь соптимиздить. если нет, то при старте запрашивать все пути файлов, поднимать с диска стейт по их обработке, а дальше идти по необработанным

карчое это всё одно и тоже, вопрос нафиг тебе кэшировать все пути, я хз.

кажись я начал чото понимать, вот нахуярил:

((_|[A-z])+(\d|_|[A-z])*((\|\|)|(&&)))*(_|[A-z])+(\d|_|[A-z])*->(_|[A-z])+(\d|_|[A-z])*

я искал как это сделать без записывания списка файлов, типо передать в каком-то виде точку где я закончил и рутовую директорию и чтобы файловая система мне выдавала дальше файлы

не факт что такого нет бтв, но я ничего такого не нашел

шо ты несешь

что блять значит "ДАЛЬШЕ" ? кто тебя знает в какой последовательности ты их процессишь

нахуя искать то что пишется за пару часов

ты явно что-то не понимаешь

 

setTimeout + рефреш страницы

очень изи

чот даже я в курсе что это очень хуевое решение

 

Нормальное решение,  если хочешь лучше то ебашь через сокеты

 

я искал как это сделать без записывания списка файлов, типо передать в каком-то виде точку где я закончил и рутовую директорию и чтобы файловая система мне выдавала дальше файлы

не факт что такого нет бтв, но я ничего такого не нашел

шо ты несешь

что блять значит "ДАЛЬШЕ" ? кто тебя знает в какой последовательности ты их процессишь

нахуя искать то что пишется за пару часов

 

ты явно что-то не понимаешь

 

система возвращает файлы в некоторой последовательности. в теории может существовать апи которое вернет мне следующий файл если я задам последний файл что мне вернули и рутовую директорию