Программирование[9]

[moonfangtopich]

ну и ваще говно-аналитика от канта, в текущем виде с shallow=True оно просто сравнивает размер файлов и время последней модификации, считая, что файлы одинаковые, если обе штуки идеально совпали, т.е. в таком сценарии в принципе похуй на n^2

[E1azor]

252 страница сорптируем пузырьком

не зря я тему сортировки поднимал походу

[Kant]

besteady написал 1 минуту назад:

Kant написал 8 минут назад:

нормально у тебя O(n^2) сравнивалка файлов

может там у чела терабайт порно видосов одинаковых, к концу года сравнишь

хоть бы хэши прикрутил

Так если n это количество файлов, это нормально не?

Да и shallow=True можно условно сказать, что хэш

N и есть количество файлов, чем ему еще быть?

даже если этот shallow считает хэш внутри сам, он всё равно читает файл, чтобы посчитать этот хэш

зачем это делать на каждый круг по N раз, у тебя что файлы меняются?

сделал группировку по размеру, кого больше 1 в группе, среди этой группы посчитать хэши и погруппировать по ним, а дальше уже сравнивать оставшийся мизер совпавших хэшей в новых подгруппах чем угодно.

[Kant]

moonfangtopich написал 3 минуты назад:

ну и ваще говно-аналитика от канта, в текущем виде с shallow=True оно просто сравнивает размер файлов и время последней модификации, считая, что файлы одинаковые, если обе штуки идеально совпали, т.е. в таком сценарии в принципе похуй на n^2

это вообще не сравнение в таком случае

[E1azor]

в этом и заключаются подводные камни питона (или хз чё там за код)

чел не понимает что делает написанная программа

[moonfangtopich]

Kant said Just now:

moonfangtopich said 4 minutes ago:

ну и ваще говно-аналитика от канта, в текущем виде с shallow=True оно просто сравнивает размер файлов и время последней модификации, считая, что файлы одинаковые, если обе штуки идеально совпали, т.е. в таком сценарии в принципе похуй на n^2

это вообще не сравнение в таком случае

ну давай расскажи мне тут как я должен был учесть эдж кейсы, когда случайным образом у файлов совпали размеры в байтах и время модификации тоже с каким-то ебануто мелким разрешением

 

я послухаю вот так, а скрипт в это время идеально отработает)))

[UglyBastard]

Kant написал 1 минуту назад:

даже если этот shallow считает хэш внутри сам, он всё равно читает файл, чтобы посчитать этот хэш

Ну вот именно, что нет "If shallow is true, files with identical os.stat() signatures are taken to be equal"

 

Но вообще имеет смысл посчитать нормальный хэш, чтобы можно было находить одинаковые файлы, которые мелко отличаются. Но тут по идее какой хэш брать зависит от типа файла. Для картинок такой точно есть на двощах в куклоскрипте так картинки можно скрывать похожие.

Kant написал 5 минут назад:

зачем это делать на каждый круг по N раз, у тебя что файлы меняются?

Если с shallow=True то почему не похуй

[Lorde - Sober ll]

нужна неделя чтобы прочитать код

[moonfangtopich]

видимо тут caveat в том, что можно скопировать текстовый файлик, поменять в нем букву, сохранить, потом вернуть как было и сохранить опять

 

пиздец нахуй наебали алгоритм!! наверняка у того чела именно такая ситуация

asparkam said 1 hour ago:

Как написать программу, которая удаляет одинаковые файлы, но оставляет оригинал. Например, по размеру файла.

))))) упс

[Just.Doit]

Kant написал 29 минут назад:

нормально у тебя O(n^2) сравнивалка файлов

может там у чела терабайт порно видосов одинаковых, к концу года сравнишь

хоть бы хэши прикрутил

при колизии выкинешь файл, который может быть единственный в своем виде компромат на путина?

если worst case scenario то без потери данных быстрее не сделать же

 

 

 

а решение я бы сказал должно работать с кейсом, когда ты 10 раз скачиваешь файл в хроме - у тебя 10 одинаковых файлов с названиями (1), (2) и тд. при этом дата создания/созхранения/изменения у них разная

Изменено 29 мая 2020 пользователем Just.Doit

[moonfangtopich]

Just.Doit said 5 minutes ago:

а решение я бы сказал должно работать с кейсом, когда ты 10 раз скачиваешь файл в хроме - у тебя 10 одинаковых файлов с названиями (1), (2) и тд. при этом дата создания/созхранения/изменения у них разная

ну можно подправить под этот кейс, изменив одну строчку

[GoldRobot]

Конфиг в коде

как круто

[UglyBastard]

Just.Doit написал 14 минут назад:

а решение я бы сказал должно работать с кейсом, когда ты 10 раз скачиваешь файл в хроме - у тебя 10 одинаковых файлов с названиями (1), (2) и тд. при этом дата создания/созхранения/изменения у них разная

Как ни странно всё будет ок

 

Видимо он на время создания, изменения не смотрит 

besteady написал 4 минуты назад:

изменения не смотрит 

Хотя я не понял

[moonfangtopich]

besteady said 15 minutes ago:

besteady said 15 minutes ago:

изменения не смотрит 

Хотя я не понял

жиза, тоже туда пошел и че-то не понял

 

==========

 

а, ну понятно, если сигнатура неидентичная, но при этом файлы имеют одинаковый размер, оно фоллбекает до побайтового сравнения. при этом сравнивает не целиком, а по кусочкам, до первого несовпадения (т.е. довольно легкая проверка, можно хоть терабайт фильмов сравнивать)

Изменено 29 мая 2020 пользователем moonfangtopich

[Kant]

moonfangtopich написал 48 минут назад:

Kant написал 51 минуту назад:

moonfangtopich написал 55 минут назад:

ну и ваще говно-аналитика от канта, в текущем виде с shallow=True оно просто сравнивает размер файлов и время последней модификации, считая, что файлы одинаковые, если обе штуки идеально совпали, т.е. в таком сценарии в принципе похуй на n^2

это вообще не сравнение в таком случае

ну давай расскажи мне тут как я должен был учесть эдж кейсы, когда случайным образом у файлов совпали размеры в байтах и время модификации тоже с каким-то ебануто мелким разрешением

 

я послухаю вот так, а скрипт в это время идеально отработает)))

да изи

любая прога дампящая кадры с видео нагенерит тебе тысячи файлов одинакового размера за секунду, хули ей

или какой-нибудь архиватор который просто проебал все настоящие времена файлов и они теперь одинаковые

и еще пару сотен тысяч вариантов

 

 

Just.Doit написал 40 минут назад:

Kant написал 1 час назад:

нормально у тебя O(n^2) сравнивалка файлов

может там у чела терабайт порно видосов одинаковых, к концу года сравнишь

хоть бы хэши прикрутил

при колизии выкинешь файл, который может быть единственный в своем виде компромат на путина?

если worst case scenario то без потери данных быстрее не сделать же

 

 

 

а решение я бы сказал должно работать с кейсом, когда ты 10 раз скачиваешь файл в хроме - у тебя 10 одинаковых файлов с названиями (1), (2) и тд. при этом дата создания/созхранения/изменения у них разная

 

у тебя чет с чтением траблы, я же написал, что в оставшихся подгруппах с совпадающими хэшами придется проверять, но это много меньше чем крутится кадратично во всей группе с одинаковым размером, лол, если у тебя вообще хоть 1 такая найдется, кроме реальных дублей

 

moonfangtopich написал 18 минут назад:

besteady написал 25 минут назад:

besteady написал 25 минут назад:

изменения не смотрит 

Хотя я не понял

жиза, тоже туда пошел и че-то не понял

 

==========

 

а, ну понятно, если сигнатура неидентичная, но при этом файлы имеют одинаковый размер, оно фоллбекает до побайтового сравнения. при этом сравнивает не целиком, а по кусочкам, до первого несовпадения (т.е. довольно легкая проверка, можно хоть терабайт фильмов сравнивать)

 

опа, а вот и скан файлов по кругу в двойном цикле подъехал, нежданчик

[moonfangtopich]

Я НЕ ПОНИМАЮ, ЧТО ТЫ ПЫТАЕШЬСЯ МНЕ ДОКАЗАТЬ
 

что сравнение файлов на идентичность имеет кучу пограничных случаев, почти никакие из которых не покрыты моим скриптом на 15 строчек? ноу шит братан

 

другой вопрос, что почти наверняка придет тот, кому это предназначалось, и скажет "бля от души братуха, отработало как часы" - на этом моменте нужно будет остановиться и подумать, к чему была вся эта дискуссия с пенсне на глазу

[UglyBastard]

Kant написал 7 минут назад:

опа, а вот и скан файлов по кругу в двойном цикле подъехал, нежданчик

Чтобы это было плохо нужны какие-то овер специфические данные. Одинакового размера с длинным одинаковым началом. Дефолтные видосы/картинки/текст не подойдут

[Index]

asparkam написал 2 часа назад:

Как написать программу, которая удаляет одинаковые файлы, но оставляет оригинал. Например, по размеру файла. Ну или просто выборка без удаления, с оставлением одной копии. Файлы находятся в обычной папке windows

    public static void main(String[] args) throws IOException
    {
        Path start = null;
        DuplicateDeleteFileVisitor visitor =
            new DuplicateDeleteFileVisitor(DuplicateDeleteFileVisitor.ComparePolicy.NAME);
        Files.walkFileTree(start, visitor);
        visitor.delete();
    }


    public static class DuplicateDeleteFileVisitor extends SimpleFileVisitor<Path>
    {


        enum ComparePolicy
        {NAME, SIZE;}
        private final Set<Path> toDelete;
        private final Set<CompareFileAttributes> processed;

        public DuplicateDeleteFileVisitor(ComparePolicy comparePolicy)
        {
            this.toDelete = new HashSet<>();
            this.processed = new TreeSet<>(comparePolicyComparatorFactory(comparePolicy));
        }

        public void delete()
        {
            toDelete.forEach(path -> path.toFile().delete());
        }

        @NotNull
        private Comparator<CompareFileAttributes> comparePolicyComparatorFactory(ComparePolicy comparePolicy)
        {
            switch (comparePolicy)
            {
                case NAME:
                    return Comparator.comparing(CompareFileAttributes::getName);
                case SIZE:
                    return Comparator.comparing(CompareFileAttributes::getSize);
                default:
                    throw new IllegalArgumentException();
            }
        }

        public FileVisitResult visitFile(Path path, BasicFileAttributes fileAttributes) throws IOException
        {

            if (fileAttributes.isRegularFile())
            {
                CompareFileAttributes compareFileAttributes = CompareFileAttributes.builder()
                                                                  .creationTime(fileAttributes.creationTime())
                                                                  .name(path.toFile().getName())
                                                                  .size(path.toFile().length())
                                                                  .build();
                if (!processed.add(compareFileAttributes))
                {
                    toDelete.add(path);
                }
            }
            return FileVisitResult.CONTINUE;
        }

        @Value
        @Builder
        static class CompareFileAttributes
        {
            String name;
            FileTime creationTime;
            long size;
        }
    }

На самом деле не суперэффективно, ибо не параллельно

, и O(log n) из-за TreeSet а его использовал потому, что он позволяет передать свой equals компаратор по сути.

 

Можно легко допилить сюда множество своих критериев сравнения и поддержку одновременного поиска дубликатов по нескольким критериям.

Ах да, потратил 20 минут своей жизни на эту хуйню 

[GoldRobot]

потратил 0 мне норм

[UglyBastard]

Кто на плюсах напишет решение скриптовой задачи?