Программирование[11]

Не получается. Нужно просто хотябы .txt форматы скачать. Нафиг их в zip засовывать. Они с ошибками и половина не открывается. :(

yellyex написал 9 минут назад:

... написал 11 минут назад:

yellyex написал 12 минут назад:

Arzanis написал 13 минут назад:

 

yellyex написал 34 минуты назад:

Не, чё то не то. Не всё скачивает.

 

Тебе же написали что только для txt написано.

А я не видел :)

В общем он на рандомной книге ошибку выдаёт. 

Ну корчое ещё раз спасибо.

скинь ошибку текстом а не скрином 

В общем он всё скачивает, а на рандомной книге выдаёт ошибку.

 

Traceback (most recent call last):
  File "C:/Users/User/Desktop/parcer.py", line 36, in <module>
    asyncio.run(get_books_links('https://royallib.com/genre/voennoe_delo/'))
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 194, in run
    return runner.run(main)
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 118, in run
    return self._loop.run_until_complete(task)
  File "C:\Program Files\Python312\Lib\asyncio\base_events.py", line 687, in run_until_complete
    return future.result()
  File "C:/Users/User/Desktop/parcer.py", line 14, in get_books_links
    await asyncio.gather(*tasks)
  File "C:/Users/User/Desktop/parcer.py", line 25, in download_book
    with open(f"{book_name}.zip", 'wb') as f:
OSError: [Errno 22] Invalid argument: 'iz_otchyota__3_vl_ginzburga_"1_ispolzovanie_Li6D_v_sloyke…".zip'

 

Эта хуйня (сайт) возвращает 200 "file not found", вместо 404. Поэтому падает. Проверяй вместо response.status == 200 еще и чтобы ответ не был "file not found"

... написал 7 минут назад:

на маке работает так что дальше сам...

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я сам мудак. Это сам сайт их засовывает  :)

Сорян сорян.

Arzanis написал 4 минуты назад:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

Arzanis написал 4 минуты назад:

yellyex написал 16 минут назад:

... написал 17 минут назад:

yellyex написал 19 минут назад:

Arzanis написал 20 минут назад:

 

yellyex написал 41 минуту назад:

Не, чё то не то. Не всё скачивает.

 

Тебе же написали что только для txt написано.

А я не видел :)

В общем он на рандомной книге ошибку выдаёт. 

Ну корчое ещё раз спасибо.

скинь ошибку текстом а не скрином 

В общем он всё скачивает, а на рандомной книге выдаёт ошибку.

 

Traceback (most recent call last):
  File "C:/Users/User/Desktop/parcer.py", line 36, in <module>
    asyncio.run(get_books_links('https://royallib.com/genre/voennoe_delo/'))
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 194, in run
    return runner.run(main)
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 118, in run
    return self._loop.run_until_complete(task)
  File "C:\Program Files\Python312\Lib\asyncio\base_events.py", line 687, in run_until_complete
    return future.result()
  File "C:/Users/User/Desktop/parcer.py", line 14, in get_books_links
    await asyncio.gather(*tasks)
  File "C:/Users/User/Desktop/parcer.py", line 25, in download_book
    with open(f"{book_name}.zip", 'wb') as f:
OSError: [Errno 22] Invalid argument: 'iz_otchyota__3_vl_ginzburga_"1_ispolzovanie_Li6D_v_sloyke…".zip'

 

Эта хуйня (сайт) возвращает 200 "file not found", вместо 404. Поэтому падает. Проверяй вместо response.status == 200 еще и чтобы ответ не был "file not found"

 

... написал 13 минут назад:

на маке работает так что дальше сам...

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

а все я понял 

файл сохраняется но по факту он пустой

надо проверки накручивать что книга существует и что книга есть в таком формате

тз не было так что имеем что имеем 

Скачал парсер с гитхаба для tululu.org и он не работает 

https://github.com/GeorgyMaximov/tululu-parser

Arzanis написал 6 минут назад:

Arzanis написал 11 минут назад:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

@yellyex крч макось разрешает создать файлы с кавычками, а винда нет. Так что на эскейпить кавычки (и еще мб какие-то символы). Как заэскепить имя файла на пайтоне - нагуглишь сам)

yellyex написал 2 минуты назад:

Скачал парсер с гитхаба для tululu.org и он не работает 

https://github.com/GeorgyMaximov/tululu-parser

 

идет выкачка всего контента на планете 

... написал 4 минуты назад:

yellyex написал 7 минут назад:

Скачал парсер с гитхаба для tululu.org и он не работает 

https://github.com/GeorgyMaximov/tululu-parser

 

идет выкачка всего контента на планете 

Как его запустить-то? :) Через что? Через ярлык?

Там в рид ми написано как. Через командную строку.

yellyex написал 1 минуту назад:

... написал 6 минут назад:

yellyex написал 8 минут назад:

Скачал парсер с гитхаба для tululu.org и он не работает 

https://github.com/GeorgyMaximov/tululu-parser

 

идет выкачка всего контента на планете 

Как его запустить-то? :) Через что? Через ярлык?

git clone https://github.com/GeorgyMaximov/tululu-parser.git

cd tululu-parser

pip install -r requirements.txt

потом в зависимости от того что тебе надо сделать 

https://github.com/GeorgyMaximov/tululu-parser?tab=readme-ov-file#parse_tululu_categorypy

Кому нужны деньги с работы, когда можно собирать лайки с йелекса на ПД

РАБота 

Arzanis написал 23 минуты назад:

Arzanis написал 30 минут назад:

Arzanis написал 36 минут назад:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

@yellyex крч макось разрешает создать файлы с кавычками, а винда нет. Так что на эскейпить кавычки (и еще мб какие-то символы). Как заэскепить имя файла на пайтоне - нагуглишь сам)

Там еще может быть такая хуйня, что в f-стринг одинаковые кавычки (‘’ ‘’ ‘’ ‘’) друг в друга только с питона 3.12 можно вставлять, в предыдущих версиях можно только двойные в одиночные (‘ ‘’ ‘’ ‘) и наоборот. Так что мб тут проблема что на маке новый питон стоит и поэтому все работает, а у елекса прошлая версия <3.12.

RedThunder458 написал 3 минуты назад:

Arzanis написал 31 минуту назад:

Arzanis написал 38 минут назад:

Arzanis написал 44 минуты назад:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

@yellyex крч макось разрешает создать файлы с кавычками, а винда нет. Так что на эскейпить кавычки (и еще мб какие-то символы). Как заэскепить имя файла на пайтоне - нагуглишь сам)

Там еще может быть такая хуйня, что в f-стринг одинаковые кавычки (‘’ ‘’ ‘’ ‘’) друг в друга только с питона 3.12 можно вставлять, в предыдущих версиях можно только двойные в одиночные (‘ ‘’ ‘’ ‘) и наоборот. Так что мб тут проблема что на маке новый питон стоит и поэтому все работает, а у елекса прошлая версия <3.12.

у меня 3.11 так что хз 

У меня 16

у меня 19.5

RedThunder458 написал 3 часа назад:

Кстати, по поводу парсеров, кто-нибудь шарит, если парсить сайт, где все работает на джаваскрипте (динамический контент с постоянным обновлением), который выдает почти пустой html при запросе, есть ли более оптимальный метод для парсинга чем через селениум открывать браузер и читать всю хуйню?

посмотреть как жс дергает апи и дернуть апи самому

Kant написал 33 минуты назад:

RedThunder458 написал 3 часа назад:

Кстати, по поводу парсеров, кто-нибудь шарит, если парсить сайт, где все работает на джаваскрипте (динамический контент с постоянным обновлением), который выдает почти пустой html при запросе, есть ли более оптимальный метод для парсинга чем через селениум открывать браузер и читать всю хуйню?

посмотреть как жс дергает апи и дернуть апи самому

а там проверка на ботов и придётся искать способы обхода

так и становятся профессиональным скрапером или как там

RedThunder458 написал 4 часа назад:

Кстати, по поводу парсеров, кто-нибудь шарит, если парсить сайт, где все работает на джаваскрипте (динамический контент с постоянным обновлением), который выдает почти пустой html при запросе, есть ли более оптимальный метод для парсинга чем через селениум открывать браузер и читать всю хуйню?

мб подход как с гуглом когда сайт сам предоставляет специальные страницы которые парсятся роботом, и как я понял делает обычно это через фреймворки и сервер сайд рендеринг

Arzanis написал 3 часа назад:

когда военкоматы надо было спарсить

нахуя :O