Перейти к публикации

  • Сейчас на странице   Всего пользователей: 3   (0 пользователей, 3 гостя)

Rooster

Программирование[11]

Автор: Rooster, в Мастерская

var  

296 пользователей проголосовало

У вас нет прав на голосование в этом опросе, или на просмотр результатов опроса. Пожалуйста, войдите или зарегистрируйтесь для голосования в опросе.

Рекомендованные сообщения

yellyex   

yellyex

Не получается. Нужно просто хотябы .txt форматы скачать. Нафиг их в zip засовывать. Они с ошибками и половина не открывается. :(

  moonfangtopich написал 29.08.2019 в 11:57:
У вас недостаточно широкий кругозор, пацаны

Я странствия этого еблана видел в покерных топанах, а потом в таверне - это один из самых безумных людей на форуме. Я искренне надеялся, что его зов о помощи останется незамеченным, но нет, нашелся доброволец и вот уже три страницы мы пожинаем плоды

Поделиться сообщением

Ссылка на сообщение

Arzanis   

Arzanis
  yellyex написал 17.09.2024 в 11:21:
  ... написал 17.09.2024 в 11:20:

В общем он всё скачивает, а на рандомной книге выдаёт ошибку.

  

Traceback (most recent call last):
  File "C:/Users/User/Desktop/parcer.py", line 36, in <module>
    asyncio.run(get_books_links('https://royallib.com/genre/voennoe_delo/'))
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 194, in run
    return runner.run(main)
  File "C:\Program Files\Python312\Lib\asyncio\runners.py", line 118, in run
    return self._loop.run_until_complete(task)
  File "C:\Program Files\Python312\Lib\asyncio\base_events.py", line 687, in run_until_complete
    return future.result()
  File "C:/Users/User/Desktop/parcer.py", line 14, in get_books_links
    await asyncio.gather(*tasks)
  File "C:/Users/User/Desktop/parcer.py", line 25, in download_book
    with open(f"{book_name}.zip", 'wb') as f:
OSError: [Errno 22] Invalid argument: 'iz_otchyota__3_vl_ginzburga_"1_ispolzovanie_Li6D_v_sloyke…".zip'

 

Показать больше  



Эта хуйня (сайт) возвращает 200 "file not found", вместо 404. Поэтому падает. Проверяй вместо response.status == 200 еще и чтобы ответ не был "file not found"

 

  ... написал 17.09.2024 в 11:25:

на маке работает так что дальше сам...

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

 

DB


Я - гений, ёпта


22

Поделиться сообщением

Ссылка на сообщение

yellyex   

yellyex

А я сам мудак. Это сам сайт их засовывает  :)

Сорян сорян.

  moonfangtopich написал 29.08.2019 в 11:57:
У вас недостаточно широкий кругозор, пацаны

Я странствия этого еблана видел в покерных топанах, а потом в таверне - это один из самых безумных людей на форуме. Я искренне надеялся, что его зов о помощи останется незамеченным, но нет, нашелся доброволец и вот уже три страницы мы пожинаем плоды

Поделиться сообщением

Ссылка на сообщение

Arzanis   

Arzanis
  Arzanis написал 17.09.2024 в 11:33:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

yellyex понравилось это

 

DB


Я - гений, ёпта


22

Поделиться сообщением

Ссылка на сообщение

...   

...
  Arzanis написал 17.09.2024 в 11:33:
  yellyex написал 17.09.2024 в 11:21:



Эта хуйня (сайт) возвращает 200 "file not found", вместо 404. Поэтому падает. Проверяй вместо response.status == 200 еще и чтобы ответ не был "file not found"

 

  ... написал 17.09.2024 в 11:25:

Чет пиздишь. Как у тебя могла скачаться книга, которой нет на сайте

а все я понял 

файл сохраняется но по факту он пустой

надо проверки накручивать что книга существует и что книга есть в таком формате

тз не было так что имеем что имеем :jokerge:

Поделиться сообщением

Ссылка на сообщение

yellyex   

yellyex
(изменено)

Скачал парсер с гитхаба для tululu.org и он не работает :prichina_tryaski::prichina_tryaski::prichina_tryaski::prichina_tryaski::prichina_tryaski:

https://github.com/GeorgyMaximov/tululu-parser


Изменено пользователем yellyex
  moonfangtopich написал 29.08.2019 в 11:57:
У вас недостаточно широкий кругозор, пацаны

Я странствия этого еблана видел в покерных топанах, а потом в таверне - это один из самых безумных людей на форуме. Я искренне надеялся, что его зов о помощи останется незамеченным, но нет, нашелся доброволец и вот уже три страницы мы пожинаем плоды

Поделиться сообщением

Ссылка на сообщение

Arzanis   

Arzanis
  Arzanis написал 17.09.2024 в 11:38:
  Arzanis написал 17.09.2024 в 11:33:

А я понял "open" работает принципиально по-разному на макоси и винде. Найс язык

@yellyex крч макось разрешает создать файлы с кавычками, а винда нет. Так что на эскейпить кавычки (и еще мб какие-то символы). Как заэскепить имя файла на пайтоне - нагуглишь сам)

 

DB


Я - гений, ёпта


22

Поделиться сообщением

Ссылка на сообщение

...   

...
  yellyex написал 17.09.2024 в 11:45:

Скачал парсер с гитхаба для tululu.org и он не работает :prichina_tryaski::prichina_tryaski::prichina_tryaski::prichina_tryaski::prichina_tryaski:

https://github.com/GeorgyMaximov/tululu-parser

 

идет выкачка всего контента на планете :corona:

yellyex, Seledkin, scarppy и 1 другому понравилось это

Поделиться сообщением

Ссылка на сообщение

yellyex   

yellyex
  ... написал 17.09.2024 в 11:47:
  yellyex написал 17.09.2024 в 11:45:

идет выкачка всего контента на планете :corona:

Как его запустить-то? :) Через что? Через ярлык?

  moonfangtopich написал 29.08.2019 в 11:57:
У вас недостаточно широкий кругозор, пацаны

Я странствия этого еблана видел в покерных топанах, а потом в таверне - это один из самых безумных людей на форуме. Я искренне надеялся, что его зов о помощи останется незамеченным, но нет, нашелся доброволец и вот уже три страницы мы пожинаем плоды

Поделиться сообщением

Ссылка на сообщение

Arzanis   

Arzanis

Там в рид ми написано как. Через командную строку.

 

DB


Я - гений, ёпта


22

Поделиться сообщением

Ссылка на сообщение

...   

...
  yellyex написал 17.09.2024 в 11:52:
  ... написал 17.09.2024 в 11:47:

Как его запустить-то? :) Через что? Через ярлык?

git clone https://github.com/GeorgyMaximov/tululu-parser.git

cd tululu-parser

pip install -r requirements.txt

 

потом в зависимости от того что тебе надо сделать 

https://github.com/GeorgyMaximov/tululu-parser?tab=readme-ov-file#parse_tululu_categorypy

Поделиться сообщением

Ссылка на сообщение

Arzanis   

Arzanis

Кому нужны деньги с работы, когда можно собирать лайки с йелекса на ПД

scarppy понравилось это

 

DB


Я - гений, ёпта


22

Поделиться сообщением

Ссылка на сообщение

RedThunder458   

RedThunder458
  Arzanis написал 17.09.2024 в 11:46:
  Arzanis написал 17.09.2024 в 11:38:

@yellyex крч макось разрешает создать файлы с кавычками, а винда нет. Так что на эскейпить кавычки (и еще мб какие-то символы). Как заэскепить имя файла на пайтоне - нагуглишь сам)

Там еще может быть такая хуйня, что в f-стринг одинаковые кавычки (‘’ ‘’ ‘’ ‘’) друг в друга только с питона 3.12 можно вставлять, в предыдущих версиях можно только двойные в одиночные (‘ ‘’ ‘’ ‘) и наоборот. Так что мб тут проблема что на маке новый питон стоит и поэтому все работает, а у елекса прошлая версия <3.12.

Arzanis понравилось это

Поделиться сообщением

Ссылка на сообщение

...   

...
  RedThunder458 написал 17.09.2024 в 12:13:
  Arzanis написал 17.09.2024 в 11:46:

Там еще может быть такая хуйня, что в f-стринг одинаковые кавычки (‘’ ‘’ ‘’ ‘’) друг в друга только с питона 3.12 можно вставлять, в предыдущих версиях можно только двойные в одиночные (‘ ‘’ ‘’ ‘) и наоборот. Так что мб тут проблема что на маке новый питон стоит и поэтому все работает, а у елекса прошлая версия <3.12.

у меня 3.11 так что хз 

Поделиться сообщением

Ссылка на сообщение

Kant   

Kant
  RedThunder458 написал 17.09.2024 в 10:13:

Кстати, по поводу парсеров, кто-нибудь шарит, если парсить сайт, где все работает на джаваскрипте (динамический контент с постоянным обновлением), который выдает почти пустой html при запросе, есть ли более оптимальный метод для парсинга чем через селениум открывать браузер и читать всю хуйню?

посмотреть как жс дергает апи и дернуть апи самому

Just.Doit и RedThunder458 понравилось это

Торжество разума в том, чтобы уживаться с теми, у кого этого разума нет. Вольтер.
Чтобы хорошо высыпаться, нужно спать 8 часов в день. И еще столько же ночью.

Поделиться сообщением

Ссылка на сообщение

madvlaydin   

madvlaydin
  Kant написал 17.09.2024 в 13:26:
  RedThunder458 написал 17.09.2024 в 10:13:

посмотреть как жс дергает апи и дернуть апи самому

а там проверка на ботов и придётся искать способы обхода

 

так и становятся профессиональным скрапером или как там

Поделиться сообщением

Ссылка на сообщение

Just.Doit   

Just.Doit
(изменено)
  RedThunder458 написал 17.09.2024 в 10:13:

Кстати, по поводу парсеров, кто-нибудь шарит, если парсить сайт, где все работает на джаваскрипте (динамический контент с постоянным обновлением), который выдает почти пустой html при запросе, есть ли более оптимальный метод для парсинга чем через селениум открывать браузер и читать всю хуйню?

мб подход как с гуглом когда сайт сам предоставляет специальные страницы которые парсятся роботом, и как я понял делает обычно это через фреймворки и сервер сайд рендеринг

  Arzanis написал 17.09.2024 в 11:15:

когда военкоматы надо было спарсить

нахуя :O


Изменено пользователем Just.Doit

 

очень крутые котейки


Кому-то пизды дал - нужно сделать скрин обязательно. (с) Solo

Поделиться сообщением

Ссылка на сообщение

Присоединяйтесь к обсуждению

Вы можете опубликовать сообщение сейчас, а зарегистрироваться позже. Если у вас есть аккаунт, войдите в него для написания от своего имени.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Восстановить форматирование

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Перейти к списку тем
×
×
  • Создать...