Программирование, т. 8

охуительный и непередаваемый UI десктопной jira

десктопная жира? шта?

десктопная жира? шта?

да я имел ввиду сайт, короче сгорел. 

 

десктопная жира? шта?

да я имел ввиду сайт, короче сгорел. 

 

там и апиха так себе 

охуительный и непередаваемый UI десктопной jira

поставь древнюю версию какую-нибудь и найди устраивающий тебя уи

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

https://www.pycoder.ru/make-simple-spider-scrapy/ этот тутор подойдет?

 

охуительный и непередаваемый UI десктопной jira

я охерел, когда увидел, что на докер хабе есть образы всех версий жиры, и что она ломается патчем жарника на лету

поставь древнюю версию какую-нибудь и найди устраивающий тебя уи

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

 

Парсер валют XE.com

Необходимо написать парсер валют XE.com, который будет заходить на сайт, получать всю необходимую информацию и записывать её в базу данных. У сайта есть API, которая выдается на тестовый период - 7 дней, но она нас не интересует.

Страница, откуда необходимо собирать информацию:

https://www.xe.com/currencytables/?from=USD&date=2018-01-01

 

При работе обязательно использовать Scrapy.

 

Описание работы парсера:

В качестве аргументов мы передаём два параметра: dateBegin, dateEnd. Изначально, эти параметры задаются по умолчанию и если мы не указали их, то они равны: dateBegin = текущая дата - 7 дней, dateEnd = текущая дата. Как вариант, мы можем передать ему только один аргумент, например, dateEnd.

Если dateEnd < dateBegin, то dateBegin = dateEnd и мы парсим всего за один день.

Валюту мы не передаём, она изначально равна USD.

 

Опционально, будет плюсом:

- Использования postgres;

- Партицирование;

- Миграции для создания-удаления таблиц в базе данных;

 

Таблица, которую необходимо получить на выходе:

date, currency, units_per_us

 

 

https://www.pycoder.ru/make-simple-spider-scrapy/ этот тутор подойдет?

там же не парсится апишка

тебе питоном надо дернуть апи

получить жсон распарсить его и положить в БД

 

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

 

Парсер валют XE.com

Необходимо написать парсер валют XE.com, который будет заходить на сайт, получать всю необходимую информацию и записывать её в базу данных. У сайта есть API, которая выдается на тестовый период - 7 дней, но она нас не интересует.

Страница, откуда необходимо собирать информацию:

https://www.xe.com/currencytables/?from=USD&date=2018-01-01

 

При работе обязательно использовать Scrapy.

 

Описание работы парсера:

В качестве аргументов мы передаём два параметра: dateBegin, dateEnd. Изначально, эти параметры задаются по умолчанию и если мы не указали их, то они равны: dateBegin = текущая дата - 7 дней, dateEnd = текущая дата. Как вариант, мы можем передать ему только один аргумент, например, dateEnd.

Если dateEnd < dateBegin, то dateBegin = dateEnd и мы парсим всего за один день.

Валюту мы не передаём, она изначально равна USD.

 

Опционально, будет плюсом:

- Использования postgres;

- Партицирование;

- Миграции для создания-удаления таблиц в базе данных;

 

Таблица, которую необходимо получить на выходе:

date, currency, units_per_us

 

 

https://www.pycoder.ru/make-simple-spider-scrapy/ этот тутор подойдет?

там же не парсится апишка

тебе питоном надо дернуть апи

получить жсон распарсить его и положить в БД

 

там с апи не надо работать

как я понял с помощью скрэпи выдергиваем данные из таблицы и пихаем их в бд

вот как раз пытаюсь разобраться как этим скрэпи достать данные из нужных столбцов и хотя бы вывести их в консоль

@@SKYnv леха помогай

ну очевидно тебе надо разобраться как этим скапи вытянуть всё что тебе нужно. можешь посмотреть на их оф сайте документацию и мб примеры там есть https://scrapy.org/

 

 

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

 

Парсер валют XE.com

Необходимо написать парсер валют XE.com, который будет заходить на сайт, получать всю необходимую информацию и записывать её в базу данных. У сайта есть API, которая выдается на тестовый период - 7 дней, но она нас не интересует.

Страница, откуда необходимо собирать информацию:

https://www.xe.com/currencytables/?from=USD&date=2018-01-01

 

При работе обязательно использовать Scrapy.

 

Описание работы парсера:

В качестве аргументов мы передаём два параметра: dateBegin, dateEnd. Изначально, эти параметры задаются по умолчанию и если мы не указали их, то они равны: dateBegin = текущая дата - 7 дней, dateEnd = текущая дата. Как вариант, мы можем передать ему только один аргумент, например, dateEnd.

Если dateEnd < dateBegin, то dateBegin = dateEnd и мы парсим всего за один день.

Валюту мы не передаём, она изначально равна USD.

 

Опционально, будет плюсом:

- Использования postgres;

- Партицирование;

- Миграции для создания-удаления таблиц в базе данных;

 

Таблица, которую необходимо получить на выходе:

date, currency, units_per_us

 

 

https://www.pycoder.ru/make-simple-spider-scrapy/ этот тутор подойдет?

там же не парсится апишка

тебе питоном надо дернуть апи

получить жсон распарсить его и положить в БД

 

там с апи не надо работать

как я понял с помощью скрэпи выдергиваем данные из таблицы и пихаем их в бд

вот как раз пытаюсь разобраться как этим скрэпи достать данные из нужных столбцов и хотя бы вывести их в консоль

@@SKYnv леха помогай

 

для начала ты получаешь дату из параметра или без как там описано. С датой формируешь пул адресов которые будешь снифать, далее по очереди их подгружаешь и через xpath достаешь данные по курсу. Всё 

да, скрэппи подойдет, парсится тот сайт предельно элементарно, все статическое, никаких сраных эйджаксов, тупо строишь цикл из дат, кидаешь хттп запрос на каждую из нужных дат и парсишь себе хтмл. туториал, что ты кинул годится.

щас бы данные из хтмл дергать     

щас бы данные из хтмл дергать     

анус себе дерни пёс 

Еще только тестовое делает, а уже рофлит над тестировщиками 

Я тут недавно начал тестить и оптимизировать свою аппу с x6 замедлением процессора. На удивление у нас все быстро работает. Были проблемы только когда юзер в репорт-билдере выбирал группу с 1к датасорсов, что в свою очередь спавнило 2 (а то и больше) дропдауна, в каждом по 1к элементов, и с таким ботлнеком процессора начинались дикие тормоза, ибо браузер тупо загибался если надо было работать с огромным количеством dom хуевин. В итоге как следует в девтулзе хроме все отпрафайлил, почекал где проблемы, переписал логику в дропдаунах слегка, дабы снизить нагрузку на state, и присобачил простой прогрессивный рендеринг с помощью react-tiny-virtual-list (3kb gzipped). Для сравнения, react-virtualized (сделанная поцанами из фейсбука) 34кб гзиппед (правда там не только лист, а целый набор неведомой еботы). Теперь вся эта хуйня работает отлично, учитывая сколько там всякой хуйни происходит.

В заголовке своего резюме поставил (0.1kb gzipped)

Мы кстати ни один package не устанавливаем без предварительной проверки его на https://bundlephobia.com/

А у меня вот в проекте напичканный под завязку плагинами tinymce + pdfjs + prismjs, думаю тебе была бы конечная если бы ты узнал размер бандла

 

щас бы данные из хтмл дергать     

анус себе дерни пёс 

 

удачи братишка с хтмл

новый фронтэнд пес подьехал который кроме js css питона ничего не знает

как сможешь хотя бы локалхост поднять пиши