Программирование, т. 8

За такие фейки, тебе теперь 100% надо говно под авой дать. Ты же вкурсе, что он может прочекать любые мои сообщения на продоте?

monkas  monkas  monkas

 

всё блять, сдулись кодеры да, ну понятно, все на фронтенде наверно пишите

Говно Рустеру под аву оформите на месяц пожалуйста 

 

 

 

 

P.S. Я фронтэндер кста xD

 

щас бы с goto писать удали нахер пока не увидели уважаемые люди

чо ты до его goto доебался

он чилавек-асемблир

За такие фейки, тебе теперь 100% надо говно под авой дать. Ты же вкурсе, что он может прочекать любые мои сообщения на продоте?

 

 

всё блять, сдулись кодеры да, ну понятно, все на фронтенде наверно пишите

Говно Рустеру под аву оформите на месяц пожалуйста

 

 

 

 

P.S. Я фронтэндер кста xD

 

щас бы с goto писать удали нахер пока не увидели уважаемые люди

Щас бы на готу гнать в 2018   

Попробуй embded кодить без готу )

 

За такие фейки, тебе теперь 100% надо говно под авой дать. Ты же вкурсе, что он может прочекать любые мои сообщения на продоте?

все сообщения зашифрованы рса2048

 

В любом случае счетчик постов не сходится  со временем, когда я якобы попросил кого то решить эту задачу. У меня на то время 903 или 904 поста будет, а не 905. Даун даже фейк нормально запилить не может, чтобы не объебаться. Говно под аву ему за выполненое задания и за наебку

 

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

 

Парсер валют XE.com

Необходимо написать парсер валют XE.com, который будет заходить на сайт, получать всю необходимую информацию и записывать её в базу данных. У сайта есть API, которая выдается на тестовый период - 7 дней, но она нас не интересует.

Страница, откуда необходимо собирать информацию:

https://www.xe.com/currencytables/?from=USD&date=2018-01-01

 

При работе обязательно использовать Scrapy.

 

Описание работы парсера:

В качестве аргументов мы передаём два параметра: dateBegin, dateEnd. Изначально, эти параметры задаются по умолчанию и если мы не указали их, то они равны: dateBegin = текущая дата - 7 дней, dateEnd = текущая дата. Как вариант, мы можем передать ему только один аргумент, например, dateEnd.

Если dateEnd < dateBegin, то dateBegin = dateEnd и мы парсим всего за один день.

Валюту мы не передаём, она изначально равна USD.

 

Опционально, будет плюсом:

- Использования postgres;

- Партицирование;

- Миграции для создания-удаления таблиц в базе данных;

 

Таблица, которую необходимо получить на выходе:

date, currency, units_per_us

 

вот наговнокодил, можно хуесосить 

 

 

import scrapy
from scrapy.crawler import CrawlerProcess
import sys
from datetime import datetime, timedelta
import psycopg2
 
hostname = 'localhost'
username = 'postgres'
password = 'postgres'
database = 'xeparser'
 
class DBConnection:
    def __init__(self):
        try:
            self.connection = psycopg2.connect(host=hostname, database=database, user=username, password=password)
            self.connection.autocommit = True
            self.cursor = self.connection.cursor()
        except:
            print("Cannot connect to database")
        
 
class MySpider(scrapy.Spider):
    name = "xeparser"
    
    if len(sys.argv) == 1:
        dateBegin = datetime.now() - timedelta(7)
        dateEnd = datetime.now()  
    if len(sys.argv) == 2:
        dateEnd = datetime.strptime(sys.argv[1],'%Y-%m-%d')
        dateBegin = dateEnd - timedelta(7)
    if len(sys.argv) == 3:
        dateBegin = datetime.strptime(sys.argv[1],'%Y-%m-%d')
        dateEnd = datetime.strptime(sys.argv[2],'%Y-%m-%d')
    if dateEnd < dateBegin:
        dateBegin = dateEnd
 
    url0 = 'https://www.xe.com/currencytables/?from=USD&date='
    start_urls = []
    i = 0
    while dateBegin + timedelta(i) <= dateEnd: 
        start_urls.append(url0 + (dateBegin + timedelta(i)).strftime('%Y-%m-%d'))
        i += 1
    
    def parse(self, response):
        dbc = DBConnection()  
        for row in response.xpath('//table[@id="historicalRateTbl"]//tbody/tr'):
            dbc.cursor.execute("insert into cur (date, currency, units_per_usd) values (%s, %s, %s)",
                               (response.xpath('//p[@class="historicalRateTable-date"]/text()').extract_first(),
                               row.xpath('td[2]//text()').extract_first(), row.xpath('td[3]//text()').extract_first()))
 
process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
 
process.crawl(MySpider)
process.start() 
 

 

 

 

не пойму задание "- Миграции для создания-удаления таблиц в базе данных;"

что за миграции?

 

миграции = sql скрипты

Откуда они мне пишут блять

https://goo.gl/forms/PyMEbgea35JfzKLp2

Кто из Минска можете попробовать запрыгнуть в какую-то начинающую мутную галеру.  omegalul

Hello World!

 

 

хочу сделать тестовое задание, но кроме синтаксиса ничего не знаю

 

Парсер валют XE.com

Необходимо написать парсер валют XE.com, который будет заходить на сайт, получать всю необходимую информацию и записывать её в базу данных. У сайта есть API, которая выдается на тестовый период - 7 дней, но она нас не интересует.

Страница, откуда необходимо собирать информацию:

https://www.xe.com/currencytables/?from=USD&date=2018-01-01

 

При работе обязательно использовать Scrapy.

 

Описание работы парсера:

В качестве аргументов мы передаём два параметра: dateBegin, dateEnd. Изначально, эти параметры задаются по умолчанию и если мы не указали их, то они равны: dateBegin = текущая дата - 7 дней, dateEnd = текущая дата. Как вариант, мы можем передать ему только один аргумент, например, dateEnd.

Если dateEnd < dateBegin, то dateBegin = dateEnd и мы парсим всего за один день.

Валюту мы не передаём, она изначально равна USD.

 

Опционально, будет плюсом:

- Использования postgres;

- Партицирование;

- Миграции для создания-удаления таблиц в базе данных;

 

Таблица, которую необходимо получить на выходе:

date, currency, units_per_us

 

вот наговнокодил, можно хуесосить 

 

 

import scrapy
from scrapy.crawler import CrawlerProcess
import sys
from datetime import datetime, timedelta
import psycopg2
 
hostname = 'localhost'
username = 'postgres'
password = 'postgres'
database = 'xeparser'
 
class DBConnection:
    def __init__(self):
        try:
            self.connection = psycopg2.connect(host=hostname, database=database, user=username, password=password)
            self.connection.autocommit = True
            self.cursor = self.connection.cursor()
        except:
            print("Cannot connect to database")
        
 
class MySpider(scrapy.Spider):
    name = "xeparser"
    
    if len(sys.argv) == 1:
        dateBegin = datetime.now() - timedelta(7)
        dateEnd = datetime.now()  
    if len(sys.argv) == 2:
        dateEnd = datetime.strptime(sys.argv[1],'%Y-%m-%d')
        dateBegin = dateEnd - timedelta(7)
    if len(sys.argv) == 3:
        dateBegin = datetime.strptime(sys.argv[1],'%Y-%m-%d')
        dateEnd = datetime.strptime(sys.argv[2],'%Y-%m-%d')
    if dateEnd < dateBegin:
        dateBegin = dateEnd
 
    url0 = 'https://www.xe.com/currencytables/?from=USD&date='
    start_urls = []
    i = 0
    while dateBegin + timedelta(i) <= dateEnd: 
        start_urls.append(url0 + (dateBegin + timedelta(i)).strftime('%Y-%m-%d'))
        i += 1
    
    def parse(self, response):
        dbc = DBConnection()  
        for row in response.xpath('//table[@id="historicalRateTbl"]//tbody/tr'):
            dbc.cursor.execute("insert into cur (date, currency, units_per_usd) values (%s, %s, %s)",
                               (response.xpath('//p[@class="historicalRateTable-date"]/text()').extract_first(),
                               row.xpath('td[2]//text()').extract_first(), row.xpath('td[3]//text()').extract_first()))
 
process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
 
process.crawl(MySpider)
process.start() 
 

 

 

 

не пойму задание "- Миграции для создания-удаления таблиц в базе данных;"

что за миграции?

 

миграции = sql скрипты

 

c timestamp 

Парни , linkedin в России вообще должен работать , не забанен ? 

Парни , linkedin в России вообще должен работать , не забанен ? 

забанили уже года 3-4 как. 

А , ну норм значит я правильно с впн сижу 

в российский интернет в последнее время хорошей практикой будет ходить через буржуев, да и торенты качать тоже, а то мало ли что

 

 

щас бы данные из хтмл дергать :avtorklif:

Ты реально думаешь, что всегда и везде есть апи которое отдает тебе нужные данные на блюдечке??

ща даже банки опен опи отдают, а ты из хттп дергать инфу считаешь нормальным

 

Даже банки? Даже блять банки)) Ладно ты б написал даже продота, но да даже банки, который делают апи для платежей и прочей херни и понятно зачем им это

Вот у продоты нет апи, что ты будешь делать? Писать дефрелю, ааа бля сделай апи, а то нихуя не могу инфу получить или за вечер парсер html накатешь лайк э босс?

начал учить программирование в 2144 году в 25+ лет

держу вас в курсе