Перейти к публикации
Прикиньте они там в мафию играют, эльфами себя представляют и пиратами

  • Сейчас на странице   Всего пользователей: 0   (0 пользователей, 0 гостей)

Hed-kun

Программирование Т. 5

Автор: Hed-kun, в Мастерская

Рекомендованные сообщения

Обязательное_поле   

Обязательное_поле
(изменено)

То есть допустим я хочу написать парсер (страниц 30 в среднем за запрос), это не надо делать на пхп? Я тебя правильно понял?

типа юзер ввел что ему распарсить, пошла работа. Пока она идет - юзер видит прогрессбар, ничего нового реквестить не может.

парсер можно сделать на любом языке.

чтобы запустить скрипт, необязательно через хттп его вызывать. можно и через консоль

напомню, когда ты вбиваешь в адресную строку, апачи (или другая хттп программа которая тупо слушает порт 80) вызывает пхп модуль,

например апачи получает запрос, и запускает модуль пхп (php.exe)

прогресс бар очень затруднительно на пхп делать, почти что невозможно


Изменено пользователем Обязательное_поле

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)
прогресс бар очень затруднительно на пхп делать, почти что невозможно
http://habrahabr.ru/post/153731/ (демо http://bfmn.ru/scriptoffset/ )

не то?

вот я хочу так-же - вводишь что-нибудь, оно там парсится пару минут и выдает результат


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

Обязательное_поле   

Обязательное_поле
(изменено)

а есть какой хостинг бесплатный под node.js + mysql (или какая там база :hmm:)

у тебя немножко неправильные представления о хостингах и серверах.

нет хостингов под что-то. хостинг это всеголишь слово.

допустим ты арендуешь виртуальный сервер. и ты ставишь туда и пхп, и ноды, и томкат вообще все что угодно можешь ставить и ручками настраивать.

ну я заливаю свой говнокод на ayola-хостинг - ничего я там сам ставить не могу, есть фтп+апач+пхп+мускул+пхпмайадмин

мне там сделали поддомен, и нихрена я им не платил

хочу также с нод.жс :hmm:

придется свой сервер арендовать :trollface:

недорого на самом деле, за несколько евро в месяц можешь в облаке виртуальный сервер заказать

 

прогресс бар очень затруднительно на пхп делать, почти что невозможно
http://habrahabr.ru/post/153731/ (демо http://bfmn.ru/scriptoffset/ )

не то?

вот я хочу так-же - вводишь что-нибудь, оно там парсится пару минут и выдает результат

это слишком герорно, и применимо больше к ситауции, когда у тебя большой массив, который надо парсить.

блин ты скажи поподробее что именно тебе надо парсить? хтмл?

слишком многозначное слово


Изменено пользователем Обязательное_поле

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)

хтмл, да

по циклу менять id для гет-запроста

будет парсить инфу с таких страниц - 

http://сайт.ucoz.ua/то_что_ввел_юзер/?id=(от 0 до тех пор пока не вернет 404)

допустим там будет страниц 50 - на это же время нужно, секунд 30 минимум

http://ikap.ap01.aws.af.cm/

охереть домен :trollface:

что такое af ruby gem и как это относится к node.js и к аплоаду файлов на сервер?


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

Обязательное_поле   

Обязательное_поле
(изменено)

понадобится curl.

 

1. 

   $ch = curl_init($url);
   curl_setopt($ch,CURLOPT_HTTPHEADER,array('User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4'));
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
   $html = curl_exec($ch);
   curl_close($ch);

 

2.

   $dom = new DOMDocument;
   @$dom->loadHTML($html);

 

3. Дальше делай с домом на что фантазии хватит

Пример

$domxpath = new DOMXPath($wallDOM);
$tags = $domxpath->query('//div[@class="post_info"]');


Изменено пользователем Обязательное_поле

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)

ну а представь теперь что страниц надо будет пропарсить штук 200

gem update --system

Updating rubygems-update

Fetching: rubygems-update-2.0.3.gem (100%)

Successfully installed rubygems-update-2.0.3

Parsing documentation for rubygems-update-2.0.3

Installing ri documentation for rubygems-update-2.0.3

Installing darkfish documentation for rubygems-update-2.0.3

Installing RubyGems 2.0.3

ERROR: While executing gem ... (Errno::EACCES)

Permission denied - C:/Ruby200-x64/bin/gem.bat

твою ж мать :zloy:

фееспалм - апдейтит гем бат, пока он открыт :avtorklif:


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

Kant   

Kant

ооо, сейчас еще и погружение в руби пойдет :trollface:

Торжество разума в том, чтобы уживаться с теми, у кого этого разума нет. Вольтер.
Чтобы хорошо высыпаться, нужно спать 8 часов в день. И еще столько же ночью.

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)

C:\nodejs>npm shrinkwrap

npm ERR! Error: ENOENT, open 'C:\nodejs\package.json'

npm ERR! If you need help, you may report this log at:

npm ERR! <http://github.com/isaacs/npm/issues>

npm ERR! or email it to:

npm ERR! <npm-@googlegroups.com>

 

npm ERR! System Windows_NT 6.1.7601

npm ERR! command "C:\\nodejs\\\\node.exe" "C:\\nodejs\\node_modules\\npm\\bin\\n

pm-cli.js" "shrinkwrap"

npm ERR! cwd C:\nodejs

npm ERR! node -v v0.10.12

npm ERR! npm -v 1.3.1

npm ERR! path C:\nodejs\package.json

npm ERR! code ENOENT

npm ERR! errno 34

npm ERR!

npm ERR! Additional logging details can be found in:

npm ERR! C:\nodejs\npm-debug.log

npm ERR! not ok code 0

чето нихера не погружается :( у меня и файлов то таких нету

а всё ебаный руби гем af - ругается на npm support: npm-shrinkwrap.json is not provided

 

Installing dependencies. Node version 0.8.14 Installing semver@semver@latest from registry Package is not found in npm registry semver@semver@latest Failed getting the requested package: semver@semver@latest Installing ini@ini@latest from registry Package is not found in npm registry ini@ini@latest Failed getting the requested package: ini@ini@latest Installing slide@slide@latest from registry Package is not found in npm registry slide@slide@latest Failed getting the requested package: slide@slide@latest Installing abbrev@abbrev@latest from registry Package is not found in npm registry abbrev@abbrev@latest Failed getting the requested package: abbrev@abbrev@latest Installing graceful-fs@graceful-fs@latest from registry Package is not found in npm registry graceful-fs@graceful-fs@latest Failed getting the requested package: graceful-fs@graceful-fs@latest Installing minimatch@minimatch@latest from registry Package is not found in npm registry minimatch@minimatch@latest Failed getting the requested package: minimatch@minimatch@latest Installing nopt@nopt@latest from registry Package is not found in npm registry nopt@nopt@latest Failed getting the requested package: nopt@nopt@latest Installing rimraf@rimraf@2.2 from registry Package is not found in npm registry rimraf@rimraf@2.2 Failed getting the requested package: rimraf@rimraf@2.2 Installing request@request@latest from registry Package is not found in npm registry request@request@latest Failed getting the requested package: request@request@latest Installing which@which@1 from registry Package is not found in npm registry which@which@1 Failed getting the requested package: which@which@1 Installing tar@tar@0.1.17 from registry Package is not found in npm registry tar@tar@0.1.17 Failed getting the requested package: tar@tar@0.1.17 Installing fstream@fstream@latest from registry Package is not found in npm registry fstream@fstream@latest Failed getting the requested package: fstream@fstream@latest Installing block-stream@block-stream@* from registry Package is not found in npm registry block-stream@block-stream@* Failed getting the requested package: block-stream@block-stream@* Installing inherits@git://github.com/isaacs/inherits from git source Installing mkdirp@mkdirp@0.3.5 from registry Package is not found in npm registry mkdirp@mkdirp@0.3.5 Failed getting the requested package: mkdirp@mkdirp@0.3.5 Installing read@read@~1.0.3 from registry Package is not found in npm registry read@read@~1.0.3 Failed getting the requested package: read@read@~1.0.3 Installing lru-cache@lru-cache@latest from registry Package is not found in npm registry lru-cache@lru-cache@latest Failed getting the requested package: lru-cache@lru-cache@latest Installing node-gyp@node-gyp@latest from registry Package is not found in npm registry node-gyp@node-gyp@latest Failed getting the requested package: node-gyp@node-gyp@latest Installing fstream-npm@fstream-npm@latest from registry Package is not found in npm registry fstream-npm@fstream-npm@latest Failed getting the requested package: fstream-npm@fstream-npm@latest Installing uid-number@../uid-number from registry Package is not found in npm registry uid-number@../uid-number Failed getting the requested package: uid-number@../uid-number Installing archy@archy@0.0.2 from registry Package is not found in npm registry archy@archy@0.0.2 Failed getting the requested package: archy@archy@0.0.2 Installing chownr@../chownr from registry Package is not found in npm registry chownr@../chownr Failed getting the requested package: chownr@../chownr Installing npmlog@npmlog@latest from registry Package is not found in npm registry npmlog@npmlog@latest Failed getting the requested package: npmlog@npmlog@latest Installing ansi@ansi@~0.1.2 from registry Package is not found in npm registry ansi@ansi@~0.1.2 Failed getting the requested package: ansi@ansi@~0.1.2 Installing npm-registry-client@npm-registry-client@latest from registry Package is not found in npm registry npm-registry-client@npm-registry-client@lat est Failed getting the requested package: npm-registry-client@npm-registry-client@la test Installing read-package-json@read-package-json@1 from registry Package is not found in npm registry read-package-json@read-package-json@1 Failed getting the requested package: read-package-json@read-package-json@1 Installing read-installed@read-installed@latest from registry Package is not found in npm registry read-installed@read-installed@latest Failed getting the requested package: read-installed@read-installed@latest Installing glob@glob@3.2.1 from registry Package is not found in npm registry glob@glob@3.2.1 Failed getting the requested package: glob@glob@3.2.1 Installing init-package-json@init-package-json@latest from registry Package is not found in npm registry init-package-json@init-package-json@latest Failed getting the requested package: init-package-json@init-package-json@latest Installing osenv@osenv@latest from registry Package is not found in npm registry osenv@osenv@latest Failed getting the requested package: osenv@osenv@latest Installing lockfile@lockfile@0.3.4 from registry Package is not found in npm registry lockfile@lockfile@0.3.4 Failed getting the requested package: lockfile@lockfile@0.3.4 Installing retry@retry from registry Package is not found in npm registry retry@retry Failed getting the requested package: retry@retry Installing once@once from registry Package is not found in npm registry once@once Failed getting the requested package: once@once Installing npmconf@npmconf@latest from registry Package is not found in npm registry npmconf@npmconf@latest Failed getting the requested package: npmconf@npmconf@latest Installing opener@opener@latest from registry Package is not found in npm registry opener@opener@latest Failed getting the requested package: opener@opener@latest Installing chmodr@chmodr@latest from registry Package is not found in npm registry chmodr@chmodr@latest Failed getting the requested package: chmodr@chmodr@latest Installing cmd-shim@cmd-shim@ from registry Package is not found in npm registry cmd-shim@cmd-shim@ Failed getting the requested package: cmd-shim@cmd-shim@ Installing sha@sha@~1.0.1 from registry Package is not found in npm registry sha@sha@~1.0.1 Failed getting the requested package: sha@sha@~1.0.1 Installing editor@editor@ from registry Package is not found in npm registry editor@editor@ Failed getting the requested package: editor@editor@ Installing child-process-close@child-process-close@ from registry Package is not found in npm registry child-process-close@child-process-close@ Failed getting the requested package: child-process-close@child-process-close@ Installing npm-user-validate@npm-user-validate@0.0.3 from registry Package is not found in npm registry npm-user-validate@npm-user-validate@0.0.3 Failed getting the requested package: npm-user-validate@npm-user-validate@0.0.3

 

в пизду этот node.js


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

bonzo   

bonzo

а есть какой хостинг бесплатный под node.js + mysql (или какая там база :hmm:)

у тебя немножко неправильные представления о хостингах и серверах.

нет хостингов под что-то. хостинг это всеголишь слово.

допустим ты арендуешь виртуальный сервер. и ты ставишь туда и пхп, и ноды, и томкат вообще все что угодно можешь ставить и ручками настраивать.

ну я заливаю свой говнокод на ayola-хостинг - ничего я там сам ставить не могу, есть фтп+апач+пхп+мускул+пхпмайадмин

мне там сделали поддомен, и нихрена я им не платил

хочу также с нод.жс :hmm:

придется свой сервер арендовать :trollface:

недорого на самом деле, за несколько евро в месяц можешь в облаке виртуальный сервер заказать

koding.com - free

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st

Как шифровать пароль на клиенте, чтобы не передавать пароль в чистом виде на сервер? jQuery? Если применять MD5, получается даже если далее солить пасс на сервере, толку никакого - достаточно будет угнать MD5 передаваемый при логине.

Поделиться сообщением

Ссылка на сообщение

TycoooN   

TycoooN

https?

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)

покупать сертификат? а где инвайт на кодинг.ком взять? а всё, пробил


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st
(изменено)

блин, точно

возвращает всегда таймаут, увеличивал - ему пох

$html = curl_exec($ch);

//html always false

curl_setopt($ch, CURLOPT_HTTPHEADER,array('User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4'));
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5); //timeout is seconds

самый пиздец - curl_error() and curl_errno() - пустые

 

if (!$html) { $error = curl_error($ch) ." " . curl_errno($ch); $output = array('return' => "Error: Connection timed-out. Please try again later. ($error)"); echo json_encode($output); exit(); }

 


Изменено пользователем justice_st

Поделиться сообщением

Ссылка на сообщение

justice_st   

justice_st

curl_exec всегда возвращает false

Поделиться сообщением

Ссылка на сообщение
Гость
Эта тема закрыта для публикации сообщений.
Перейти к списку тем
×
×
  • Создать...