Программирование[10]

[Kant]

берешь рэббит или любую другую шину по вкусу, получаешь 10 часов

начинаешь велосипедить - получаешь 6 месяцев и нихуя не будет работать стабильно

 

вопрос как бы закрыт

[iMbanana]

че обсуждаете пацаны

[Rilay]

Долго в этом рэббите разбираться?

[Drakonian]

Rilay написал 11 минут назад:

Долго в этом рэббите разбираться?

 

[ural1qqq]

че за рэббит

я думал все кафкой пользуются 100000 лет уже

[Zellar]

[Rilay]

Drakonian написал 28 минут назад:

Rilay написал 40 минут назад:

Долго в этом рэббите разбираться?

 

Чето у меня даже example код не запускается

 2021/10/28 16:52:44 Failed to connect to RabbitMQ: Exception (501) Reason: "Exception (501) Reason: \"frame could not be parsed\""

 

Гуглил, пишут что нужна другая версия amqp

Импорчу другую, но все так же

Пример брал отсюда 

https://github.com/rabbitmq/rabbitmq-tutorials/tree/master/go

 

И отсюда 

https://www.rabbitmq.com/tutorials/tutorial-one-go.html

[Drakonian]

ну видос от 2019
я просто скинул первый видос из гугла ))

[Rilay]

Drakonian написал Только что:

ну видос от 2019
я просто скинул первый видос из гугла ))

Да я понял, потому то и зашёл типа на их гитхаб чекнуть ласт версию этого кода

Но она чёт отказывается работать 

Видимо эта версия голанга отказывается работать с их amqp

[Kant]

ural1qqq написал 38 минут назад:

че за рэббит

я думал все кафкой пользуются 100000 лет уже

видишь на куске кода слово апач

бежишь в страхе, не дай бог в это говно мамонта засосет

[ural1qqq]

Kant написал 1 минуту назад:

ural1qqq написал 40 минут назад:

че за рэббит

я думал все кафкой пользуются 100000 лет уже

видишь на куске кода слово апач

бежишь в страхе, не дай бог в это говно мамонта засосет

мне кажется у тебя был негативный опыт работы с кафкой. Сможешь поделиться? Это очень помогло бы мне в будущем к архитектуре проекта подходить более осознанно.

 

пока что я не вижу никаких трудностей. Продюссер ставит в топик сообщение, консьюмер его получает. 

+ на кластер накатывается kafka ui, и это очень удобно отслеживать работу сервисов

[Drakonian]

кафка хуяфка

[Kant]

ural1qqq написал 12 минут назад:

Kant написал 16 минут назад:

ural1qqq написал 55 минут назад:

че за рэббит

я думал все кафкой пользуются 100000 лет уже

видишь на куске кода слово апач

бежишь в страхе, не дай бог в это говно мамонта засосет

мне кажется у тебя был негативный опыт работы с кафкой. Сможешь поделиться? Это очень помогло бы мне в будущем к архитектуре проекта подходить более осознанно.

 

пока что я не вижу никаких трудностей. Продюссер ставит в топик сообщение, консьюмер его получает. 

+ на кластер накатывается kafka ui, и это очень удобно отслеживать работу сервисов

у меня был негативный опыт со всем, что включало в себя слово апач, кафку я прочитал и сразу выкинул в помойку, слово апач было одной из весомых причин

 

ну и в принципе, мне в приложениях нужны очереди, кафка не про очереди, кафка про распределенные логи, которые могут потом читаться разными консюмерами, каждый кусочек лога своему консюмеру, что эмулирует очереди, но это не очереди

 

в рэббите у тебя ексчейнж\очередь на какую-то задачу, на ней сидит 5 консюмеров - твои сервисы, каждый получает по 20% сообщений, все счастливы

пришла нагрузка, 5 сервисов мало - хуйнул еще 20 сервисов сверху и они начали успешно жрать сообщения, нагрузка упала, сервисы отключил

в кафке же ты если партишенов заранее не наделал, ты пососешь хуй, тк из одного партишена читать может только 1 консюмер, иначе случится пиздец

но зато в кафке типа лучше гарантии очередности сообщений в топике/партишене, хз тут уже не шарю, но я если честно никогда не понимал, нахуя это, как будто челы используют кафку как бд, контролирующую очередность по бизнеслогике, а тогда у них проблемы. Я хочу от брокера сообщения чтобы доставлялись куда надо и обрабатывались как можно быстрее, а не выполнять роль логгера

[madvlaydin]

Kant написал 4 минуты назад:

ural1qqq написал 22 минуты назад:

Kant написал 26 минут назад:

ural1qqq написал 1 час назад:

че за рэббит

я думал все кафкой пользуются 100000 лет уже

видишь на куске кода слово апач

бежишь в страхе, не дай бог в это говно мамонта засосет

мне кажется у тебя был негативный опыт работы с кафкой. Сможешь поделиться? Это очень помогло бы мне в будущем к архитектуре проекта подходить более осознанно.

 

пока что я не вижу никаких трудностей. Продюссер ставит в топик сообщение, консьюмер его получает. 

+ на кластер накатывается kafka ui, и это очень удобно отслеживать работу сервисов

у меня был негативный опыт со всем, что включало в себя слово апач, кафку я прочитал и сразу выкинул в помойку, слово апач было одной из весомых причин

 

ну и в принципе, мне в приложениях нужны очереди, кафка не про очереди, кафка про распределенные логи, которые могут потом читаться разными консюмерами, каждый кусочек лога своему консюмеру, что эмулирует очереди, но это не очереди

 

в рэббите у тебя ексчейнж\очередь на какую-то задачу, на ней сидит 5 консюмеров - твои сервисы, каждый получает по 20% сообщений, все счастливы

пришла нагрузка, 5 сервисов мало - хуйнул еще 20 сервисов сверху и они начали успешно жрать сообщения, нагрузка упала, сервисы отключил

в кафке же ты если партишенов заранее не наделал, ты пососешь хуй, тк из одного партишена читать может только 1 консюмер, иначе случится пиздец

но зато в кафке типа лучше гарантии очередности сообщений в топике/партишене, хз тут уже не шарю, но я если честно никогда не понимал, нахуя это, как будто челы используют кафку как бд, контролирующую очередность по бизнеслогике, а тогда у них проблемы. Я хочу от брокера сообщения чтобы доставлялись куда надо и обрабатывались как можно быстрее, а не выполнять роль логгера

ну в кафке типо похуй откуда читать начинать

ты у себя где-то хранишь смещение, где остановился, и дальше читаешь

а тебе срут в партишон, а ты и рад

[sonac]

ural1qqq написал 19 минут назад:

Kant написал 23 минуты назад:

 

мне кажется у тебя был негативный опыт работы с кафкой. Сможешь поделиться? Это очень помогло бы мне в будущем к архитектуре проекта подходить более осознанно.

 

пока что я не вижу никаких трудностей. Продюссер ставит в топик сообщение, консьюмер его получает. 

+ на кластер накатывается kafka ui, и это очень удобно отслеживать рабо

ssl в большинстве либ сделан через сраку; 

нету нормального контроля схем; 

нету встроенного UI, приходится накатывать всякую залупу работающую через пень колоду;

нужно тащить везде с собой зукипер;

для большинства юзкейсов рэббит будет поприятнее, да и апи у него поприятнее (ИМО)

[Kant]

madvlaydin написал Только что:

Kant написал 5 минут назад:

ural1qqq написал 23 минуты назад:

Kant написал 27 минут назад:

ural1qqq написал 1 час назад:

че за рэббит

я думал все кафкой пользуются 100000 лет уже

видишь на куске кода слово апач

бежишь в страхе, не дай бог в это говно мамонта засосет

мне кажется у тебя был негативный опыт работы с кафкой. Сможешь поделиться? Это очень помогло бы мне в будущем к архитектуре проекта подходить более осознанно.

 

пока что я не вижу никаких трудностей. Продюссер ставит в топик сообщение, консьюмер его получает. 

+ на кластер накатывается kafka ui, и это очень удобно отслеживать работу сервисов

у меня был негативный опыт со всем, что включало в себя слово апач, кафку я прочитал и сразу выкинул в помойку, слово апач было одной из весомых причин

 

ну и в принципе, мне в приложениях нужны очереди, кафка не про очереди, кафка про распределенные логи, которые могут потом читаться разными консюмерами, каждый кусочек лога своему консюмеру, что эмулирует очереди, но это не очереди

 

в рэббите у тебя ексчейнж\очередь на какую-то задачу, на ней сидит 5 консюмеров - твои сервисы, каждый получает по 20% сообщений, все счастливы

пришла нагрузка, 5 сервисов мало - хуйнул еще 20 сервисов сверху и они начали успешно жрать сообщения, нагрузка упала, сервисы отключил

в кафке же ты если партишенов заранее не наделал, ты пососешь хуй, тк из одного партишена читать может только 1 консюмер, иначе случится пиздец

но зато в кафке типа лучше гарантии очередности сообщений в топике/партишене, хз тут уже не шарю, но я если честно никогда не понимал, нахуя это, как будто челы используют кафку как бд, контролирующую очередность по бизнеслогике, а тогда у них проблемы. Я хочу от брокера сообщения чтобы доставлялись куда надо и обрабатывались как можно быстрее, а не выполнять роль логгера

ну в кафке типо похуй откуда читать начинать

ты у себя где-то хранишь смещение, где остановился, и дальше читаешь

а тебе срут в партишон, а ты и рад

так а в рэббите тоже похуй откуда начинать читать, тк этот вопрос не стоит даже

ты жрешь сообщения из очереди пока они там есть

если сервис упал, пока он не подтвердил обработку сообщения, сообщение вернется в очередь и будет ждать следующего консюмера, может быть даже тому же сервису вернет, если он реснется (рэббиту то похуй)

а в кафке, тк это логи, начинается вот эта вот кутерьма, откуда читать, где хранить указатель, как синхронизировать чтение несколькими консюмерами (а никак, поэтому делайте разные партишены)

 

но зато да, можно логи открутить назад до какого-то предела хранения, рэббит необработанные сообщения не хранит

но я уже писал, я слабо себе представляю ценность этого механизма, ты если сообщение обработал, то всё, мир вокруг изменился

просто так лупануть указатель назад и запустить заново невозможно, тк состояние внешнего мира другое

а раз тебе надо чинить состояние внешнего мира, так пусть он и ебется с рестартом по-человечески

[ural1qqq]

нету нормального контроля схем

 

не совсем понимаю, о чем это. 

Есть авро схема, сервис хуячит сообщения в топик по этой схеме. Имеется ввиду, что свалидировать сообщение со схемой средствами кафки нельзя? 

пришла нагрузка, 5 сервисов мало - хуйнул еще 20 сервисов сверху и они начали успешно жрать сообщения, нагрузка упала, сервисы отключил

 

 

 

в кафке же ты если партишенов заранее не наделал, ты пососешь хуй, тк из одного партишена читать может только 1 консюмер, иначе случится пиздец

 

 

тут речь идет о масштабировании сервиса, посредством создания его реплик? В моем понимании масштабировать для соответствия нагрузки следует именно единственный экземпляр сервиса, выделением цпу и рам. Или я не прав и бест практис именно реплики делать? 

Изменено 28 октября 2021 пользователем ural1qqq

[Kant]

офк реплики, если у тебя есть действительно нагрузка, она всегда перейдет предел возможностей одной машины

всякие докеры куберы и хуяк дальше, кнопку  нажал, +100 сервисов, все простые как тапки и всё что им надо знать, это что надо кушать сообщения из вот этой вот очереди и ответ положить вот в эту вот очередь, и всё

[kijupsik]

Так раз уж пошла речь за реббит, мы тут вчера заметили что у нас в какой-то момент отваливаться консюмеры начали. Ну типа просто очередь растёт а сообщения не жрутся. 
Когда аппу рестартаем, начинает жрать а потом через несколько часов отваливается опять
я пока там в код не смотрел, но че может быть, так навскидку? Реббит облачный ес шо

[madvlaydin]

kijupsik написал 41 минуту назад:

Так раз уж пошла речь за реббит, мы тут вчера заметили что у нас в какой-то момент отваливаться консюмеры начали. Ну типа просто очередь растёт а сообщения не жрутся. 
Когда аппу рестартаем, начинает жрать а потом через несколько часов отваливается опять
я пока там в код не смотрел, но че может быть, так навскидку? Реббит облачный ес шо

сессия тухнет или количество коннектов иссекает