отгрузка новостей в интернеты, платно, круглосуточно

[jsn]

(утирает пот с закопчёного лба рукавом дымящейся спецовки) я тебе так скажу, сынок: удобно, когда у тебя мало процессоров на маленьком канале, потому что канал ложится раньше, чем кончаются процессоры. а вы говорите -- крэй на сериальном порту.

Comments

[kika.livejournal.com]

Угу. Зима наступила неожиданно - это типичная административная фрикция.

[jsn.livejournal.com]

ну-ну :)

ну, то есть, я-то привычный, я по опыту знаю, любой таксист в этом городе готов тебе рассказать, как правильно отражать ddos :)

[kika.livejournal.com]

По-моему в отличие от DDoS, у органического трафика есть некие параметры, которые можно оценить. DDoS съест столько, сколько положат в тарелку, а офисные хомячки, к счастью, с такой скоростью пока не размножаются (особенно прямо в офисах). Если строить под этот трафик невыгодно, то мне и интересно почему.

[jsn.livejournal.com]

Тю. У ddos-а есть как раз, как правило, характерный и очень тупой профиль, что заметно упрощает его отражение (но не всегда делает его тривиальным, и иногда это всё равно довольно ресурсоёмкое занятие). Органический трафик на новостных сайтах размножается значительно быстрее и неравномернее, чем любые хомячки, и это не решается, в отличие от ddos-а, на уровне IP фильтров.

Мне непонятно, что тебе непонятно. В левой графе у обобщённой ленты -- 30%-ный шанс потерять 30% хитов за три первых часа следющей грузинской войны. В правой графе -- необходимость постоянной поддержки минимум трёхкратного резервирования по железу, канальным ёмкостям, плюс все затраты, связанные с превентивным скалированием двигла в условиях, когда ботлнеков пока не видно, и их надо угадывать (ты ведь знаешь, что будущие ботлнеки не всегда очевидны в случае порядкового органического роста трафика?). И чего, ты легко выберешь правую графу?

[kika.livejournal.com]

Ну я еще раз напишу, преподавательский опыт учит терпению к ближнему своему: "Если строить под этот трафик невыгодно, то мне и интересно почему." Потому что сначала были iopsы на статике и канал наружу, потом вдруг набежал ддос, а кончилось все масштабированием движка и пр. Это все вещи совершенно разной природы, от глупости и нищебродства до архитектурных flaws разной степени flawlessности. Иопсы на статике и каналы забрасываются небольшим количеством бабла, ддосы - это явления природы, а масштабирование софта это интересно.

[jsn.livejournal.com]

Терпение рулит, но для разумного обсуждеия нужны ещё некоторые качества (к сожалению, преподавательский опыт, похоже, ещё и назидательности нехуево учит). Ddos был приведён исключительно в качестве примера того, что научило лично меня терпению и кротости в общении с людьми, которые любят простые и логичные советы давать. Каковые качества теперь здорово помогают мне прямо сейчас :)

Насчёт "началось" и "кончилось" -- это всё твои проекции. На самом деле конкретное техническое проявление ботлнеков каждый раз разное и в разных сочетаниях. Чтобы не ложиться при следующем утроении пика, надо постоянно вкладываться в провиженинг всего перечисленного, and then some.

Тебе что непонятно-то? Я тебе описал левую графу и правую графу. Левая графа -- это "не строить под этот трафик", правая -- это "строить под этот трафик". Если тебе уже очевидно, почему левая графа может быть выгодна, то непонятно, о чём ты меня спрашиваешь. Если ещё неочевидно, то ты как-то поконкретнее, что именно неочевидно.

[kika.livejournal.com]

А тебя не затруднит мне указать предметно на "советы"? Там были вопросы, а не советы.
Просто ты как-то это все рассказываешь как будто есть какая-то секретная магия, которая не дает расти без того чтобы все раком вставало. Я пытаюсь понять происхождение этой магии, чтобы либо на нее рукой махнуть либо сделать какие-нибудь полезные выводы.

По очевидности неочевидности. Насчет 30% вероятности потерять 30% хитов - выглядит снаружи это как 100% вероятность потерять почти 100% хитов. Если лента лежит, то прорваться на нее невозможно или почти невозможно. При 30% вероятности потери 30% хитов это называется "время от времени CSS не загрузился или одна картинка битая". Я не могу понять насколько это ценно для ленты, потому что не знаю сколько бабок она теряет в минуту.

Резервирование по железу в моем мире очень дешевое (например у меня просто есть логин на холостую машину, за которую я не плачу пока не использую. Если чо - я мигрирую туда xen-овские образы и поднимаю за полчаса все что надо, денег потом отдам). Резервирование каналов - тоже, по-моему они будут только рады налить мне туда хоть 10гбит, лишь бы я хоть раз обосрался и съел бы сколько-нибудь сверх своих ста мегабит или сколько там набегает. Это ж реально почти ничего не стоит.

По-моему лента настолько ценный генератор трафика, что ей навстречу пойдут почти до куда угодно.

Ну и с движком тоже непонятно. У меня-то web 1.0, никаких тебе логинов и персонализированного контента, реальной динамики - только поисковые запросы (зато те по полной программе жрут). Поэтому мне и интересно как ваш вебдваноль выживает в реальной мясорубке.

[jsn.livejournal.com]

Советы типа выбросить блины и резевировать канальные, нет? Я ни разу не рассказываю про секретную магию, я лишь пытаюсь объяснить тебе, что 1) если хозяева пруда не считают резервирование под такие штуки первым приоритетом -- во время таких штук всегда будут вылезать какие-нибудь ботлнеки, и 2) позиция "это не первый приоритет" не то чтобы совсем нерезонна.

Если реально посмотреть по открытой статистике, то такие события, как сегодня, дают примерно три-пять раз вверх по посещаемости (например, грузинская война, которую эхо пережило без заметных проблем). Сегодня на эхе примерно 2-2.5 вверх, с учётом проблем с каналом. Примерно из такого и складываются мои оценки вероятностей и потерь. Лента тоже не то чтобы на каждый такой случай уходит в даунтайм (и сегодня в том числе, не сказать, чтобы существенное время существенно лежала). Просто случаи, когда лента не ложится при скачке, ты, наверное, не замечаешь? У меня нет другого объяснения твоим первым 100%. Сегодня лежка ленты, когда таки наблюдалась, выглядела как длинная задержка на css-е и незагрузка картинок. Ты видел что-то другое? Это, наверное, объясняет твои вторые 100%.

Ну и я не знаю, сколько бабок лента упускает за такой день, как сегодня, с такими перебоями, как сегодня; но я думаю, что меньше $2k. Это происходит типа раз в года полтора, наверное. При этом, очевидно же, что день в целом в прибылях -- это всё упущенная прибыль, а не убытки :)

Отказ от шпинделей, скажем, не сводится к пятку xen-ов. Вообще, если упираешься в io ops, то, насколько я понимаю, в москве не очень тривиально купить бесхлопотных vps-ов, где с io всё офигительно. В ленте, насколько я знаю, деплоймент нового бокса даже под фронтенд -- это некое событие. В смысле, их всего там два или четыре, я думаю. У них нет автоматизированной процедуры для этого, и при таких объёмах не факт, что она экономически оправдана. Никто не мейтейнит образы, и т.д. Ну, насколько я знаю.

С каналами проблема конкретно у эха -- они имеют свою текущую площадку в результате сложных многолетних бартерных отношений, там канальные ёмкости исчерпаны, переезд связан с изменением формата отношений и проч. и проч. В абсолютных цифрах цена канала невелика; в относительных -- его стоимость становится ненулевой из нулевой. Я всё равно продавлю, конечно, но после сегодняшнего это сильно проще, чем до. Надеюсь, это сколько-то отвечает на незаданный вопрос про administrative friction и organic growth.

Ну а про вебдваноль -- чего там, всё то же самое, добросить ресурсов, где жмёт, смазать, где лочится, всё как обычно. После скрюапа опять же сильно проще, чем до :)

[kika.livejournal.com]

Это не совет выбросить блины, а вопрос почему лента это не делает. Может там конечно как в ибеем, 6 уровней вложенности, и потом еще 4 международных уровня (вот это да, вот это фрикция), так что SSD приедут ровняк к тому моменту когда весь мир перейдет на голографические накопители. Но как-то вряд ли.

Для меня сегодня в 9 утра лента лежала ничком. То есть у меня что со стрима, что с езернета не грузилось ничего. Waiting for lenta.ru и усё. У Газеты открывалась морда, но не открывалась новость про теракты. Что говорит видимо о том, что у них там похитрее раскидано.

$2K упущенных прибылей закрывают вопрос, конечно. Ради этого дергаться не имеет никакого практического смысла. Я как-то себе представлял цифры скорее на порядок большие.

[jsn.livejournal.com]

я не знаю, почему лента этого не делает (и не делает ли, да и не знаю, собственно, в чём их проблемы были сегодня, и связаны ли они с io -- я общался тамошними техами год назад на эти темы последний раз).

а ленту я сегодня в районе 9-10 смотрел многократно, и глухо она лежала раза два из десяти, наверное. да возьми любой график по ленте, хоть top100-шный, там типа видно, что дура не дура, а свой миллион страниц в час отдаёт.

[jsn.livejournal.com]

ну то есть моя арифметика проста: они отдают 1e6 в час, начиная с 9-ти. если бы не лежали, то ну отдавали бы первые два часа не 1e6, а 1.5e6. итого за день отдали бы не 1.2e7, а 1.3e7. если считать, что лента приносит в день $20k ревеня чисто на откруточной рекламе (т.е. не считая покупок места на сутки, рекламных материалов и прочего), то вот они примерно $2k потеряли. и знаешь, я буду сильно удивлён, если они столько зарабатывают -- я думаю, в разы меньше.