livejournal
Nov. 14th, 2001 05:07 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
jsnПри попытке посмотреть фифовую ленту с заметным скипом счастливый исход имеет место быть примерно в пяти процентах случаев. все остальное время я получаю Timeout rendering page либо connection reset by peer. Да, сейчас около пяти утра, прайм-тайм по американским меркам, вероятно.
Забавно, что 95% процентов ресурсов, которые livejournal.com тратит в данный момент на общение со мной, уходит на генерацию сообщения про Timeout и создание connection reset-ов. Если бы сервера livejournal хоть четверть этого времени тратили бы на генерацию страниц, всем было бы существенно приятнее жить. Вообще использование rlimit-ов для традиционных веб-приложений -- это отдельная трудная тема, конечно.
Граждане, мне кажется, я готов начать имплеметить механику синхронизации. Митинг по поводу устройства протокола для этого необязателен, но может быть полезен. Если вы это мнение разделяете, давайте еще раз попробуем договориться о времени и месте. Как насчет четверга?
![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
mdh, мне нужен аккаунт на бете, и я хотел бы с тобой перетереть кое-что. и с a48 тоже. Вы как? Сегодня, скажем?
Забавно, что 95% процентов ресурсов, которые livejournal.com тратит в данный момент на общение со мной, уходит на генерацию сообщения про Timeout и создание connection reset-ов. Если бы сервера livejournal хоть четверть этого времени тратили бы на генерацию страниц, всем было бы существенно приятнее жить. Вообще использование rlimit-ов для традиционных веб-приложений -- это отдельная трудная тема, конечно.
Граждане, мне кажется, я готов начать имплеметить механику синхронизации. Митинг по поводу устройства протокола для этого необязателен, но может быть полезен. Если вы это мнение разделяете, давайте еще раз попробуем договориться о времени и месте. Как насчет четверга?
mdh, мне нужен аккаунт на бете, и я хотел бы с тобой перетереть кое-что. и с a48 тоже. Вы как? Сегодня, скажем?
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
Re:
Date: 2001-11-16 02:23 am (UTC)Îäèí çàïðîñ - äà, ïðîáîâàëè, è íè÷åãî íå âûõîäèò. Ïîñëåäíèé ðàç ÿ â÷åðà ïåðåïðîáîâàë, ïðîâåðÿÿ Áðýäà. Îí ìíå îòâåòèë ÷åðåç 18 ñåêóíä íà ôðåíäîâóþ ëåíòó èç 50 äðóçåé, èëè ÷òî-òî òèïà òîãî ;(
Ñåé÷àñ åñòü åù¸ êàêèå-òî çàäóìêè, áóäó ñåãîäíÿ ïðîâåðÿòü.
Î ñîòíÿõ ñåëåêòîâ - ïîñìîòðèòå âíèìàòåëüíåé âíóòðü get_recent_items, âñÿ ñóòü â òîì, ÷òî äëÿ êàæäîãî ôðåíäà çàïðîñ ïîëó÷àåòñÿ ÷óòü-÷óòü ðàçíûì, ïîòîìó ÷òî ìû äîáàâëÿåì ðàçíûå óñëîâèÿ security â çàâèñèìîñòè îò òîãî, ÿâëÿåòñÿ ëè remote viewer äðóãîì äàííîãî ôðåíäà è åñëè äà â êàêèõ ãðóïïàõ äðóçåé îí îáèòàåò. Èìåòü îäèí è òîò æå çàïðîñ íà âñåõ íå ïîëó÷èòñÿ.
no subject
Date: 2001-11-16 02:58 am (UTC)êîíå÷íî, ÿ ñìîòðåë get_recent_items, îá ýòîì è áûë âîïðîñ. çàïðîñ ïîëó÷àåòñÿ â îáùåì ñëó÷àå ðàçíûé, íî ðàçíîñòü ýòà -- â $extra_sql è $secwhere, áîëüøå íèãäå, åñëè ÿ ïðàâèëüíî ïîíèìàþ. ÷òî äàåò ìàêñèìóì äâà ðàçíûõ prepare çà îäèí view (åñëè ÿ ïðàâèëüíî ïîíÿë, âíóòðè îäíîãî view $extra_sql -- êîíñòàíòà). äâà âìåñòî, ñêàæåì, äâóõ ñîòåí. îñòàëüíîå ðàçíîîáðàçèå çàïðîñîâ ðåøàåòñÿ ÷åðåç ïàðàìåòðèçàöèþ execute.
íó ïîòîì, òàì æå åñòü åùå ïî ïóòè êó÷à ñåëåêòîâ, êîòîðûå âîîáùå íèêîãäà íå ìåíÿþòñÿ è prepare-ÿòñÿ íà êàæäîì øàãó. ïðîùå ñêàçàòü, prepare âîîáùå íèãäå, êàæåòñÿ, íå êåøèðóåòñÿ.
Re:
Date: 2001-11-16 03:13 am (UTC)Íàñ÷¸ò ñåëåêòîâ, ê-å prepare-ÿòñÿ íà êàæäîì øàãó - ýòî âåðíî. ß íå ïîìíþ, âïðî÷åì, ñêîëüêî ðèêâåñòîâ ñåé÷àñ ïðîâîäèò îäèí ñåðâåð äî òîãî, êàê åãî FastCGI óáèâàåò è íîâûé çàïóñêàåò, ðàíüøå òàì áûëî îòíîñèòåëüíî ìàëî, ÷òî-òî âðîäå 50. Íî ÿ ïîèãðàþñü ñ ýòèì, ñïàñèáî çà èäåþ.
no subject
Date: 2001-11-16 03:29 am (UTC)$secwhere = "AND (security='public' OR (security='usemask' AND allowmask & $mask != 0))";
â ðàìêàõ îòðàáîòêè îäíîãî çàïðîñà íà friends view èñïîëüçóåòñÿ, íàñêîëüêî ÿ ïîíèìàþ, òîëüêî äâå èç íàçâàííûõ òðåõ ôîðì -- ñòàòè÷íàÿ è îïèñàííàÿ âûøå.
â îïèñàííîé âûøå ôîðìå åñòü òîëüêî îäíî èçìåíÿåìîå ìåñòî -- ýòî $mask. íè÷òî âðîäå áû íå ìåøàåò ñäåëàòü åãî ïàðàìåòðîì ê execute. ÷òî-òî òèïà
$secwhere = "AND (security='public' OR (security='usemask' AND allowmask & ? != 0))";
è, äàëåå,
$sth->execute($mask) ;
èëè ÿ ÷òî óïóñêàþ?
Re:
Date: 2001-11-16 03:37 am (UTC)(åñëè ó Âàñ åñòü æåëàíèå, by all means ïîñûëàéòå ñàìè patch â ðàññûëêó!)
no subject
Date: 2001-11-16 07:58 am (UTC)êýøèðîâàííûìè prepare ÿ ëè÷íî íèêîãäà íå ïîëüçîâàëñÿ, íî óæ áîëüíî îíè â ìàíå ïðî DBI íàñòàèâàþò, ÷òî ýòî óñêîðÿåò âåùè è âîîáùå the right thing. íà îáúåìàõ áåòû ýòî íå î÷åíü-òî è ïîïðîáóåøü: áóñò âðÿä ëè áóäåò îñîáî çàìåòåí.
õîòåëîñü ñïðîñèòü Âàøå ìíåíèå -- åñëè ÿ íåêîòîðûé ïðîòîêîë ñèíõðîíèçàöèè òàêè ðåàëèçóþ, â âèäå ïàò÷à ê ñóùåñòâóþùåìó äâèæêó è äîêè, íàïðèìåð -- åãî ïðîêîììèòÿò? à òî íà÷èíàåò êàçàòüñÿ, ÷òî òàê âñåì áóäåò óäîáíåå: â ïðîöåññå ðåàëèçàöèè ìíå àâòîìàòè÷åñêè ïðèäåòñÿ âñå hidden issues êàê-òî ðàçðåøèòü. äóìàþ ïîäíÿòü ãäå-íèáóäü alpha.livejournal.ru, â ïðîòèâîâåñ áåòå, è ìåæäó íèìè ñòðîèòü ïèð ïîñòåïåííî. ìíå êàæåòñÿ, ýòî íå îòðàçèòñÿ íà èäåîëîãèè ñóùåñòâóþùåãî äâèæêà.
Re:
Date: 2001-11-16 10:52 am (UTC)ß ÍÅÍÀÂÈÆÓ ÝÒÎÒ ÊÓÑÎÊ ÄÅÐÜÌÀ.
Èçâèíèòå ;)
×åñòíî ãîâîðÿ, ÿ ñîìíåâàþñü, ÷òî åñëè Âû ïðåäîñòàâèòå ãîòîâûå ïàò÷è ñèíõðîíèçàöèè ñ äîêàìè, èõ ïðîñòî òàê ïðîêîììèòÿò, äàæå åñëè îíè áóäóò ðàáîòàòü. Êàê ìû óæå óáåäèëèñü, èäåé íàñ÷¸ò òîãî, êàê ñäåëàòü äèñòðèáóöèþ åñòü ìíîãî, è âûáîð ñîáñòâåííî àðõèòåêòóðû íå ìåíåå âàæåí ÷åì ñàì êîä; ÿ íå äóìàþ, ÷òî Áðàä ñîãëàñèòñÿ ïðèíÿòü íåïîíðàâèâøóþñÿ åìó àðõèòåêòóðó òîëüêî ïîòîìó, ÷òî åñòü ðàáî÷èé êîä.
Ìíå êàæåòñÿ áîëåå íàä¸æíûì ñíà÷àëà îáñóäèòü ñòðàòåãèþ è âûáîð àðõèòåêòóðû â ðàññûëêå.
Êàñàòåëüíî ñåðâåðà - åñëè Âàì íóæíî, ÿ ïîïðîøó îðãàíèçîâàòü äëÿ Âàñ goathack account - ýòî ýêêàóíò íà goathack.livejournal.org, ãäå ó Âàñ åñòü ñâîé àïà÷ (áåãóùèé íà ñâî¸ì ïîðòó) è ñâîé myqsl, ïðåóñòàíîâëåííàÿ ñðåäà ÆÆ è ïîëíàÿ âîçìîæíîñòü ýêñïåðèìåíòèðîâàòü ñ ÷åì óãîäíî. Ýòî ñïåöèàëüíàÿ ñðåäà äëÿ äåâåëîïåðîâ ÆÆ, î÷åíü óäîáíî.
no subject
Date: 2001-11-16 02:32 pm (UTC)ðàçíèöà âî âðåìåíè âûïîëíåíèÿ íàáëþäàåòñÿ äîâîëüíî ñòàáèëüíî -- âàðèàíò ñ îäíîêðàòíûì prepare çàíèìàåò íà 30%+ ìåíüøå user cpu. â îæèäàíèè îòâåòîâ îò sql-ñåðâåðà îáà ïðîâîäÿò îäèíàêîâîå âðåìÿ.
ÿ íå äåëàþ fetchrow â ýòîì òåñòå -- òîëüêî prepare è execute.
Re:
Date: 2001-11-16 02:51 pm (UTC)ß ñìîòðþ â èñõîäíèêè DBI-driver'à äëÿ mysql è íå âèæó, ãäå îí ìîæåò ñýêîíîìèòü 30%. Ðàçâå ÷òî íà òðèâèàëüíûõ âåùàõ òèïà àëëîêàöèè ïàìÿòè è ïîäîáíîé ìåëî÷è, íî òîãäà ýòè 30% äîëæíû äàâàòü î÷åíü ìàëî.
Ïðè÷èíà ïî ê-é äîêè DBI ñîâåòóþò ýêîíîìèòü íà prepare - êàê ðàç â òîì, ÷òî â íàñòîÿùèõ ñåðâåðàõ prepare - ýòî îòäåëüíûé âûçîâ ñåðâåðà, ê-é âñ¸ ïàðñèò è âîçâðàùàåò íåêóþ âíóòðåííþþ ñêîìïèëèðîâàííóþ ôîðìó. Íî â ñëó÷àå ñ mysql ñåðâåð ïðîñòî íå âûçûâàåòñÿ ïî prepare.
Ñòðàííî.
no subject
Date: 2001-11-17 12:21 am (UTC)àáñîëþòíî íè÷åãî, â îáùåì, èíòåðåñíîãî.
åùå ðàç îáðàùàþ Âàøå âíèìàíèå íà òî, ÷òî 30% âûèãðûøà -- ýòî â òåðìèíàõ user cpu, ò.å. ïðîöåññ, äåëàþùèé prepare è 1000 execute()-îâ, ñúåäàåò íà 30% ìåíüøå cpu êâàíòîâ, ÷åì ïðîöåññ, äåëàþùèé 1000 prepare è òûñÿ÷ó execute.
1) îáà ïðîöåññà áîëüøå íè÷åãî íå äåëàþò -- íå äåëàþò, â ÷àñòíîñòè, íèêàêèõ fetchrow_*.
2) êàê ÿ óæå ñêàçàë, îòâåòà îò sql-ñåðâåðà îíè îáà æäóò â òî÷íîñòè îäèíàêîâîå âðåìÿ -- âñÿ ýêîíîìèÿ òîëüêî â ïîòðåáëåíèè cpu êâàíòîâ.