Highload младши блог

Моето име е Олег и аз Бунин Developers Conference организатора силно HighLoad ++ системи. В същото време, аз съм ръководител на екипа, разработил и не се препоръчват много голям и посети руски интернет проекти.

Ние не се препоръчват проекти, като например Facebook, Sports.ru, Woman.ru, Imhonet, ИТАР-ТАСС, предаде РИА Новости, Setup.ru, ние дори посъветва правителството на Москва. още

Да ви кажа какво highload, е необходимо да се започне да се дефинира понятието. Когато се опитате да "реши" на самия план, започнете, естествено, с директен трансфер - при високо натоварване. още

Аз ще се опитам да отида в "смелостта" и "смелост" бекенд на уеб услуги и каже как тази вътрешна структура се отразява ефективността на услугите, както и на продукта, неговите характеристики и как бихме могли да се възползват от тази на нашата молба да издържат на големи натоварвания или Тя ще работи по-бързо.

Каква част от това, което аз наричам уеб услуга гръб, заявление-сървър? В класическата архитектура, това е това, което е зад прокси сървър за HTTP обратно или натоварването балансьор, а от друга страна той откри в базата данни, memcashed и др. Това е само около задния край и ще бъдат обсъдени. още

На днешната лекция, аз ще се опитам да ви обясня как да се мисли за при проектирането на високо натоварени система. И първото нещо, което ще се учат - това е обща схема за изграждане на силно-сървър уеб приложения. още

Аз ще говоря за Nginx мащабируема конфигурация, но това не е за това как, защото Nginx не е необходимо да се коригира за това с помощта на Nginx да обслужват стотици хиляди едновременни връзки. Трябва да се сложи достатъчен брой работни процеси или да го поставите на "Auto", сложи worker_connections 100,000 връзки, а след това се справи с конфигурацията на ядрото - много по-глобална задача, отколкото просто да установите Nginx. още

Има магистърска, изведнъж падна, но системата продължава да работи. Клиентите, които мигрират към втора база. Трябва да направите резервни копия на бази данни. Ако направите резервни копия на главната база, ние можем да получите някои проблеми с производителността, увеличаване на времето за реакция. Това е лошо. Поради това, доста често срещан пример на асинхронен репликация - е премахването на резервно копие с роби. Друг пример - това е миграцията на тежки заявки на робовладелците, основната база за второто. Например, създаването на доклади. още

Моят доклад е предназначен за тези хора, които знаят думата "репликация", дори знам, че в MySQL е, и може би веднъж му създаде, 15 минути, прекарани и забравени. Повече за това, че не знаят нищо повече

Може би основната разлика Developers Conference HighLoad ++ силно от много други системи не е скрит дневен ред. За нас това не е необходимо всяко лице или организация, която да налага правила, които извършват или Ловни на събитието Прочетете повече

Темата на презентацията ми се индексира в MySQL и напреднали ОБЯСНЕТЕ, т.е. нашата задача ще бъде да се отговори на въпроса: какво можем да разберем с помощта на EXPLAIN'a върху какво да търсите? още

За да започнете само с няколко думи за това, което ще бъде обсъдено. На първо място, това, което е оптимизация на заявка? Хората рядко формулират и, се случва така, че често подценяваме разбирането на това, което правят. Можете да опитате да се ускори конкретна заявка, но това не е задължително да бъде оптимизирана. Ние сме малко по poteoretiziruem предмет, а след това ще говорим за кой край на този въпрос приближи, когато започва да се оптимизира как да го направя и как да се разбере, че всяка заявка или набор от заявки, които не могат да бъдат оптимизирани - такива случаи също има и след това просто трябва да прекроявам Повече

Ние сега се обръщат към проблемите, които ние ще се реши днес. Един от проблемите - голямо количество данни. Когато се разработи конкретен проект, трябва във всеки един момент, тя може да се случи, че данните, става много. Ако един бизнес работи, той носи пари. Следователно, повече данни повече пари, и тези данни трябва нещо да се направи, защото тези искания се изпълняват за дълго време, а ние не вадя започва сървър. Едно от решенията за справяне с тези данни - мащабиране на база данни. още

Доклад е роден от следващата кореспонденция. Аз, както обикновено, се опита да убеди Алексей Tarantool вече употреба, и той каза, че все още няма sharding и като цяло безинтересна. След това започна да говори за това, защо не. Започнах да се каже, че не съществува един размер подходящ за всички решения, автоматизация цялостни работи за вас, а вие пиете само кафе и всички условия на труд. Ето защо, този доклад е роден - да погледнем какво се случва sharding, което методи, при които се използват системите, какви са предимствата и недостатъците, а защо не и "сребърен куршум", за да се реши всичко? още

Много професионални магьосници ще кажат как е сега много добре изпълнява в PostgreSQL - момчетата от Postgres Professional, като част от този доклад ще кажа всичко за клъстера. още

Бих искал да започна с отговора на въпроса за сравнителния анализ. В действителност, има специална конфигурация, не е нищо друго. Ние не сме много големи експерти Redis и Memcached, но има и един чифт дръжки. Ние трябва да се даде възможност на compactification Redis данни - това ще се отрази сериозно нейната ефективност, т.е. той има определен начин за съхраняване на малки групи, списъци и т.н. Тя трябва да бъде включена. Ние, разбира се, това включва, както ако не е включена, а след това всичко става още по-зле, защото той просто яде много памет. още

Моето име е Евгений. Аз работя в отдела на Сбербанк на дигитални Ventures - малка единица, която предлага иновативни продукти и решения. Т.е. ние правим IT-прототипи на кръстопътя на нови технологии.

В този доклад, искам да ви разкажа за вашия случай на използване на NoSQL-решения от страна на потребителя, така че в началото бих искал накратко да мине през теорията. още

Ние ще говорим как да се изгради услуги, базирани на Nginx и Tarantool - е първата част на този доклад, аз ще ви запозная малко повече с Upstream-модул. Във втората част на Андрю, моят колега ще говорим за това как да се реализира Tarantool sharding. И третата част - ние ще ви покажем доклад за начина, по който RPS, което leytensi и какви показатели ние сме били в състояние да се отстранят всички реални данни. още

Днес аз ще ви покажа как да спестите пари за бази данни са много пари, например, един милион долара, както направихме. Да започнем с въпроса: защо е по-вероятно да се използва базата данни, не е решение, аз открих? Бази данни - този магазин, по-структурирани от даден файл, с обхват от някои от характеристиките, че файлът не. още

Какво мислите, каква е цената на приоритетни опашки? Т.е. ако някой, да речем, излизане от гамата, как да се изчисли стойността на цялата система в тази ситуация, така че тя да е пропорционална на? Време за обслужване на клиенти (например, на 5 минути трябва да му служат)? Тя е пропорционална на броя на очакваното, тъй като времето за изчакване за всеки от тях ще се увеличи. още

В този доклад, аз искам да говоря за преминаване RabbitMQ и Pipeline архитектура, и как то е свързано с работата на нашата компания. още

Моето изказване ще бъде за нещо, без което не може да направи всеки HighLoad проект - за сървъра опашка, и ако имате време, аз ще кажа за ключалката. Аз ще кажа за това къде и как да използвате опашката, защо всичко това е необходимо, аз ще разкажа малко за протоколите. още

Преглед доклад за основния вътрешната структура на всяка съвременна търсачката. За един кратък списък от документи и позиции, както тогава се работи с тях търсят съвпадение документи (и различни оператори), като организира класиране изтеглените документи като са направени и работа с филтриране и обобщаване на допълнително (без текст) документ атрибути. Когато е възможно, препратки към всички известни изпълнения (като по принцип е възможно, както се прави в Сфинкса, в Lucene). още

Историята, че всеки инженер трябва да направи в живота си, след като той стана баща на дете, посадиш дърво и да построи къща - това е, за да си съхраняване на файлове. още

Каква е скалата, изобщо? Възможно е да се повиши ефективността на проекта в минимално време чрез добавяне на ресурси.

Обикновено мащабиране не включва пренаписване на кода, или добавяне на сървъри или разширения на съществуващите ресурси. При този вид разграничи вертикално и хоризонтално мащабиране. още

Аз ще ви кажа малко за кеширане. Кеширане, като цяло, не е много интересно, и да вземат keshiruesh, така че да има повече да се каже за Memcached, по-скоро интимните подробности. още

Аз ще ви кажа за инструментите проекти тежкотоварни, кеширане, по-специално, Memcached, Redis-е и RabbitMQ опашка услуга или общо "заек". още

В доклада (а сега и в статията), Юри разказва как Badoo има идеално равна балансиране на натоварването от другата страна на групата от над 200 сървъри, реализира автоматичен избор на тежести и се разпространява в натоварването на процесора с 2.5% в най-натоварения трафик. Това ще спести около 40-50 сървъри и подобряване на времето за реакция на мобилния си сайт в пиково натоварване. още