Hotmail saņem jaunu Storage System - padarot to vēl ātrāk!

Hotmail saņem jaunu Storage System - padarot to vēl ātrāk!
Hotmail saņem jaunu Storage System - padarot to vēl ātrāk!

Video: Hotmail saņem jaunu Storage System - padarot to vēl ātrāk!

Video: Hotmail saņem jaunu Storage System - padarot to vēl ātrāk!
Video: System For Advanced Electricity Measurement Electricity Meater Video - YouTube 2024, Aprīlis
Anonim

Katru dienu Hotmail saņem miljardus e-pasta ziņojumu, un tie ir jāuzglabā droši, un tiem jābūt viegli pieejamiem. "Hotmail" mākoņa arhitektūras uzglabāšanas sistēma atbalsta vairāk nekā miljardu pastkastītēs un simtiem petabītu datu (viens petabaits ir miljons gigabaitiem). Un efektīvi rīkoties simtiem tūkstošu vienlaicīgu darījumu šajā mērogā ir inženiertehnisks izaicinājums. Uzglabāšanas sistēma ir veidota, izmantojot Microsoft tehnoloģijas, tostarp Windows Server un Microsoft SQL Server.

Microsoft ir strādājusi pie būtiskas jaunināšanas šajā uzglabāšanas sistēmā. Kopš šī gada sākuma jaunā sistēma, kas balstīta uz Hotmail izstrādātajām tehnoloģijām, darbojas izmēģinājuma klasterī, izmantojot Microsoft darbinieku personīgos kontus. Un pēc stingras pārbaudes jaunā sistēma ir sertificēta, kas nodrošina labāku uzticamību par ievērojami zemāku cenu.

Ļaujiet mums redzēt dažas no šīm jaunajām tehnoloģijām, ko izmanto Hotmail.

JBOD ieviešana, aizstājot RAID:

"RAID (liekā diska datu pārpalikums) ir tehnoloģija, kas ļauj vairākiem cietajiem diskiem piestiprināt pie viena vadības paneļa, un tāpēc tie izskatās kā viens lielāks un daudz uzticamāks cietais disks (dažreiz saukts par" Logical Unit "), lai programmatūra, kurā darbojas glabāšanas sistēma."

Hotmail jau ilgu laiku izmanto RAID. E-pasts tika saglabāts vairākās RAID grupās tā, ka pat tad, ja visa RAID neizdodas, ziņojumus var atjaunot. Hotmail izpētīja jaudas disku uzticamības perspektīvu, kas lielāka par 1 terabaitu, un konstatēja, ka no ticamības viedokļa tas nav naudas vērts. Kā RAID sistēmas viegli risina problēmas, kas ietekmē vienotu sistēmu, bet ne ja rodas problēmas ar visu mašīnu vai RAID kontrolieri. Hotmail atklāja, ka kopijas uz cita datora, kas nesadala kontrolieris, bija ne tikai uzticamāka, bet arī izdevīga, kā arī lētāka nekā RAID konfigurācija.
Hotmail jau ilgu laiku izmanto RAID. E-pasts tika saglabāts vairākās RAID grupās tā, ka pat tad, ja visa RAID neizdodas, ziņojumus var atjaunot. Hotmail izpētīja jaudas disku uzticamības perspektīvu, kas lielāka par 1 terabaitu, un konstatēja, ka no ticamības viedokļa tas nav naudas vērts. Kā RAID sistēmas viegli risina problēmas, kas ietekmē vienotu sistēmu, bet ne ja rodas problēmas ar visu mašīnu vai RAID kontrolieri. Hotmail atklāja, ka kopijas uz cita datora, kas nesadala kontrolieris, bija ne tikai uzticamāka, bet arī izdevīga, kā arī lētāka nekā RAID konfigurācija.

Tātad viņi izstrādāja JBOD (Just a Bunch of Disks), kur datu kopijas ir neatkarīgi cieto disku, kontrolieri un mašīnas. Tādējādi cietā diska kontrolleris tiek gandrīz pilnībā izlaists un nodots programmatūrai, lai kontrolētu to. Šo JBOD sistēmas programmatūru izstrādāja Hotmail.

Šī JBOD programmatūra pastāvīgi uzrauga neveiksmes un rada brīdinājumu, kad tiek konstatēts, tādējādi uzsākot remonta procesu. Šis labošanas process var būt mašīna no jauna palaist vai restartēt procesu, noskaidrot datu sagrozīšanu vai pat vajadzības gadījumā iesaistīt cilvēku iejaukšanos. Programmatūras izmantošanas galvenā priekšrocība ir tā, ka, saglabājot labas pasta kopijas, prioritāte tiek piešķirta remonta darbībām, ja tā atrod mazāk kopijas. Izmantojot šo programmatūru, pati atkārtošana tika vienkāršota
Šī JBOD programmatūra pastāvīgi uzrauga neveiksmes un rada brīdinājumu, kad tiek konstatēts, tādējādi uzsākot remonta procesu. Šis labošanas process var būt mašīna no jauna palaist vai restartēt procesu, noskaidrot datu sagrozīšanu vai pat vajadzības gadījumā iesaistīt cilvēku iejaukšanos. Programmatūras izmantošanas galvenā priekšrocība ir tā, ka, saglabājot labas pasta kopijas, prioritāte tiek piešķirta remonta darbībām, ja tā atrod mazāk kopijas. Izmantojot šo programmatūru, pati atkārtošana tika vienkāršota

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Cieto disku ieviešana (SSD) vietā cieto disku vietā.

Mēs zinām, ka SSD ir daudz ātrāk nekā cietie diski. Cietie diski, lai gan lielāki un lētāki, lēni apstrādā pieprasījumu skaitu.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Lai gan šis ātrums nāk par cenu, jo tas ir daudz dārgs / gigabaitu, salīdzinot ar cietajiem diskiem.

SSD apstrādā vienmērīgi mainīgo slodzi. To var izskaidrot, jo Hotmail ne tikai uzglabā e-pasta ziņojumus, bet arī uzskaita dažādus nemainīgi mainīgos metadatus, piemēram, ziņu sarakstu iesūtnē, lasīšanas / nelasīto ziņojumu statusu, sarunu vītņu utt. Tomēr šie metadati aizņem nelielu daļu atmiņas uzliek maksimālo slodzi uz cietajiem diskiem, jo pastāvīgi mainās daba. Tātad, izmantojot SSD metadatu glabāšanai un cietie diski ziņām, tiek nodrošināta labāka un efektīvāka kombinācija.

Papildus šiem uzlabojumiem Hotmail atklās vēl daudz vairāk nākamajās amatu vietās. Jaunās glabāšanas sistēmas ieviešana jau ir sākusies, un jaunās klasteru pamatā būs JBOD. JBOD ir jau 30 miljoni lietotāju, savukārt vēl 100 miljoni notiks laikā.
Papildus šiem uzlabojumiem Hotmail atklās vēl daudz vairāk nākamajās amatu vietās. Jaunās glabāšanas sistēmas ieviešana jau ir sākusies, un jaunās klasteru pamatā būs JBOD. JBOD ir jau 30 miljoni lietotāju, savukārt vēl 100 miljoni notiks laikā.

Ja esat pamanījis, Hotmail ir kļuvis ļoti ātrs. Ja jums nav, izmēģiniet to tūlīt.

Ieteicams: