Cisco UCS part #1 - perusjuttuja

Yritän tässä kasailla nyt kesän, syksyn aikana asennus yms. juttuja Ciscon UCS:stä. (Unified Computing System). Ensin kasataan itse UCS, tehdään sille kahdennettu verkko, liitetään Netapp storageen; sekä FC, että NFS. Tämänjälkeen laitetaan ESX pystyyn, tehdään VNLinkillä yhteyksiä ja katsotaan miten kaikki saadaan toimimaan nätisti keskenään.

Cisco toi UCS:n (aka. Project California) vähän aikaa sitten markkinoille. Sen tarkoitus olisi Ciscon sanoin yhdistää niin verkko, levy (storage), palvelin virtualisointi yhdeksi kokonaisuudeksi.

Ciscon ajattelutapa eroaa aika paljon siinä, että kehikon "aivot" tuodaan kytkimeen sensijaan, että jokaisessa kehikossa olisi omat "aivot", kuten mm. HP ja Dell tekee. Tämä tietysti auttaa siinä, että kehikko itsessään on vain rautaa ja hintaa saadaan siinä alaspäin, joskin kytkimet tietysti maksavat enemmän. Samoin Ciscon PALO-kortti (M81KR) on erittäin mielenkiintoinen ja tarjoaa varmasti jännittäviä konffaushetkiä ja vähän muuttaa tapoja tehdä asioita.

Hommahan koostuu alla olevan kuvaisesti seuraavista komponenteista (Ciscon sivuilta poimittu kuva)

Alhaalta ylöspäin. Taino, keskeltä alas ja sitten ylös.

Keskellä on kehikko (5100 malli), johon saa 8 puolileveää tai 4 täysleveää palveinta kiinni.
Taakse laitetaan 2 kpl Fabric Extenderit (UCS 2104XP), joista yhdestä FEX:istä saa 4 kpl 10G yhteyttä kiinni UCS-kytkimiin. Kehikossa on 8 tuuletinta. Sähköä se muistaakseni söi 4 x 2500W powereita, jotka pystyivät olemaan muutamalla eritavalla kytkettyinä. Itse suosisin n+1 mallia. Korkeus on 6RU.

Kehikossa itsessään ei ole mitään älyä, joten siitä ei ole kauheasti mitään sen ihmeellisempää kerrottavaa.

Bladeja taitaa tällä hetkellä olla saatavilla B200 (puolileveä) ja B250 (täysleveä).
B2x0 -sarjalaiset tukevat Intelin 55xx prosessoreja. Ilmeisesti on tullut myös B4xx sarjalaisia, joissa on sitten Intelin 56xx ja 75xx malleja, mutta niistä en tiedä sen tarkemmin.
B200:een saa maksimissaan 96GB muistia (12DIMM) ja B250 tukee 384GB (48DIMM).

B200 saa yhden mezzanine kortin ja B250:een 2. Näinollen B200 thruput on 20Gbps max ja B250 40Gbps.

Mezzanine kortteja on seuraavanlaisia:

 • Cisco UCS 82598KR-10 Gigabit Ethernet Network Adapter

• Cisco UCS M71KR-Q QLogic Converged Network Adapter

• Cisco UCS M71KR-E Emulex Converged Network Adapter

• Cisco UCS M81KR Virtual Interface Card

Tulen käymään läpi tuota M81KR korttia enemmän jatkossa, koska tuo on yksi syy, miksi Ciscon UCS on kiinnostava.

Kehikosta mennään FEX:in kautta UCS kytkimiin (6120/6140 mallit). FEX:stä kytkimiin laitetaan kaapeleita tarpeen mukaan. Muistaakseni joko 1,2 tai 4 10G yhteyttä (per FEX). Maksimi thruput on silloin 80Gpbs per kehikko.

UCS kytkimistä (Fabric Interconnect) sitten tulee ihan omia juttuja. Kytkimissä on oikeastaan kaikki mitä UCS itsessään on. Yhteen UCS järjestelmään voi kytkeä 40 UCS kehikkoa (max 320 puolileveää palvelinta). Jokatapauksessa kytkimessä on 20 tai 40 10Gpbs porttia (SFP+) ja lisämahdollisuutena voi siihen laittaa 8 porttisen 1/2/4Gbps FC (Fiber Channel) kortin, 6 porttisen 1/2/4/8Gbps FC-kortin, 6 porttinen 10Gbps eth-kortti tai 4 FC + 4 eth 10Gbps kortin.

Hyvä, sekava kirjoitus.. kyl tää tästä :)

Nexus 7k muistiinpanoja

Nexus 7k kurssilla. En ole mikään verkkoihme, mutta jotain muistiinpanoja.

• Mallit 7010 / 7018 (7009 tulossa -> puolikas 7018)
• Paljon 10G portteja, paljon kapaa (skaalautuu 15-17Tb)
• FCOE tulossa, 5k tukee sitä jo nyt
• MPLS tulossa, en tiedä millä featureilla
• Service cardit tulossa myös, joskus
• lossless, eli ilmeisesti tarkoitetaan, että esim. paketteja ei huku, sen ei pitäisi koskaan olla alhaalla
• SUP:t kahdennettu (stateful)
• Kahdella SUP:lla voi tehdä hitless päivityksen. Kaikki softat yhdessä imagessa. Linjakortit se päivittää kortti kerrallaan (ei koko laitteen boottausta)
• prosessit voi olla päällä tai pois (esim. ospf/bgp) -> ei vie turhaa resuja
• config verification 
• Omat "ILO" interfacet (CPM -portti), jotta voi etäboottia
• VDC (virtualisointi) -> tällä hetkellä mahdollisuus tehdä 4 täysin erillistä "reititintä", tosin 1 niistä on admin VDC, joten 3 käytännössä. Haittapuolena on se, että per VDC pitää aina varata omat portit, myös uplink.
• online diagnostic -> valvoo järjestelmää -> lähettää vikailmoituksia
• 40/100G ready
• Control plane / Data-plane ovat erillisiä
• 7010:ssä oli edestä takaa ilmanvaihto, kun taas 7018:ssa se oli sivuilta. 
• 32 porttinen 10G kortti. 1:4 oversubscription (muistaakseni). Neljän portin pareista voidaan tiputtaa 3 pois, jolloin koko kytkimessä voisi olla 8 10G porttia, jolle on dedikoitu 10G yhteys (per portti)
• Tulossa myös 8 porttinen 10G kortti juurikin edellistä varten
• Hienot (minusta?) jonotus/bufferointi ominaisuudet. Kun paketti tulee sisään, kysytään SUP:lla olevalta ASIC:lta (Arbirator muistaakseni) missä kaverin jonossa on vapaata. Per moduli oli aina monta jonoa. Tai jotain sinnepäin, pitää katsoa tarkemmin uudestaan, jos tarve :)
• NX-OS:ssa voi sanoa "ip address 1.2.3.4/32" tai ACL:ssä permit jotain 1.2.3.4/32 (yay)

Lisää vielä... huomenna ehkä sen konffauksesta jotain.

Updatea vähän tältä päivältä:

• vPC vaikutti ihan toimivalta systeemiltä. Se käytännössä vaatii 10G linkit aina kahden nexuksen väliin ja ilmeisesti vähintään yhden keepalive linkin. Ainoa mikä oli vähän epäilyttävää on, että jos tulee split brain, niin ilmeisesti molemmat ovat silti aktiivisia ja no.. silloin voi vähän homma ns. pissiä. Toinen mikä voi olla haaste, että konfiksesta voi tulla aika sekava, jos tän tekee 4 purkilla reduksi. Tiedä sitten tuleeko enemmän inhimillisiä virheitä vaan vPC:n takia.
• OTV mikä on tulossa jossain vaiheessa käytännössä levittää L2:n L3:n yli vaikka eri datacenteriin. Mä en kyl keksinyt mikä tän hyöty nyt sitten ois ja missä sitä vois käyttää, koska esim. jos siirrät palvelimen VMotionilla konesalista1 konesaliin2, niin sun default gw jää konesaliin 1 ja paketit viuhuu sitten sinne joka tapauksessa. Ope sano, että Cisco on tuomassa LISP (Locator/ID Separator Protocol), joka ilmeisesti toisi tähän reitityspuoleen jotain lisää. Saapa nähdä.

Kurssilla ei nyt mitään ihmeellistä konffailtu. Pistän VDC:n konffaamisen jossain vaiheessa, mutta muutenpa kaikki on aika perusjuttuja jos verkkoja säätää.. kai :) vPC:tä ei voi ees tehdä Ciscon labrassa, kun heillä ei ollut 10G kortteja.

NX-OS kyllä oli aika mukavan tuntuinen.. Oli linuxista tuttuja komentoja ja muutenkin aika linuxmainen koko OS.

Update #2:

• Selkeydeksi Data Center Bridging nimeämisestä. DCB on virallinen IEEE nimi, mutta muita on Data Center Ethernet (Ciscon käyttämä, poistumassa), FCIP, CCE (Converged Enhanced Ethernet), Unified Fabric, Lossless Ethernet