Ollis Notizblog

Es gibt eine spezielle Aberlour-Abfuellung anlaesslich des Konzerts neulich in Edinburgh.

Joerg hat es bereits angedroht, ELOM stirbt und wird gegen ILOM ersetzt. Das bedeutet, dass man seit heute ILOM-Firmware fuer die ServiceProzessoren der X4150 herunterladen kann. Und dann bedient sich die X4150 endlich wie eine Galaxy X4200. Insgesamt ein richtiger Schritt, aber ich glaube, ich warte noch ein Weilchen. Zumal ich es verwirrend finde, erst eine Transitional-ELOM-Version installieren zu muessen, von der man dann das ILOM-Update durchfuehren kann.

Am Samstag sind Propagandhi im Substage in Karlsruhe. Schade, dass ich nicht da sein kann. Schade ist auch, dass die daemliche Webseite keinerlei Verlinkung zulaesst...

Einen Whisky schlicht und einfach "Peat" zu nennen, finde ich schon sehr laessig.


UPDATE: Bei Thea ist er gerade eingetroffen.

Gestern habe ich die Systemplatte in meinem Server in gegen eine groessere ausgetauscht, und das ging so:

Zuerst einmal ist auf einer fabrikneuen Festplatte natuerlich noch keinerlei Label oder Partitionstabelle.

Das erledigt sysinstall, erst ein Label mit einem Slice erzeugen und den BSD-Bootmanager eintragen, danach kann man die einzelnen Partitionen eintragen. Jede Partition muss mindestens so gross sein wie der darauf belegte Platz. Ich habe mich entschieden fuer

ad16s1a 768MB /
ad16s1b 1G swap
ad16s1d 10G /usr
ad16s1e 2G /var
ad16s1f 10G junk
ad16s1g Rest data

Beides kann man mit sysinstall einfach und schnell einrichten. Allerdings laesst sich mit sysinstall kein zweites Mal eine Partition a anlegen, also muss man nachdem man die Daten mit "w" auf Platte geschrieben hat, kurz noch disklabel bemuehen.

disklabel -e ad16s1

Damit kann man die Partitionen der aktuellen vfstab anpassen.

Nun erzeugt man ein paar neue Dateisysteme mit newfs, alle als UFS2, das Rootfilesystem allerdings ohne Softupdates.

newfs -L root -O 2 /dev/ad16s1a
newfs -L usr -O 2 -U /dev/ad16s1d
newfs -L var -O 2 -U /dev/ad16s1e

Fuer die beiden anderen Partitionen verwende ich ZFS, dazu spaeter mehr.

Diese Dateisysteme habe ich dann unter /new/root, /new/usr und /new/var gemountet. Danach werden die Inhalte der Partitionen einfach mit dump und restore umkopiert:

dump -0uL -a -b 64 -f - /usr | (cd /new/usr; restore xf -)

Nachdem alle 3 Filesysteme kopiert wurden, fahre ich den Rechner runter und tausche die alte Systemplatte gegen die neue. Das System bootet jetzt ohne Probleme von der neuen Festplatte. Jetzt fehlen nur noch die beiden ZFS-Partitionen, das ist einfach:


Man erzeugt einen gespiegelten zpool, wartet auf das Ende des Resilverprozesses und loescht danach den alten zpool aus der Config:

Achtung: Die neue Festplatte ist jetzt ad10, die alte ad16

NAME SIZE USED AVAIL CAP HEALTH ALTROOT
data 115G 108G 7.45G 93% ONLINE -
junk 9.94G 3.69G 6.24G 37% ONLINE -


zpool attach data ad16s1g ad10s1g

Der Output vom zpool status sieht dann so aus:

pool: data
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scrub: resilver in progress, 90.18% done, 0h5m to go
config:

NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
mirror ONLINE 0 0 0
ad16s1g ONLINE 0 0 0
ad10s1g ONLINE 0 0 0

Danach entfernt man die alte Partition mit einem gekonnten

zpool detach data ad16s1g

und automagisch wird der zur Verfuegung stehende Platz groesser.

NAME SIZE USED AVAIL CAP HEALTH ALTROOT
data 674G 108G 566G 15% ONLINE -
junk 9.94G 3.70G 6.24G 37% ONLINE -

Die Config sieht jetzt so aus:

NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
ad10s1g ONLINE 0 0 0

Der ZPool bleibt natuerlich waehrend des Resilvers online und kann normal benutzt werden.

NetApp hat endlich Doku zum Performance Accelerator Module I. Abgesehen davon, dass der Name zu sehr nach Buzzword-Bingo klingt, habe ich in der Doku folgendes entdeckt:

The LEDs on the cards are for internal NetApp debugging purposes and are not intended for your use.

Eigentlich wollte ich ja gestern die Systemplatte in meinem Server gegen eine neue ersetzen. Aber ein fluechtiger Blick auf die SMART-Werte der anderen Festplatten sagte mir, dass es dringendere Probleme gab. Also kurz zum Hoeker und eine nagelneue Barracuda 7200.11 erstanden, in der normalen Version, nicht der ES-Serie fuer 24/7-Betrieb. Zum Glueck hat mein Mainboard 6 SATA-Ports, auch wenn einer eigentlich als E-SATA vorgesehen ist. Der Rest ist dann einfach:


dmesg sagt mir, dass alle Platten erkannt wurden:

ad10: 152627MB <Seagate ST3160023AS 3.18> at ata5-master SATA150
ad12: 476940MB <SAMSUNG HD501LJ CR100-05> at ata6-master SATA300
ad14: 476940MB <SAMSUNG HD501LJ CR100-10> at ata7-master SATA300
ad16: 476940MB <Seagate ST3500320AS SD15> at ata8-master SATA300
ad18: 476940MB <SAMSUNG HD501LJ CR100-11> at ata9-master SATA300
ad20: 476940MB <SAMSUNG HD501LJ CR100-11> at ata10-master SATA300

Der zpool sieht noch gut aus, hier macht sich die defekte Disk ad18 noch nicht durch Fehler bemerkbar:

pool: raid
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
raid ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad12 ONLINE 0 0 0
ad14 ONLINE 0 0 0
ad18 ONLINE 0 0 0
ad20 ONLINE 0 0 0

errors: No known data errors

Dann kommt der magische Befehl:

hellmouth# zpool replace raid ad18 ad16

Nun faengt das Umkopieren an, die Daten sind auch in diesem Zustand noch vom raidz gegen Datenverlust geschuetzt

pool: raid
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scrub: resilver in progress, 0.77% done, 2h32m to go
config:

NAME STATE READ WRITE CKSUM
raid ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad12 ONLINE 0 0 0
ad14 ONLINE 0 0 0
replacing ONLINE 0 0 0
ad18 ONLINE 0 0 0
ad16 ONLINE 0 0 0
ad20 ONLINE 0 0 0

errors: No known data errors

Etwa 2 Stunden spaeter ist ad16 in Betrieb. Die defekte ad18 kann jetzt in die Tonne. Da diese Festplatte nur ein Viertel eines raidz enthaelt, kann man sie theoretisch auch ohne vorheriges Loeschen in den Muell werfen. Dem zpool geht es, wie man sehen kann, immer noch/wieder gut:

pool: raid
state: ONLINE
scrub: resilver completed with 0 errors on Thu Jul 24 22:35:17 2008
config:

NAME STATE READ WRITE CKSUM
raid ONLINE 0 0 0
raidz1 ONLINE 0 0 0
ad12 ONLINE 0 0 0
ad14 ONLINE 0 0 0
ad16 ONLINE 0 0 0
ad20 ONLINE 0 0 0

errors: No known data errors

Insgesamt also ein loesbares Problem. Trotzdem aergert mich ein wenig, dass die defekte Festplatte quasi neu war. Obwohl ich sie im November letzten Jahres gekauft habe, war das RAID meistens abgeschaltet. Daher hat diese Festplatte nur 33 PowerCycles und 140 StartStop-Vorgaenge mitgemacht. Und 312 Betriebsstunden sind nun wirklich auch nicht viel. Naja, vielleicht ist da ja noch Garantie drauf. Hoffentlich haelt die neue Seagate-Festplatte laenger als der Samsung-Klumpen...

Hier finden sich erste Anzeichen fuer Solaris10 Update6. Da ZFS Version 10 enthalten sein wird, bedeutet das folgende Neuigkeiten:

• 6 bootfs pool property (bootable ZFS, auch fuer SPARC)
• 7 separate intent log devices (ZIL-device aka WriteCache)
• 10 Cache devices (aka ReadCache)

Update6 wird also endlich die ZFS-Features bringen, die Nevada schon laengere Zeit besitzt. Ich freu mich drauf. Und mit ZFS Version 11 wird dann auch endlich Bug6343667 gefixt, aber nicht mehr in Update6.

Ich habe aufgeraeumt und viel zu viel Computerkram rumliegen, den ich an Selbstabholer abgeben wuerde:

• 1 Selbstbau-PC mit Celeron-1200, Asus TUSL2-C Mainboard, 512MB RAM und 80GB PATA-HDD
• 1 HP i2000 IA64 Workstation Big Sur (2* 800MHz/2MB Itanium, 2GB RAM, 3*18GB HDD)
• 1 Mainboard ASUS PSCH-L

• 1 3COM-Hub 8*100MBit mit Handbuch und Netzteil

• 2 aktiv gekuehlte Festplattenrahmen von SSI, Voll-Metall (1x SCA-Platte mit U2W-Anschluss, 1x NarrowSCSI)
• 1 2.5" ATA-Festplatte mit 5GByte, mit Adapter von Laptop auf PATA

Karten:

• 1 ICP-Vortex GDT6118RS (32Bit PCI U2W-SCSI RAID-Controller)
• 1 Soundblaster Live! mit Emu10K1-Chip, PCI-Slot
• 1 Soundblaster Live! 5.1 Digital, auch Emu10K1 und PCI
• 1 GraKa Matrox Millenium G450 (32MB AGP-Karte mit 2x VGA)

RAM:

• 2 SD-RAM 512MB Apacer PC133-CL3

Kabel:

• 2 Kabel VGA auf 5xBNC (2m und 5m lang)
• 1 50pol-SCSI-Kabel und 1 U160-SCSI-Kabel, je 4 Abgriffe, jeweils mit aktivem Terminator

Jetzt, wo der hermon-Treiber endlich fertig ist, kann man das auch benutzen. Fuer ConnectX-Karten gibts ein neues flash-Tool (cxflash). Das eigentlich komplizierte ist die Hardware-Revision der Karte herauszufinden (auf der Verpackung und der Karte stand: Revision X4, die gibts aber gar nicht). Unter Linux kann man mit ibv_devinfo Dinge herausbekommen:

board_id:                       MT_04A0110002

Mit dieser board_id geht man hier auf die Suche und sieht, dass man eine MHGH28-XTC in Revision A1 hat. Der Rest ist dann relativ einfach:

havelock # cxflash -l
List of available devices:
Device[0],  /devices/pci@0,0/pci8086,25f8@4/pci15b3,634a@0:devctl
    Class [IB]
        GUID:   System Image - 0002c9020025a753
                Node Image   - 0002c9020025a750
                Port 1       - 0002c9020025a751
                Port 2       - 0002c9020025a752
        Firmware revision : 2.3.0000
        No HW information available
havelock # cxflash -f /tmp/fw-25408-2_5_000-MHGH28-XTC_A1.bin -d /devices/pci@0,0/pci8086,25f8@4/pci15b3,634a@0:devctl

        Unable to verify firmware is appropriate
        for the hardware
        Do you want to continue (Y/N): Y
About to update firmware on:
        /devices/pci@0,0/pci8086,25f8@4/pci15b3,634a@0:devctl

Updating  . . . . . . . . . . . . . .
Done.  New image will be active after the system is rebooted.

Und nach dem Reboot dann siehts so aus:

havelock # cxflash -l
List of available devices:
Device[0],  /devices/pci@0,0/pci8086,25f8@4/pci15b3,634a@0:devctl
    Class [IB]
        GUID:   System Image - 0002c9020025a753
                Node Image   - 0002c9020025a750
                Port 1       - 0002c9020025a751
                Port 2       - 0002c9020025a752
        Firmware revision : 2.5.0000
        No HW information available

havelock #

Erklaer denen doch mal bitte endlich mal jemand, wie das Internet funktioniert.

Nun ist es endlich soweit !
Das Solaris Infiniband(IB) Update 2 ist freigegeben worden. Damit funktionieren endlich auch neuere Infiniband-Karten vom Typ Mellanox ConnectX unter Solaris. Bisher wurden nur die alten Chips mit den Codenamen Arbel und Tavor unterstuetzt, die konnten aber nur SDR-Geschwindigkeit (10GBit), mit dem hermon-Treiber ist der Weg endlich frei fuer DDR-Infiniband aka 20GBit. Und hoffentlich dauert der Schritt zu QDR-Infiniband nicht wieder 3 Jahre laenger als bei Linux und Windows...

Nein, auch wenn dies an anderer Stelle behauptet wird (zB hier und hier), gab es diesen Treiber bisher noch nicht. Die entsprechenden Verzeichnisse auf den Nevada-CDs enthielten "nur" Paketskelette, also pkginfo und pkgmap-Files aber keine Binaries.

Blocksandfiles hat erste Infos zu neuer SUN-Hardware
Continue reading "Neuer Thumper und JBODs" »

Es tut sich was beim SUN-Bug 6343667. Der sorgte bisher dafuer, dass man waehrend eines laufenden zpool scrubs oder resilvers keinen Snapshot anlegen darf. Tut man es doch, faengt der scrub-Prozess wieder von vorne an. Wenn man dann so eine X4500 mit 48 500GB Festplatten hat und der scrub mit guten 600MByte/sec laeuft, dann bedeutete das bisher, dass man einen knappen halben Tag keine Snapshots anlegen durfte. Also keine stuendlichen Snapshots fuer die Replikation anlegen, sonst gehts ganz schnell ganz unheimlich schief. Inzwischen gibts einen Workaround, der prueft, ob ein scrub laeuft, den sauber beendet, dann den Snapshot macht und danach den scrub weiterlaufen laesst... Genau das wollte ich haben. Warum dieses Problem die letzten 2 Jahre niemanden interessiert hat, obwohl doch genug Thumper verkauft worden sind?

Google hat einen sehr interessanten Link gefunden. Mal sehen, ob zu meiner Pensionierung 90 Jahre Festplattentechnologie zusammenkommen. Eventuell hat Flash dann ja schon laengst gewonnen.