Der große Blackout an der UdS aus Sicht des HIZ

Wie bekannt, kam es am frühen Morgen des 4.8.2014 zu einem totalen Stromausfall an der UdS. Auch die Stromversorgung der vom HIZ betriebenen Server kam damit zum Erliegen. Temporär übernahmen die fest installierten unterbrechnungsfreien Stromversorgungen (USV) diese Versorgung. Allerdings war die Kapazität der Pufferbatterien nach lediglich 20 Minuten erschöpft, was unmittelbar zur unkontrollierten Abschaltung der gesamtem Systeme (Netzwerkkomponenten, Speichersystem, Server, etc.) führte.

Der über eine eigene USV versorgte Internetzugang des DFN funktionierte zwar noch, alle Anbindungen der Uni-Institute und externer Dritter, z.B. dem Landtag des Saarlandes, waren jedoch gekappt. Erst durch Bereitstellung eines kleineren Notstromaggregats konnte diesem Problem durch die HIZ-Mitarbeiter unter Zuhilfenahme von Drittfirmen Abhilfe geschaffen werden.

Kurz nach Mittag war die Stromversorgung der Serverräume und der Netzwerkkomponenten wiederhergestellt und als stabil erachtet worden. Zunächst wurden als Sicherheit die Pufferbatterien wieder geladen, danach peu à peu die Systeme hochgefahren. Gegen 17:00 Uhr war die Grundversorgung mit Netz- und Basisdiensten größtenteils wieder verfügbar.

Danach widmete man sich bis in die späten Abendstunden den unzähligen Diensten, die in virtuellen Maschinen auf den zentralen Virtualisierungssystemen des HIZ laufen. Dabei musste zunächst der zentrale Datenspeicher auf Schäden überprüft werden und die verschiedenen Standorte miteinander synchronisiert werden. Diese Neusynchronisierung nahm mehrere Stunden in Anspruch; glücklicherweise war die Datenintegrität gewährleistet.

 

Am frühen Morgen des Folgetags begann man im HIZ mit dem Hochfahren der virtuellen Server, womit die sich darauf befindlichen Dienste wieder verfügbar wurden. Unglücklicherweise erfolgte auch seitens Dritter das gleichzeitige Anfahren der gehosteten, virtuellen Maschinen ohne vorherige Abstimmung, weshalb es in kürzester Zeit zu einer massiven Überlastung der Speicheranbindung kam und die Virtualisierungsumgebung zusammenbrach.

Dieser Zusammenbruch war derart schwerwiegend, dass der Herstellersupport hinzugezogen werden musste, was erst am Mittwoch realisiert werden konnte. Hierbei wurden als Engpass einige defekte Hardwarekomponenten ausfindig gemacht und ausgetauscht. Danach konnten die HIZ-eigenen virtuellen Maschinen wieder korrekt hochgefahren werden.

 

Donnerstag vormittag wiederum wurde beim Hochfahren weiterer virtueller Maschinen festgestellt, dass durch den Zusammenbruch ein zentraler Datenbankserver, der als Datenpool für die Studierendenverwaltung fungiert, schweren Schaden genommen hat. Die Restaurierung und Datenbegutachtung dauerte bis zum Freitag vormittag. Parallel eröffnete man noch ab Donnerstag Nachmittag die Möglichkeit für Dritte, Ihre virtuellen Maschinen in Abstimmung mit dem HIZ ebenfalls wieder hochzufahren.

Ab dem Freitag Nachmittag befand sich das HIZ wieder größtenteils im Normalbetrieb.

 

Fazit

Auch wenn die Wiederherstellung des Betriebes einige Tage in Anspruch genommen hat, so kann man von Glück reden, dass nicht der zentrale Speicher Schaden genommen hat. Wäre dieser ebenfalls beschädigt gewesen, so wäre eine Wiederherstellung aller Speicherstände aus der vorgehaltenen Bandsicherung erforderlich gewesen, was aber nicht nur wenige Tage, sondern mehrere Wochen in Anspruch genommen hätte.

Schon der Ausfall für die wenigen Tage bedeutete einen erheblichen Produktivitätsverlust für die UdS, ein Ausfall von mehreren Wochen wäre wohl kaum hinnehmbar.

Zur dauerhaften Aufrechterhaltung des Betriebes, auch im Falle einer solchen Notlage, ist es für ein Rechenzentrum unabdingbar, eine autarke Energieversorgung mittels Notstromversorgung vorzuhalten, um Schaden für die teils sehr empfindlichen IT-Systeme durch Stromausfall auszuschließen. Nur so kann sichergestellt werden, dass bei einem Wegfall der normalen Stromversorgung die Dienste des HIZ schnellstmöglich wieder zur Verfügung stehen.

Probleme mit Windows-Systemen nach dem Stromausfall

Seit dem Stromausfall gibt es mit Windows-Systemen beim Zugriff auf lokale Ressourcen, wie Freigaben im Netzwerk, gemeinsamen Zugriff auf lokale Drucker und die Nutzung von Scannern im lokalen Netzwerk, erhebliche Probleme.

Ursache dafür ist, dass sich in allen Subnetzen der UdS die MAC-Adresse des Default-Gateways geändert hat. Windows meint danach, sich in einem neuen Netzwerk zu befinden. Die Sicherheitsabfrage wurde wohl von den meisten Anwendern mit einem Klick auf "OK" beantwortet, was Windows dazu bringt, die Netzwerkeinstellungen auf "Öffentliches Netzwerk" vorzunehmen. Mit dieser Einstellung verhindert die lokale Firewall von Windows den Zugriff auf Ressourcen im lokalen Netzwerk.

Die Lösung dieses Problems muss an jedem Rechner manuell erfolgen. Hierzu das Netzwerk auf "Arbeitsplatznetzwerk" umstellen. Dies geschieht über die Systemsteuerung Netzwerk.

Sparbeitrag des Studierendensekretariates durch neues Web-Portal

Das HIZ hat in enger Absprache mit dem Studierendensekretariat (und auf dessen Initiative) eine neue Web-Plattform entwickelt, die zwei Ziele verfolgt:

  1. Alle Studieninteressierten reichen ihre Bewerbungsunterlagen online ein (Papierlose Bewerbung).
  2. Sowohl die Mitarbeiter im Studierendensekretariat, als auch – für Master-Bewerbungen - in den Prüfungsämtern und Dekanaten erhalten rollenbasierten Zugriff auf die eingereichten Unterlagen.

Nach einer stufenweisen Einführung werden nun seit Juni 2014 alle Bewerbungsunterlagen durch die Studieninteressierten online eingereicht. In Zahlen bedeutet dies, dass bis heute ca. 30.000 Dokumente für das Wintersemester 2014/15 hochgeladen wurden.

Vorher kamen diese Dokumente per Briefpost im Studierendensekretariat an. Vor allem vor dem Bewerbungsschluss am 15. Juli stapelten sich die Briefe kistenweise. Das manuelle Öffnen der Post, das teilweise Einscannen der Unterlagen und die entsprechende Verteilung sowie Ablage (sortiert für ein kurzfristiges Wiederauffinden) hatten bislang einen hohen Personalaufwand im Studierendensekretariat zur Folge: In jedem Jahr mussten zusätzliche Kräfte temporär für das Bewerbungsverfahren eingestellt werden. Die hierfür notwendigen Kosten können nun eingespart werden.

Auch der Versand der gescannten Unterlagen per Email an die dezentralen Stellen konnte durch das neue Portal entfallen und die eingereichten Unterlagen stehen dort zeitgleich zur Verfügung.

Ein weiterer positiver Effekt zeigte sich in der Zufriedenheit der Bewerber/innen. Diese können schnell und unbürokratisch und ohne Laufereien ihre Bewerbungen einreichen und selbst kontrollieren, ob, wann und welche Dokumente beim Studierendensekretariat eingingen.

Durch die Investition in die IT und die Bereitschaft der Mitarbeiter/innen im Studierendensekretariat, interne Abläufe zu verändern und begleitet von umfänglichen Schulungen, konnte eine Lösung geschaffen werden, mit der alle Beteiligten sehr zufrieden sind. Für das Jahr 2015 bestehen jetzt bereits Pläne, auch bei der Immatrikulation eine solche papierlose Bearbeitung anzubieten.

Rückruf von HP-Stromkabeln

Wenn Sie zwischen September 2010 und Juni 2012 ein HP-Notebook oder eine passende Docking Station gekauft hatten, sollten Sie sich das Stromkabel genauer ansehen - HP hat einige Chargen dieser Kabel zurückgerufen, weil sie überhitzen können; hiermit besteht Verletzungs- oder Feuergefahr.

Auf den Kleeblatt-Steckern (die Stecker, die zum Netzteil weisen) der Kabel eingeprägt ist eine Markierung. Sollte diese "LS-15" lauten, so kann das Kabel betroffen sein.

In solchen Fällen sollten Sie die dazu eingerichtete HP-Webseite besuchen. (Link veraltet)

Hier werden diverse Optionen abgefragt, an Hand derer Sie herausfinden können, ob Ihr Kabel von dem Fehler betroffen ist oder nicht. Außerdem wird bei betroffenen Kabeln die Austausch-Prozedur beschrieben.

Auch Bing erlaubt Löschung von Suchergebnissen

Nach Google hat auch Microsofts Suchmaschine Bing nun ein Formular online gestellt, mit dem die Löschung von personenbezogenen Suchergebnissen aus dem Index beantragt werden kann.

Hintergrund ist eine Entscheidung des Europäischen Gerichtshofes, die Internet-Nutzern das Recht einräumt, unter Umständen von Suchmaschinenbetreibern zu verlangen, dass bestimmte Links, die mit dem Namen des Nutzers versehen sind, aus den Suchergebnissen zu entfernen sind. Wir haben darüber in Nummer 29 der HIZ-Info informiert.

Bei Fragen und Problemen

wenden Sie sich bitte an den
IT-Service-Desk