Question Meilleur accident d'administrateur système [fermé]


Je cherche des histoires amusantes d'accidents d'administrateur système que vous avez eu. Supprimer le courrier électronique du PDG, formater le mauvais disque dur, etc.

Je vais ajouter ma propre histoire comme réponse.


87
2018-05-13 21:00


origine


Voir également serverfault.com/questions/5066 - Zoredache
C'est plus un sondage qu'une question. Cela devrait probablement être défini sur le wiki de la communauté. - Zoredache
Eh oui, cela devrait certainement être un wiki de communauté. Dans l’intention de la question, cependant, mon histoire préférée est celle du courrier électronique de 500 miles - ibiblio.org/harris/500milemail.html - Bien que, évidemment, ce n'était pas moi. - Mihai Limbăşan
le 500miles est tout simplement merveilleux - Hubert Kario
Cela devrait s'appeler "le pire accident d'un administrateur système". - Rilindo


Réponses:


Je me suis amusé à découvrir la différence entre la commande linux "killall" (élimine tous les processus correspondant au nom spécifié, utile pour arrêter les zombies) et la commande solaris "killall" (élimine tous les processus et arrête le système, ce qui est utile pour arrêter le serveur de production au milieu des heures de pointe et obliger tous vos collègues à rire de vous pendant une semaine).


133
2018-05-13 23:20



Été là, fait ça. Nous avons ensuite aliasé la commande killall sur les boîtes solaris: alias killall = 'echo ORLLY?' =) - Commander Keen
Il existe également une différence importante sous Solaris entre 'ifconfig -a4' (affiche les informations IPv4 de toutes les interfaces) et 'ifconfig -a 4' (définissez toutes les interfaces sur 0.0.0.4). - Zanchey
+1 "oups, ce vent est connecté à solaris?" - Mark Harrison
@Commander, j'allais upvoter votre commentaire, mais il y a exactement 42 votes positifs en ce moment même ... Je viens de ne pouvait pas. - Massimo
Également, hostname -f sur Linux imprime le nom de domaine complet sous Linux. Sous Solaris, le nom d’hôte est défini sur -f. - 200_success


J'étais responsable de notre proxy Web d'entreprise qui, à l'époque, était le produit de Netscape. En jouant dans les formulaires de l’administrateur (c’était une interface Web), il y avait un gros bouton (et je jure que c'était rouge) qui disait: Supprimer la base de données d'utilisateurs. Pas de problème, j'ai pensé. Voyons quelles sont les options que cela me donne quand je frappe cela. Il y aura sûrement une invite de confirmation s'il n'y a pas d'options.

Oui, pas de confirmation. Aucune option. Pas plus d'utilisateurs.

Alors, je suis allé voir M. Solaris Sysadmin et j'ai dit que j'avais désespérément besoin d'une restauration à partir d'une bande à laquelle il a répondu: "Je ne sauvegarde pas cette boîte."

"Euh, viens encore" rétorquai-je.

"Je ne sauvegarde pas cette boîte. C'est sur ma liste d'éléments à ajouter à la rotation de sauvegarde, mais je n'y suis pas encore parvenue."

"Ce serveur est en production depuis près de 8 mois!" J'ai crié.

hausser les épaules, il a répondu. "Pardon."


73
2018-05-14 12:26



C'est certainement une histoire pour tous ceux qui se plaignent de ces satanés "Êtes-vous sûr?" dialogues;) - MikeyB
Je ne suis pas vraiment sûr que tu devrais être celui qui lui hurle dessus ... - Mikeage
Ce n'est pas vraiment un accident - vous avez appuyé sur le bouton Supprimer la base de données à dessein, allez mec ... - Wayne Koorts
Oui vous avez raison. Appuyer sur le bouton n'était pas un accident. En réalité, la suppression de la base de données constituait la partie accidentelle. Peu importe... - squillman
Ce bouton aurait dû être suivi de deux ou trois invites de confirmation. En quoi est-ce utile de supprimer la base de données utilisateur? Je blâme totalement le programmeur qui a mis le bouton là-bas. Et le fait que la base de données n'a pas été sauvegardée. "Le génie a peut-être ses limites, mais la bêtise n'en est pas pour autant handicapée." (Attr à Elbert Hubbard). Construire avec l'hypothèse que les humains ne sont pas curieux, les singes négligents, c'est juste la construction d'un désastre. - Jared Updike


Il y a de nombreuses années, la société pour laquelle je travaillais avait un client qui effectuait une sauvegarde nocturne de son serveur NT 4.0 sur un ordinateur. Jaz Drive (comme un disque zip de grande capacité).

Nous avons créé un fichier de commandes, qui s’est exécuté comme un travail planifié pendant la nuit. Chaque matin, ils récupéraient le disque de la dernière nuit sur le lecteur et, avant de partir le soir, inséraient le disque suivant dans la séquence.

Quoi qu'il en soit, le fichier de commandes ressemblait à ceci (le lecteur Jaz était le lecteur F:) ...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Quoi qu'il en soit, une nuit, ils ont oublié de mettre le disque. La modification du lecteur F: a échoué (aucun disque dans le lecteur) et le fichier de commandes a continué de s'exécuter. Le répertoire de travail par défaut pour le fichier de commandes? C :. La première fois que j'ai vu une routine de sauvegarde détruire le serveur qu'il sauvegardait.

J'ai appris un peu quelque chose à propos de sysadminning (et de la gestion des exceptions) ce jour-là.

Jim.

PS: Le correctif? "deltree / y F: \ *. *".


66
2018-05-13 20:00



... nous devons expliquer ce que sont les lecteurs Jaz? Suis-je vraiment si vieux ?? - Spencer Ruport
C’était un truc d’IOMEGA (souvenez-vous des lecteurs Zip?) C’était le grand frère des lecteurs Zip, et c’était comme un disque dur sans tête, rien que les plateaux, qui se glissait dans un boîtier en plastique avec une petite fenêtre et le lecteur, le lecteur inséré les en-têtes sur elle. Où comme 1 ou 2 Go, cher, et ont tendance à surchauffer, il n'a donc pas été recommandé de laisser les cartouches à l'intérieur du lecteur (cela a été dit par un vieux patron IOMEGA) - Andor
Hé hé, j’aime la façon dont jaz drive s’explique par rapport à la clé zip qui ne tient pas. - Luke
Si vous vous sentez plus vieux, il y a des administrateurs système qui n'ont jamais vu deltree auparavant. - Joseph
J'ai dû expliquer à beaucoup de programmeurs que lorsque vous tentez une opération qui modifie un état, mais peut échouer et vous laisser dans l'état précédent, vous devez vérifier si l'opération a réussi si vous voulez faire quelque chose de dangereux. devriez-vous être dans l'état précédent. Pourquoi dois-je expliquer cela? - carlito


root @ dbhost # find / -name core -exec rm -f {} \;

Moi: "Vous ne pouvez pas entrer? OK. Comment s'appelle le DB?"

Cu: "Core."

Moi: "Oh."


61
2018-05-13 18:31



et à partir de là, l'utilisation de la commande 'file' a été ajoutée à la crontab de nettoyage ... :) - MikeyB
Oh mon Dieu.... - squillman
Oh mon dieu ... wow. Je vais faire une note mentale de celui-ci, donc je ne le fais jamais. - Glenn Willen


J'aime la façon dont tout le monde qualifie leur histoire de "quand j'étais jeune / vert" comme s'ils ne le feraient plus jamais. Les accidents peuvent arriver même aux pros les plus aguerris.

Mon pire moment est si grave que je continue à avoir des palpitations à y penser ...

Nous avions un réseau SAN avec des données de production. Critique à l'entreprise. Mon "mentor" a décidé d'étendre une partition pour libérer de l'espace disque. Pouvez-vous voir où cela se dirige? Il a dit que le logiciel SAN pouvait faire cela en direct, pendant les heures de production et que personne ne le remarquerait. Les sonneries d’alarme auraient dû commencer à sonner, mais elles étaient particulièrement silencieuses. Il a dit qu'il l'avait fait "des tas de fois auparavant" sans aucun problème. Mais voici la chose - il m'a obligé à cliquer sur le bouton qui dit "êtes-vous sûr?"! Comme j'étais nouveau dans l'entreprise, je pensais que ce gars savait de quoi il parlait. Grosse erreur. La bonne nouvelle est que le LUN a été étendu. La mauvaise nouvelle était ... eh bien, je savais qu'il y en avait une mauvaise quand j'ai commencé à constater des erreurs d'écriture sur le disque sous Windows.

Je suis content de porter un pantalon marron.

Nous devions expliquer pourquoi 1 To de données avait disparu à l'heure du déjeuner. C'était vraiment une très mauvaise journée.

En fait, c'est un bon principe - avant de faire quelque chose qui vous fait douter, imaginez devoir expliquer à la direction si quelque chose ne va pas. Si vous ne trouvez pas de bonne réponse pour expliquer vos actions, ne le faites pas.


60
2018-05-13 18:22



+1 pour le dernier paragraphe - technique "assis sur tes mains", une minute indispensable à la réflexion - Andy
Il y a une certaine compétence que vous acquérez après avoir travaillé avec des systèmes en direct pendant un certain temps: une idée précise de ce qui est dangereux et de ce qui ne l'est pas. C'est comme suspendre une seconde supplémentaire avant d'appuyer sur Entrée à l'invite de la racine ou s'assurer que l'instruction de mise à jour SQL comporte une clause where appropriée (déjà exécutée dans un compte sélectionné (*)). - jplindstrom
Je veux un popup qui dit quelque chose comme "Voulez-vous imprimer votre CV avant de continuer?" .. et n'ont qu'une seule option: "Oui" - warren
+1 pour le conseil dans le dernier paragraphe - Jeroen Huinink
+1, idem. Je me souviens d'avoir entendu dire par un ami administrateur système que, dans son évaluation annuelle des performances, il posait problème au sujet de sa faible vitesse de frappe, qu'il rejetait avec mépris (et à juste titre): "Je ne suis pas payé pour taper rapidement. Je suis payé pour entrer très lentement et pensivement ". - MadHatter


Nagios nous a envoyé un ping un matin lorsque les heures de travail ont commencé à indiquer qu’il ne pouvait pas se connecter à un serveur non critique. Ok, randonnée à la salle des serveurs. C'est un ancien serveur, un Dell 1650 acheté en 2002, et nous savions que les 1650 avaient des problèmes matériels. Le PFY poignarde le bouton d'alimentation. Rien. Appuyez à nouveau dessus et maintenez-le enfoncé pendant cinq secondes pour «forcer le démarrage» ... qui annule la protection contre les erreurs du contrôleur BMC, car sans DRAC, il est impossible d'examiner les journaux du contrôleur BMC sans avoir le pouvoir sur le châssis.

La machine démarre le POST, puis meurt à nouveau. Je me tiens au-dessus de ça et je dis: "Je sens la fumée." Nous tirons le serveur sur ses rails et l'un des blocs d'alimentation a l'air chaud, alors le PFY le tire et est sur le point de refermer la boîte. Je dis: "Non, ce n'est pas de la fumée d'alimentation, c'est de la fumée de carte mère."

Nous rouvrons l'étui et cherchons la source de l'odeur de brûlé. Une bobine d'induction et un condensateur ont fait exploser le régulateur de tension de la carte mère et ont pulvérisé du cuivre en fusion et un condensateur de condensateur sur tout, réduisant au minimum de nombreux problèmes et provoquant de gros dégâts.

Le pire pour moi a été de reconnaître que j'avais fumé assez de matériel pour reconnaître la différence entre l'odeur d'une carte mère brûlée et celle d'une alimentation brûlée.


54
2018-05-14 14:49



Les critères de sélection de cet emploi incluent: bon sens de l'odorat. Brillant. - mlp
Un de mes amis a vissé un jeu de rails d’entraînement dans un disque jusqu’à ce qu’ils soient entrés dans la carte de circuit imprimé et l’ont écourté. Jolie fumée rose. Très distinguable. - squillman


Il y a trois jours (sérieusement), je me suis connecté à distance à un serveur scolaire en installant le Service Pack 2 sur un serveur de fichiers Windows Server 2008.

J'ai décidé de planifier le redémarrage nécessaire tard dans la nuit, lorsque les enseignants ne seraient pas connectés à la fin de leur bulletin de fin d'année. J'ai tapé quelque chose comme:

 à 23h59 "arrêt -r -t 0" 

... qui aurait bien fonctionné.

Mais ensuite je me suis deviné. Est-ce que ma syntaxe 'shutdown' était correcte? J'ai essayé d'afficher l'aide à l'utilisation en tapant

 arrêt / h 

... et instantanément perdu ma connexion RDP. Paniquant, j'ai consulté Google pour la syntaxe. Une recherche rapide a révélé que la version d'arrêt de Server 2008 comprenait un commutateur a / h, qui (comme vous l'avez peut-être deviné) hiberne la machine.

Les enseignants ont commencé à m'appeler en quelques minutes pour signaler qu'ils ne pouvaient plus ouvrir ou enregistrer les fiches de rapport sur lesquelles ils travaillaient. Étant donné que j'étais hors site et que la salle des serveurs était verrouillée, je devais appeler directement la directrice de l'école pour la guider dans le processus de remise sous tension de la machine.

Aujourd'hui, j'ai apporté des biscuits maison à tout le monde en guise d'excuse.


47
2018-05-13 23:53



Un exemple parfait de conception d’interface utilisateur imparfaite en ligne de commande: qu’est-il advenu du "principe de moindre surprise"? - Mei
sous DOS / Windows, n'est-ce pas /? - Jared Updike
C'est habituellement /? sur Win, mais de nombreux utilitaires portés à partir d'UNIX ou écrits par des personnes UNIX (y compris un certain nombre d'utilisateurs MS) sont -h ou / h - Richard Gadsden
..mais vous encore TOUJOURS essaie le /? premier! - warren
C'est pourquoi j'aime Linux. man shutdown. Je sais que je ne vais pas causer de problèmes avec man! - Josh


Dans un emploi précédent, nous avions un excellent système local qui enregistrait et archivait chaque courrier envoyé, laissé ou resté au sein de l'entreprise.

Vous avez vidé toute votre boîte aux lettres? Aucun problème! Vous recherchez un courrier que quelqu'un vous a envoyé il y a une semaine, un mois ou une année, mais vous ne vous rappelez pas qui l'a envoyé ou quel était son sujet? Aucun problème! Nous allons simplement renvoyer tout ce qui va du mois de février à un dossier spécial.

À un moment donné, le PDG de la société a eu besoin de surveiller les messages échangés entre un concurrent et un vendeur interne soupçonné. Nous avons donc mis en place un script qui a été lancé chaque nuit et avons envoyé au PDG les messages pertinents de la veille. Aucun problème!

Environ un mois plus tard, la nouvelle d’un problème urgent et plus grave est venue d’en haut. Il semble que, alors qu'il lisait la liste des courriers envoyés à $ OTHERCOMPANY, il est tombé sur celle-ci:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Naturellement, le PDG étant une personne importante et importante, il était trop occupé pour cliquer sur toutes ces boîtes de dialogue "Envoyer un accusé de réception" dans Outlook et avait configuré son client pour qu'il les envoie toutes. L'un des messages capturés par le filtre de surveillance comportait un ensemble de demandes de confirmation de lecture. Devinez ce que Outlook a fait? Certainement embêté la surveillance «clandestine».

Notre tâche suivante: ajouter des règles au filtre de messagerie pour bloquer les accusés de lecture sortants adressés par le PDG à cette entreprise. Oui, c'était le moyen le plus simple. :)


37
2018-05-13 18:35



Ce n'est pas légal dans mon pays cependant. Du tout. - mafu
Ah ben c'est votre pays. :) Au Canada, c'est très bien. - MikeyB
Ce n'est pas légal de surveiller les courriels entrant ou sortant des serveurs de votre propre entreprise? Dans quel pays habites-tu? - Andrew Ensley
+1 pour le newspeak - Fahad Sadah


Ahhh, le mien l'était il y a environ 10 ans, quand je mouillais encore les pieds. J'ai eu la joie d'installer des sauvegardes de batterie sur tous les ordinateurs des programmeurs. Ils souhaitaient également que le logiciel chargé charge de prévenir les pannes de courant et de s'arrêter correctement.

Alors, je l’ai configuré sur mon ordinateur pour tout tester en premier et pour s’assurer que tout fonctionnait bien. Donc, je débranche le cordon d’alimentation et le message s’affiche sur mon écran. "alimentation externe perdue, début de l 'arrêt du système".

Alors j'ai pensé, Hé cool, ça a fonctionné. Mais pour des raisons étranges, je ne me souviens même pas, il a envoyé ce message sous forme de message réseau. Ainsi, les 200 ordinateurs de la société ou plus ont reçu ce message, où plus de 100 utilisateurs étaient des programmeurs.

Ouais, parle de masse freak out !!

J'ai gardé la tête basse à cet endroit pendant un moment!


36
2018-05-13 19:00



Haha, ça ressemble à ce qui est arrivé à un de mes amis ici avec "net send" et environ 1300 destinataires :) - squillman
Pouah. J'ai aussi fait la chose "net send" au collège. Je pensais "qu'ils devaient avoir désactivé cette" séance! ba-ding! partout dans le laboratoire, les ordinateurs avaient le message. J'ai décidé d'aller m'excuser auprès de l'administrateur du réseau et, sur mon chemin, le message était affiché sur tous les ordinateurs que j'ai passés. /soupir - Matt Simmons
Eh oui, marche de la honte là! Mon ami n'est pas sorti de sa chaise. Je n'ai pas pris la peine de répondre à son téléphone non plus. - squillman
Haha, un de mes amis, a envoyé tout le monde à l'école. "AIDE! Je suis pris au piège dans la salle 114" et bien sûr, 60 secondes plus tard, une petite armée de personnes s'est présentée pour savoir qui avait envoyé le message. - Mark Henderson♦
Nous avons en fait utilisé cette fonctionnalité pour punk l’administrateur système de mon collège. Supprimé tous les laboratoires informatiques avec de faux messages AV et des messages d'arrêt du système qui semblaient provenir de lui. Il soupçonnait fortement que nous étions les coupables, mais mon copain et moi avions chacun un alibi (j'ai envoyé le premier quand il était en classe et le deuxième pendant que j'étais en classe) et les ordinateurs avaient des logon génériques de laboratoire - Shial


J'utilisais souvent la commande "sys-unconfig" sur les machines Solaris pour réinitialiser le service de nom de machine, I.P. adresse et mot de passe root. J'étais sur un système d'utilisateurs et je me suis connecté au serveur d'installation du bâtiment et j'ai cherché quelque chose (en tant que root), puis j'ai oublié la connexion à une autre machine (invite "#" non descriptive). J'ai exécuté la commande "sys-unconfig".

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

Ce message "connexion fermée" s'est lentement transformé en panique ... sur quelle machine étais-je connecté lorsque j'ai exécuté cette commande.

Le pire dans tout cela n'était pas la période difficile que mes collègues m'ont donnée, c'est que j'ai fait la même chose un mois plus tard.


35
2018-05-13 23:46



Oh, le classique, "sur quelle machine suis-je ??" moment de panique. J'ai été là. Je ressens ta douleur. - sysadmin1138♦
Moi aussi. Quiconque a déjà vécu cette expérience sait exactement ce que signifie "sang froid". - Matt Simmons
Il y a une raison pour laquelle mon invite de shell inclut toujours le nom d'utilisateur et le nom d'hôte ... - derobert
Une fois, j’ai mis en place des alias pour la connexion aux différentes machines afin d’obtenir des arrière-plans de couleurs différentes afin de pouvoir identifier encore plus clairement la machine sur laquelle j’étais. - Zitrax
Comme j'utilise Linux sur les deux serveurs et sur ma machine locale, les invites racine sont souvent ouvertes sur les serveurs et sur mon ordinateur. Les serveurs ont des invites rouges pour se distinguer. - Hubert Kario