Surveiller un serveur Sendmail

Du fait de sa criticité, un serveur Sendmail doit être surveillé afin de pouvoir agir rapidement. Les programmes présentés ci-dessous s’appuient sur des scripts Perl, couplés à  MRTG et à  SNMP. Le but est de pouvoir prévenir toute panne et agir proactivement.

Surveiller la partition /var d’un serveur Sendmail
Le petit script PERL ci-dessous récupère la taille maximale de la partition /var (index 3) ainsi que l’espace utilisé. Il calcule le pourcentage utilisé et prépare les résultats pour les passer à  MRTG :
#!/usr/bin/perl
# getdisk.pl
$max=`snmpget 192.168.10.2 mdp host.hrStorage.hrStorageTable.hrStorageEntry.hrStorageSize.3`;
$used=`snmpget 192.168.10.2 mdp host.hrStorage.hrStorageTable.hrStorageEntry.hrStorageUsed.3`;
$max =~ s/.*\:(.*)/$1/g;
$used =~ s/.*\:(.*)/$1/g;
if($max==0)
{
$pct=0;
}
else
{
$pct = ($used * 100) / $max;
}
$pct =~ s/(.*)\..*/$1/g;
print « $pct\n$pct\n\n\n »;

Le chapitre MRTG ci-dessous crée un graphique du pourcentage de l’espace utilisé sur la partition /var :
Target[sendmail.diskvar]: `/home/mrtg/bin/getdisk.pl`
Directory[sendmail.diskvar]: sendmail
MaxBytes[sendmail.diskvar]: 100
Unscaled[sendmail.diskvar]: dwmy
Options[sendmail.diskvar]: gauge
Title[sendmail.diskvar]: Charge du disque /var
XSize[sendmail.diskvar]: 580
YSize[sendmail.diskvar]: 100
YLegend[sendmail.diskvar]: %
ShortLegend[sendmail.diskvar]: %
PageTop[sendmail.diskvar]:<H1> Charge du disque /var </H1>
Legend1[sendmail.diskvar]: Espace disque utilisé en pourcentage
LegendI[sendmail.diskvar]: Volumetrie
LegendO[sendmail.diskvar]: Volumetrie

Surveiller le nombre de connexions sur un serveur Sendmail
Le petit script PERL ci-dessous extrait le nombre de connexions sur le serveur Sendmail et le prépare dans un format compréhensible par MRTG :
# !/usr/bin/perl
# gestestab.pl
$cnx=` snmpget 192.168.10.2 mdp tcp.tcpCurrEstab.0`;
chomp($cnx);
($cnx) = ($cnx =~ /= Gauge32: (.+)/);
if($cnx eq «  »)
{
print « 0\n0\n »;
}
else
{
print « $cnx \n$cnx \n »;
}

Voici le chapitre MRTG servant à  afficher le nombre de connexions :
Target[sendmail.estab]: `/home/mrtg/bin/getestab.pl`
Directory[sendmail.estab]: sendmail
Options[sendmail.estab]: gauge,nopercent
MaxBytes[sendmail.estab]: 50
Unscaled[sendmail.estab]: d
XSize[sendmail.estab]: 580
YSize[sendmail.estab]: 100
YLegend[sendmail.estab]: Nombre de connexions
ShortLegend[sendmail.estab]: Connexions
Title[sendmail.estab]: Connexions sur Sendmail
PageTop[sendmail.estab]: <H1>Nombre de connexions sur le serveur Sendmail</H1>

Surveiller la charge moyenne d’un serveur Sendmail
Le petit script PERL ci-dessous récupère la charge sur la dernière minute, l’arrondit et affiche le résultat sous une forme compréhensible par MRTG :
#!/usr/bin/perl
# getlat.pl
$charge=`snmpget 192.168.10.2 mdp enterprises.ucdavis.laTable.laEntry.laLoad.1`;
chomp($charge);
($charge) = ($charge =~/= (.+)/);
$charge=int($charge);
if($charge eq «  »)
{
print « 0\n0\n »;
}
else
{
print « $charge\n$charge\n »;
}

Voici le chapitre MRTG utilisé pour tracer la charge moyenne du serveur Sendmail : Target[sendmail.charge]: `/home/mrtg/bin/getlat.pl`
Directory[sendmail.charge]:sendmail
Options[sendmail.charge]: gauge,nopercent
MaxBytes[sendmail.charge]: 5
Unscaled[sendmail.charge]: dwmy
XSize[sendmail.charge]: 580
YSize[sendmail.charge]: 100
YLegend[sendmail.charge]: Charge
ShortLegend[sendmail.charge]: Charge
Title[sendmail.charge]: Charge du serveur Sendmail
PageTop[sendmail.charge]: <H1> Charge du serveur Sendmail </H1>

Surveiller la quantité de messages passant sur un serveur Sendmail
Tout d’abord voici un petit script Perl permettant la récupération des informations du fichier sendmail.st via la commande mailstats:
open (FD, »mailstats | »);
while (my $li = )
{
if($li =~ /===/)
{
$li=<FD>;
$li=~ s/ +/ /g;
@l0= split (/ /,$li);
($l0[3])=($l0[3] =~ /(.+)K/);
($l0[5])=($l0[5] =~ /(.+)K/);
if($l0[2] eq «  »)
{
print « 0 « ;
}
else
{
print « $l0[2] « ;
}
if($l0[4] eq «  »)
{
print « 0 « ;
}
else
{
print « $l0[4] « ;
}
}
}
close (FD);

Il ne faut pas oublier de supprimer le fichier /etc/mail/sendmail.st pour réinitialiser les informations de statistiques.
Le résultat du script est appelé au moyen d’une requête SNMP via la définition suivante dans le fichier snmpd.conf (exemple ucd-snmp) :
exec .1.3.6.1.4.1.2021.61 msg_geres /usr/bin/perl /usr/bin/pl/mlstat.pl

Le script ci-dessous reprend l’ensemble de la requête ainsi que le formatage pour MRTG :
#!/usr/bin/perl
# getmsg.pl
$etat=`snmpget 192.168.10.2 mdp enterprises.ucdavis.61.101.1`;
chomp($etat);
($etat, $etat2) = ($etat =~ /= « (.+) (.+) »/);
if($etat eq «  »)
{
print « 0\n »;
}
else
{
print « $etat\n »;
}
if($etat2 eq «  »)
{
print « 0\n »;
}
else
{
print « $etat2\n »;
}

Voici le chapitre MRTG permettant de tracer la volumétrie des messages :
Target[sendmail.msg]: `/home/mrtg/bin/getmsg.pl`
Directory[sendmail.msg]: sendmail
Options[sendmail.msg]: gauge,nopercent
MaxBytes[sendmail.msg]: 250
Unscaled[sendmail.msg]: d
XSize[sendmail.msg]: 580
YSize[sendmail.msg]: 100
YLegend[sendmail.msg]: Nbre de messages
ShortLegend[sendmail.msg]: msg
Legend1[sendmail.msg]: Messages entants
Legend2[sendmail.msg]: Messages sortants
LegendI[sendmail.msg]: Messages entants
LegendO[sendmail.msg]: Messages sortants
Title[sendmail.msg]: Volumétrie de la messagerie
PageTop[sendmail.msg]: <H1>Messages entrants / sortants Sendmail</H1>

Surveiller la file d’attente de Sendmail

Lorsque Sendmail reçoit un message, il tente de le livrer à  destination immédiatement. Si cela n’est pas possible alors il le dépose dans sa file d’attente et tente une nouvelle livraison par la suite. Le délai entre deux livraisons est fixé grâce au paramètre « -q » de Sendmail. Par exemple :
# /usr/sbin/sendmail -q15m

fixera à  15 minutes le délai entre deux tentatives de livraison. Idéalement, une file d’attente devrait être toujours vide ; mais bien entendu, cela n’est pas possible : le serveur de destination n’est pas disponible, la charge moyenne du serveur est trop importante, il n’y a pas assez de place sur le disque, etc.

Il est intéressant de surveiller le nombre de messages contenus dans la file d’attente ; ceci permet d’anticiper les pannes et aussi d’isoler certains problèmes récurrents tels que les serveurs en difficulté. Lorsqu’une file d’attente croà®t régulièrement sans se stabiliser alors il arrive un moment où il faut se poser des questions : est-ce que mon serveur est suffisamment bien calibré, ai-je assez de bande passante, etc.

Pour surveiller cette file, nous allons utiliser une combinaison de scripts que nous passerons à  MRTG via SNMP.

Tout d’abord, nous devons extraire le nombre de requêtes contenues dans la file. Ceci se fait via la commande « mailq ». Les informations résultantes de cette dernière ressemblent à  ceci :
h9GFItZ2020003 95399 Thu Oct 16 17:18
8BITMIME (host map: lookup (toulouse.xyz.fr): deferred)
<123@toulouse.xyz.fr>
h9GEvdZ2017358 95399 Thu Oct 16 16:57
8BITMIME (host map: lookup (xyz.fr): deferred)
<5432@xyz.fr>
h9GEEgZ2012871 4567 Thu Oct 16 16:14 <>
8BITMIME (Deferred: Connection refused by m5.labas.com.)

h9GCYYZ2007297 13646 Thu Oct 16 14:34 <>
8BITMIME (Deferred: Connection refused by newton.vanpiperzen.fr.)

Total requests: 708

La dernière ligne nous intéresse directement; ici, il y a donc 708 messages bloqués dans la file d’attente. Afin d’extraire le nombre, une simple combinaison de commandes et un script Awk suffit :
# /usr/bin/mailq | /usr/bin/tail -1 | /usr/bin/awk ‘BEGIN {} { j= $3} END {printf « %s « ,j }’

* La première instruction (mailq) déclenche l’affichage de la file d’attente
* La deuxième passe le résultat dans la commande « tail » qui n’affiche que la dernière ligne ( Total requests: 708)
* Le script awk n’affiche que le dernier mot (708)

Ceci fait, nous allons désormais passer ces informations à  MRTG; la façon la plus commode est d’utiliser SNMP.
Pour ce faire, il faut rajouter un OID propriétaire dans le snmpd.conf ; ici, nous travaillons avec ucd-snmp. Voici cet OID :
exec .1.3.6.1.4.1.2021.61 queue /home/s/queue.sh

Avec le script queue.sh contenant:
# !/bin/sh
# /usr/bin/mailq | /usr/bin/tail -1 | /usr/bin/awk ‘BEGIN {} { j= $3} END {printf « %s « ,j }’

Ceci terminé, il faut relancer le SNMP : # service snmpd restart (Sous RedHat)
# /etc/init.d/snmpd restart (Autre)

Essayons d’extraire les différents OID depuis la NMS (Network Management Server) :
# snmpwalk serveur-sendmail communaute enterprises.ucdavis.61
enterprises.ucdavis.61.1.1 = 1
enterprises.ucdavis.61.2.1 = « queue »
enterprises.ucdavis.61.3.1 = « /home/s/queue.sh »
enterprises.ucdavis.61.100.1 = 0
enterprises.ucdavis.61.101.1 = « 522 »
enterprises.ucdavis.61.102.1 = 0

Ca fonctionne, et nous allons donc travailler avec l’OID enterprises.ucdavis.61.101.1
La prochaine étape est de créer une entrée MRTG afin de grapher régulièrement les entrées obtenues par notre script. La seule difficulté est que notre script Awk renvoie l’information sous forme de caractères; MRTG, quand à  lui, attend un nombre. Nous allons donc devoir encore développer un script pour convertir la chaà®ne de caractères en nombre. Voici ce script, écrit en PERL, nous l’appellerons queue.pl :
#!/usr/bin/perl
$ip = shift @ARGV;
$com = shift @ARGV;
$mib1 = shift @ARGV;
$etat=`snmpget $ip $com $mib1`;
chomp($etat);
($etat) = ($etat =~ /= « (.+) »/);
if($etat eq «  »)
{
print « 0\n0\n »;
}
else
{
print « $etat\n$etat\n »;
}

Le script commence par récupérer l’OID au moyen de l’instruction « snmpget », puis il nettoie la chaà®ne des guillemets et finalement affiche le nombre en deux exemplaires, car MRTG attend toujours un minimum de deux nombres.
Pour utiliser notre script, il faudra donc taper :
# ./queue.pl
522
522

Il ne nous reste plus qu’à  créer le chapitre MRTG :
Target[sendmail.queue]: `/home/s/queue.pl 192.168.0.2 com enterprises.ucd avis.61.101.1`
Directory[sendmail.queue]: sendmail
Options[sendmail.queue]: gauge,nopercent
MaxBytes[sendmail.queue]: 3500
XSize[sendmail.queue]: 580
YSize[sendmail.queue]: 100
YLegend[sendmail.queue]: Nbre de messages en attente
ShortLegend[sendmail.queue]: msg
Legend1[sendmail.queue]: Messages en attente
Legend2[sendmail.queue]: Messages en attente
LegendI[sendmail.queue]: Messages en attente
LegendO[sendmail.queue]: Messages en attente
Title[sendmail.queue]:Messages dans la file d’attente
PageTop[sendmail.queue]: <H1>Messages dans la file d’attente sur Sendmail</H1>

Note: des problèmes peuvent survenir avec SNMP et la commande mailq en cas de surcharge du serveur ; il est tout à  fait envisageable que MRTG soit dans l’incapacité de récupérer les informations. Pour pallier à  ce problème, le mieux est de faire tourner le script qui va chercher le nombre de messages dans la file d’attente directement sur le serveur SMTP ; ce script devra être lancé régulièrement via une entrée dans la crontab et le résultat placé dans un fichier. Après, ce nombre pourra être récupéré par SNMP par un simple « cat ».

Transformer des adresses grâce à  Sendmail

Dans un environnement de messagerie, il est parfois intéressant de pouvoir transformer des adresses email:
Lorsqu’une entreprise change de dénomination sociale, une personne se marie et change de nom, pour des raisons de sécurité, etc.

Sendmail offre un dispositif standard de réécriture d’adresses: la genericstable.
Ce dispositif est destiné à  transformer une adresse en une autre durant l’expédition d’un message. Malheureusement, ceci ne fonctionne qu’avec les domaines locaux, ceux qui sont gérés via le local-host-name. Le problème se pose donc lorsque l’on veut modifier une adresse distante, celle d’un FAI par exemple.

Heureusement, la grande force de Sendmail est justement de pouvoir réécrire n’importe quelle adresse. Il suffit donc de créer une nouvelle règle et de l’insérer dans le fichier sendmail.mc. Néanmoins pour des raisons de clarté, il est préférable de mettre la règle dans un fichier satellite.

J’ai appelé celui-ci « rewrite », et en voici son contenu:

LOCAL_RULE_3
D{DOMAINE}mon-domaine.com #` mon-domaine.com’
D{WANAGOO}wanagoo.fr #`wanagoo.fr’
Rlaurent<@${DOMAINE}>$* laurent.baloche<@${WANAGOO}>$1
Rcharles<@${DOMAINE}>$* charles.vanpiperzen<@${WANAGOO}>$1

Et en voici les explications:

Tout d’abord, la règle sera placée dans le groupe numéro 3 (LOCAL_RULE_3) en charge du prétraitement des adresses.
La lettre D définit la macro « DOMAINE » et y affecte le domaine, ici mon-domaine.com.
La lettre D définit la macro « WANAGOO » et y affecte le domaine distant, ici wanagoo.fr.
L’instruction suivante utilise la réécriture, la lettre « R » pour transformer l’adresse initiale lauren@mon-domaine.com en laurent.baloche@wanagoo.fr.
Idem pour charles@mon-domaine.com qui est transformée en charles.vanpiperzen@wanagoo.fr

Ceci fait, il suffit d’inclure les règles dans le fichier sendmail.mc:

include(`/etc/mail/rewrite’)

Puis de reconstruire le sendmail.cf:

#m4 sendmail.mc >sendmail.cf

et enfin faire relire à  sendmail sa configuration:

#kill -HUP `head -1 /var/run/sendmail.pid’

Attention, cette opération doit être exécutée à  chaque fois que l’on insère une nouvelle entrée dans le fichier rewrite.

Le SMTP spoolé

Même si la plupart d’entre nous possède désormais une connexion permanente à  Internet comme l’ADSL ou le câble, il existe encore des situations où l’on utilise des connexions intermittentes comme le RNIS, l’ISDN ou le RTC: liens de secours, lieux non-couverts par l’ADSL, etc.

Celui qui utilise une connexion intermittente se retrouve généralement face à  la problématique suivante: Comme la connexion n’est pas permanente, il n’est à  priori pas possible d’avoir son propre serveur SMTP gérant la réception du courrier en provenance de l’Internet. On doit alors laisser la gestion de tout le courrier électronique au FAI (Fournisseur d’Accès Internet), ce qui est somme toute dommage, surtout si l’on dispose d’un service informatique capable de gérer les services Internet.

Il est toutefois possible de contourner ce problème grâce aux extensions du protocole SMTP, défini par le ESMTP (Extended Simple Mail Protocol).

L’idée est la suivante:
– le courrier arrive sur le serveur SMTP du FAI,
– le FAI stocke le courrier dans une file d’attente,
– le client récupère toute la file d’attente lorsqu’il se connecte.

Attention, ici il n’est nullement question d’accéder à  des boites aux lettres via POP mais bien de récupérer toute la file d’attente SMTP d’un domaine sans se soucier d’éventuelles erreurs de destinataires. Ces mêmes erreurs seront gérées par la suite par le serveur SMTP de destination; le FAI n’a qu’un rôle d’intermédiaire: il est serveur-relais, tout simplement.

Le mécanisme de récupération de la file d’attente SMTP se fait via la commande ETRN; c’est cette même commande qui sera étudiée plus tard et un petit programme en C illustrera son utilisation.

Voici la trame d’un message transitant depuis l’émetteur du message jusqu’au destinataire final, au-delà  de la connexion intermittente:

Le client envoie son message vers son serveur de courrier via une transaction SMTP. Ce même serveur extrait le MX (Mail Exchanger) de son DNS et l’expédie via une autre requête SMTP sur le serveur relais. Ce dernier se contente de stocker le message dans la file d’attente; à  ce stade, il n’y a plus aucune notion de délai de livraison: c’est le client lui même qui va récupérer le courrier quand bon lui semble. Lorsque la connexion intermittente monte, le serveur SMTP de destination exécute la commande ETRN et toute la file d’attente est récupérée. Le destinataire du message n’a plus qu’à  récupérer son courrier via POP.

Une commande ETRN consiste en fait à  accéder au port 25 d’un serveur SMTP, et à  envoyer cette même commande. Le serveur SMTP tente alors d’accéder au port 25 de l’émetteur de la transaction et déclenche un dialogue SMTP entre les deux serveurs.
Le dialogue suivant vous montre comment se passe une transaction ETRN:
telnet mx.mondomaine.fr 25
220 mx.mondomaine.fr ESMTP Sendmail 8.10.0/8.10.0;
ehlo mx.tondomaine.fr
250-mx.mondomaine.fr Hello mx.tondomaine.fr [192.168.0.1] (may be forged),
etrn @tondomaine.fr
250 2.0.0 Queuing for node @tondomaine.fr started
quit
221 2.0.0 mx.mondomaine.fr closing connection

La commande « etrn @mx.tondomaine.fr » déclenche la transaction SMTP entre les deux serveurs. Il y a deux façons d’utiliser la commande ETRN:
soit par domaine (@tondomaine.fr), soit par file d’attente (#file), cela dépend du fournisseur et de sa façon de procéder.
Attention, la commande ETRN ne fonctionne qu’avec des serveurs ESMTP, d’où le « ehlo » qui est là  pour tester la nature du serveur.

Dans la plupart des cas, le serveur utilisé est un Sendmail 8.10 ou plus doté d’une mailertable pour rediriger le courrier grâce à  un mailer particulier appelé DSMTP.
Ci-dessous, un exemple de configuration pour sendmail:
Sendmail.mc
divert(-1)
dnl
dnl Configuration sendmail côté FAI
dnl
divert(0)
include(`/usr/lib/sendmail-cf/m4/cf.m4′)
VERSIONID(`Sendmail pour mx0.d0.com’)dnl
OSTYPE(`linux’)dnl
define(`confMAX_MESSAGE_SIZE’, `5000000′)dnl
define(`STATUS_FILE’, `/etc/mail/sendmail.st’)dnl
define(`confDOMAIN_NAME’, `mx0.d0.com’)dnl
define(`ALIAS_FILE’, `/etc/mail/aliases’)dnl
define(`confTO_QUEUEWARN’, `72h’)dnl
define(`confTO_QUEUERETURN’, `7d’)dnl
FEATURE(`access_db’,`hash -o /etc/mail/access’)dnl
FEATURE(`mailertable’,`hash -o /etc/mail/mailertable’)dnl
FEATURE(always_add_domain)dnl
MAILER(smtp)dnl

Mailertable
d1.com dmstp:[mail.d0.com]
d2.com dmstp:[mail.d0.com]
d3.com dmstp:[mail.d0.com]
d4.com dmstp:[mail.d0.com]

Sendmail.mc
divert(-1)
dnl
dnl Configuration sendmail sur une ligne RNIS/ISDN
dnl
divert(0)
include(`/usr/lib/sendmail-cf/m4/cf.m4′)
VERSIONID(`Sendmail pour mail.d0.com’)dnl
OSTYPE(`linux’)dnl
define(`confMAX_MESSAGE_SIZE’, `5000000′)dnl
define(`STATUS_FILE’, `/etc/mail/sendmail.st’)dnl
define(`confDOMAIN_NAME’, `mail.d0.com’)dnl
define(`SMART_HOST’,`esmtp:[mx0.d0.com]’)dnl
define(`confCON_EXPENSIVE’, `true’)dnl
define(`ALIAS_FILE’, `/etc/mail/aliases’)dnl
define(`confTO_QUEUEWARN’, `72h’)dnl
define(`confTO_QUEUERETURN’, `7d’)dnl
MODIFY_MAILER_FLAGS(`SMTP’,`+e’)dnl
FEATURE(`access_db’,`hash -o /etc/mail/access’)dnl
FEATURE(`virtusertable’,`hash -o /etc/mail/virtusertable’)dnl
FEATURE(always_add_domain)dnl
FEATURE(local_procmail)dnl
FEATURE(use_cw_file)dnl
MAILER(smtp)dnl

Pour lancer l’ETRN, placez ce petit programme dans votre crontab sur la machine au delà  de la connexion intermittente.