Analyseur de log pour IBMI

==Introduction==
Cette documentation décrit le cas d'usage d'un de nos clients de M-Detect permettant de détecter certaines erreurs dans leurs logs IBMI. (QPJOBLOG)

De manière générale, l'analyseur de log M-Detect permet de :
*Anticiper les incidents
*Identifier les erreurs dans la masse d’information
*Réduire le temps consacré à l’analyse
*Prévenir le bon interlocuteur suivant les règles définies
</br>
Le but principal étant d''''Assurer la qualité de service en anticipant les incidents'''.

==Principe de fonctionnement==

Le fichier spool de log QPJOBLOG est envoyé à un serveur ONYX. Un fichier de paramétrage est utilisé pour déterminer quelles lignes du fichier QPJOBLOG doivoient être incluse et/ou excluse du rapport généré et envoyé par email par M-Detect. 

[[File:MDE_1.jpg|1000px|center|sans_cadre]]



[[File:MDE_2.jpg|500px|center|sans_cadre]]


==Invocation==
===Connect===

Côté IBMI-i le spool est envoyé vers le serveur MAPPING Onyx à l'aide de la commande LPR en passant les métadatas nécessairent au traitement via le paramètre LPR DESTOPT.

Une fois sur le serveur MAPPING ONYX, M-Detect repose sur le principe de Connect paramétrable. Celui-ci prend en paramètre le fichier de paramétrage.

Son invocation se fait dans un workflow Onyx à l'aide d'une boite workflow M-Connect TEXT. Le nom du Connect est : SPLFEXTRAC

===Paramètres avancés===

	- Type de sortie : LISTING  (Equivalent à ajouter un paramètre DB.MAPPING_DATASTREAM=LISTING)

====Obligatoires====

Lors de l'invocation du Connect, les paramètres doivent obligatoirement être passés :

 *DB.INFILE_DATA : fichier SPOOL (QPJOBLOG) encodé en UCS2
 *DB.INFILE_PARAM : fichier de paramètres de filtrage
 *DB.OUTFILE_METADATA : fichier XML avec les infos relatives au spool
 *DB.OUTFILE_DATA : fichier SPOOL après filtrage des lignes
 *DB.MAPPING_WIDTHPAGE=9999

====Facultatifs====


 *DB.FROMAS400 : paramètre DESTOPT passé en LPR
	  (exemple : USER=SMET;OUTQ=PRT1;SPLF=QPJOBLOG;STARTPAGE=00000;STOPPAGE=000000;JOB=FACPRD;JOBNUM=123456;DATESPL=20201125)

Liste des attributs utilisables dans le paramètre "DB.FROMAS400" :

 *USER ou U
 *SPLF ou S
 *SPLNUM ou SPLFNUM ou N
 *JOB ou J
 *JOBNUM ou JN
 *OUTQ ou O
 *HOSTNAME ou H
 * USRDTA ou UD
 *DATESPL ou D (date au format AAAAMMJJ)
 *NBPAGES ou P
 *STARTPAGE ou F
 *STOPPAGE ou L

 *DB.USER : attribut "USER" du spool AS400
 *DB.SPLF : attribut SPLFNAME du spool AS400
 *DB.SPLNUM : attribut Numéro du spool AS400
 *DB.JOB : attribut JOBNAME du spool AS400
 *DB.JOBNUM : attribut JOBNUMBER du spool AS400
 *DB.OUTQ : attribut OUTORI du spool AS400
 *DB.HOSTNAME : hostname à l'origine du SPLF
 *DB.USRDTA : attribut USRDTA du spool AS400
 *DB.DATESPL : attribut DATE du spool AS400 (au format AAAAMMJJ)
 *DB.NBPAGES : nombre de pages du SPLF (obtenu après comptage avec map_count_page -type:TXT)
 *DB.STARTPAGE : numéro de la première page à traiter
 *DB.LASTPAGE : numéro de la dernière page à traiter
 *DB.MLL_PATH : emplacement des fichiers .mll (sans "/" ni "\" à la fin)
 (exemple : D:\Mapping\email) Attention les fichiers .mll doivent être encodés en UCS2
 *DB.ADD_MESSAGE_IN_FILE : "true" pour ajouter le message de l'email au début du fichier texte DB.OUTFILE_DATA

Les données présentes dans FROMAS400 peuvent être surchargées par les par les paramètres tels que DB.USER , DB.SPLF etc....

==Paramétrage==
Le fichier de paramétrage permet de paramétrer les remontés de logs.
===Syntaxe du XML de paramétrage===

Voir l'exemple joint à ce package
Chaque élément <spool> correspond à une configuration de SPOOL à traiter.

Elément <attributes> :

Attributs du spools utilisés pour le filtrage niveau SPOOL

Eléments fils de <attributes> :

 *<USER>
 *<SPLF>
 *<SPLNUM> (ou <SPLFNUM>)
 *<JOB>
 *<JOBNUM>
 *<OUTQ>
 *<HOSTNAME>
 *<USRDTA>
 *<NBPAGES>


Attributs xml

cmp : permet de définir le type de comparaison à effectuer

 *égalité : cmp="-eq" (valeur par défaut si non spécifié)
 *commence par : cmp="begin"
 *différent : cmp="-ne"
 *supérieur : cmp="-gt"
 *supérieur ou égal : cmp="-ge"
 *inférieur : cmp="-lt"
 *inférieur ou égal : cmp="-le"
 *contient : cmp="contains"
 *ne contient pas : cmp="not-contains"

Attention : les comparaisons "-lt" , "-gt" , "-le" et "-ge" sont de type numériques (1 < 00002)

Exemple :

Pour traiter les Spools dont le nom commence par QP

 <attributes>
    <SPLF cmp="begin">QP</SPLF>
 </attributes>


Elément <variables> :

 Permet de définir une liste de valeurs à récupérer directement dans le spool
et de les nommer afin de les réutiliser pour l'objet, le message du mail,
les adresses d'expéditeur ou de destinataires, mais aussi à partir du workflow
en lisant le XML de réponse.

Un élément fils <variable> par variable à récupérer. Chaque variable sera disponible dans le
fichier XML de réponse, mais également utilisables au niveau des propriétés d'envoi de l'email
via la syntaxe suivante : [[NOM_VARIABLE]]

Attributs :
 *name : nom de la variable
 *page : page du spool dans laquelle se trouve la valeur
 *line : numéro de la ligne
 *col : position du caractère dans la ligne
 *len : longueur de la valeur à récupérer

Exemple :
 <variables>
    <variable name="VARENV" page="1" line="4" col="42" len="3"/>
 </variables>


Elément <email> :


Propriétés de l'email à envoyer

 *<from> : expéditeur
 *<to> : destinataire(s)
 *<cc> : destinataire(s) en copie
 *<object> : sujet du message
 *<message> : corps du message
 *<mll-file> : fichier mailing list (.mll) (5 maximum)

Tous ces éléments peuvent contenir des variables sous la forme [[xxxxx]],
que ce soient des attributs du spools ou des valeurs issues du contenu du Spool

Les éléments <to> , <cc> et <mll-file> peuvent être multiples, mais 5 maximum pour <mll-file>

Exemple :

 <email>
   <from>citmapping_[[VARENV]]@mappingsuite.com</from>
   <to>nsmet@mappingsuite.com</to>
   <to>test@gmail.com</to>
   <to>mon_fichier_mll.mll</to>
   <cc>jdieu@mappingsuite.com</cc>
   <cc>user2@mappingsuite.com</cc>
   <mll-file>Mailing_list1.mll</mll-file>
   <mll-file>Mailing_list2_425.mll</mll-file>
   <object>ASP1 ANO - Journalière - [[JOB]] de [[USER]] n° [[JOBNUM]] - [[DATESPL]]</object>
   <message>Ceci est le corps de message de mon mail pour [[USER]]</message>
 </email>

Elément <lines> :

Liste les critères de sélection de chaque ligne

 *<include> : lignes à récupérer
 *<exclude> : lignes à éliminer parmi les lignes récupérées
 *<nextline> : permet de définir comment reconnaitre une "ligne suivante",
c'est à dire la suite d'une ligne répondant aux critères de sélection.
 *<reject-splf> : si une ligne correspond à ce critère, alors le spool est entièrement rejeté


Attributs :
 *cmp : type de comparaison à effectuer
     cmp="contains" : contient (par défaut)
     cmp="not-contains" : ne contient pas
     cmp="empty" : doit être vide (ou uniquement des espaces)
 *col : recherche à partir d'une position particulière dans la ligne
 *len : longueur de la ligne à prendre en compte pour la recherche


===Exemple===
 <param>
    <spool>
      <attributes>                                      <span style="color:green">//Si le spool reçu depuis IMBI respecte les critères suivants</span>
              <USER cmp="not-contains">MER</USER>                  <span style="color:green">//Le nom de l'utilisateur du spool ne contient pas la valeur "MER"</span>                  
              <SPLF>QPJOBLOG</SPLF>                                <span style="color:green">//Le nom du spool est QPJOBLOG</span>                  
              <SPLF>QPJOBLOG1</SPLF>                               <span style="color:green">//OU Le nom du spool est QPJOBLOG1</span>                                
              <SPLNUM cmp="-le">1<SPLNUM>                          <span style="color:green">//Le numéro de spool est inférieur ou égal à 1</span>  
              <JOB cmp="begin">FACPRD</JOB>                        <span style="color:green">//Le nom du job commence par FACPRD</span>
              <HOSTNAME>ASP2</HOSTNAME>                            <span style="color:green">//Le nom du host vaut FACPRD</span>
              <NBPAGES cmp="-le">500</NBPAGES>                     <span style="color:green">//Le nombre de pages est inférieur ou égal à 500</span>
              <OUTQ cmp="-ne">PRT9</OUTQ>                          <span style="color:green">//L'OUTQ d'origine IBMI est différent de PRT9</span>
              <USRDTA>MY CUSTOM DATA</USRDTA>                      <span style="color:green">//L'attribut du spool Référence utilisateur est égale à MY CUSTOM DATA</span>
      </attributes>
      <variables>                                       <span style="color:green">//On initialise des variables avec le contenu du spool</span>
              <variable name="VARENV" page="1" line="4" col="42" len="3"/>   <span style="color:green">//On crée et initialise la variable VARENV avec le contenu du spool en page 1, ligne 4, colonne 42 sur une longueur de 3</span>
              <variable name="test" page="2" line="9" col="60" len="6"/>     <span style="color:green">//On crée et initialise la variable test avec le contenu du spool en page 2, ligne 9, colonne 60 sur une longueur de 6</span>
      </variables>
      <email>                                          <span style="color:green">//paramétrage de l'envoi d'email</span>
              <from>citmapping@mappingsuite.com</from>
              <to>nsmet@mappingsuite.com</to>
              <to>test@gmail.com</to>
              <cc>jdieu@mappingsuite.com</cc>
              <mll-file>ACH600_CDCHS.mll</mll-file>
              <mll-file>Mailing_list_2.txt</mll-file>
              <nowiki><object>[[test]] [[VARENV]]- ASP1 ANO - Journalière - [[JOB]] de [[USER]] n° [[JOBNUM]] - [[DATESPL]] --&gt; QPJOBLOG</object>
              <message>Ceci est le corps de message de mon mail pour [[USER]]</message></nowiki>
      </email>
      <lines>                                          <span style="color:green">//paramétrage des lignes à inclure/exclure dans le rapport</span>
              <include col="58" cmp="-eq">ERR</include>    <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''ERR'''" en colonne 58</span>
              <include col="40" len="50">err</include>     <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''err'''" entre la colonne 40 et la colonne 90</span>
              <include>non restauré(s) dans</include>      <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''non restauré(s)'''"</span>
              <include>; code fin 40 .</include>           <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''; code fin 40''"'</span>
              <include>; code fin 30 .</include>           <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''; code fin 30'''"</span>
              <include>; code fin 50 .</include>           <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''; code fin 50'''"</span>
              <include>; code fin 20 .</include>           <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''; code fin 20'''"</span>
              <include>; code fin 60 .</include>           <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''; code fin 60'''"</span>
              <include>LOT DEJA TRAITE LE</include>        <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''LOT DEJA TRAITE LE'''"</span>
              <include>lot refuse</include>                <span style="color:green">//Inclure si dans la ligne il y a la valeur "'''lot refuse'''"</span>
              <exclude>: la facture de la précédente</exclude>               <span style="color:green">//Exclure si dans la ligne il y a la valeur "''': la facture de la précédente'''"</span>
              <exclude>Message....: ERR : données GOP incomplètes</exclude>  <span style="color:green">//Exclure si dans la ligne il y a la valeur "'''Message....: ERR : données GOP incomplètes'''"</span>
              <exclude>ERR : impossible de traiter Org</exclude>             <span style="color:green">//Exclure si dans la ligne il y a la valeur "'''ERR : impossible de traiter Org'''"</span>
              <exclude>ERR : Paramètrage non trouvé.</exclude>               <span style="color:green">//Exclure si dans la ligne il y a la valeur '''>"ERR : Paramètrage non trouvé.'''"</span>
              <nextline col="1" len="39" cmp="empty"></nextline>             <span style="color:green">//Si une ligne est vide entre la colonne 11 et la colonne 39, alors la ligne correspond à la suite du message de la ligne d'avant. Celle-ci doit alors être inclus dans le rapport</span>           
              <reject-splf>Spool_demo</reject-splf>                          <span style="color:green">//si une ligne correspond à ce critère, alors le spool est entièrement rejeté</span>
      </lines>
    </spool>
 </param>