Sommaire

1 Préambule
2 Limitations
3 Liste des médias possibles
4 Prérequis
5 Paramétrage
- 5.1 mapping.conf
- 5.2 config.yaml
6 Focus sur le fichier config.yaml
7 Exemple de fichier de configuration
- 7.1 Exemple 1
- 7.2 Exemple 2 : Fichier de configuration plus détaillé
8 Liens utiles

Préambule

Par défaut les logs générées par Mapping sont dans un format propriétaire Mapping afin que celles-ci puissent être lu par l'interface de MAPPING. Il est possible de les transformer en texte grâce à la commande map_log_txt mais il est impossible de modifier leur formatage. Grâce à Améthyst, il est possible de générer des logs avec un formatage paramétrable et vers différents médias possibles. L'activation d'Améthyst et la déactivation de l'ancien système de log améliorent également les performances.

Limitations

Améthyst est en constance évolution. La sortie 9.1.0 inclus la possibilité d'utiliser Améthyst uniquement pour les exécutions du workflow. (Binaire map_809) Des évolutions permettront l'utilisation d'Améthyst avec d'autres binaires. (mapcpysplf, map_lpr et autres)

Liste des médias possibles

Les médias de sorties de logs sont :

Fichier texte
La console invoquant le traitement
Une requête HTTP

Prérequis

Onyx Server v9.1.0 minimum

Paramétrage

Pour activer les logs Amethyst il faudra procéder à des modifications

mapping.conf

Aller dans le bloc LOGS
Ajouter les paramètres suivants

LOG_TYPE
- Default : Utilisation de l'ancien système de log Mapping
- Amethyst : Utilisation du nouveau système de log Mapping (Améthyst)
- All : Utilisation des deux systèmes de logs (Ancien et Améthyst)
PATH_AMETHYST_LOG
- Chemin du fichier de configuration d'Améthyst

config.yaml

Améthyst a besoin d'un fichier de configuration, qui part défaut, s'appelle config.yaml et se situe dans le répertoire conf ou settings de MAPPING. Son nom et chemin sont spécifiés dans le fichier mapping.conf dans la partie LOGS avec le paramètre PATH_AMETHYST_LOG Ce fichier de configuration est au format yaml et inclus les configurations des Loggers du nouveau système de logs

Focus sur le fichier config.yaml

Voici la description du fichier de configuration :

config

config

server

port: le port du serveur de logs.
threads : le nombre de threads utilisés par le serveur (max 250)

loggers

loggers

source : le nom de la source des logs récupéré par les programmes (`workflow` est le nom du logger du map_809)
- Workflow
level : le niveaux minimum de logs
- debug
- information
- warning
- error
channels : la liste des channel qui indique le type de logs

type : indique le type de channel

FileChannel

path : indique le chemin du fichier de log généré (Dans le cas du Type = FileChannel)

Chemin du fichier de log généré

rotation : Indique la fréquence de génération de nouveau fichier de log (un fichier par jour, par mois, par semaine...)

never: no log rotation
[day,][hh]:mm: the file is rotated on specified day/time day - day is specified as long or short day name (Monday|Mon, Tuesday|Tue, ... ); day can be omitted, in which case log is rotated every day hh - valid hour range is 00-23; hour can be omitted, in which case log is rotated every hour mm - valid minute range is 00-59; minute must be specified
daily: the file is rotated daily
weekly: the file is rotated every seven days
monthly: the file is rotated every 30 days
<n> minutes: the file is rotated every <n> minutes, where <n> is an integer greater than zero.
<n> hours: the file is rotated every <n> hours, where <n> is an integer greater than zero.
<n> days: the file is rotated every <n> days, where <n> is an integer greater than zero.
<n> weeks: the file is rotated every <n> weeks, where <n> is an integer greater than zero.
<n> months: the file is rotated every <n> months, where <n> is an integer greater than zero and a month has 30 days.
<n>: the file is rotated when its size exceeds <n> bytes.
<n> K: the file is rotated when its size exceeds <n> Kilobytes.
<n> M: the file is rotated when its size exceeds <n> Megabytes.

compress : Indique si les anciens fichiers de log doivent être compressés dans un dossier compressé
- false : les fichiers ne sont pas compressés
- true : les fichiers sont compressés
purgeAge : Permet la suppression automatique des anciens fichiers de log en fonction de la date de création des fichiers
- <n> seconds : supression des fichiers vieux de <n> secondes.
- <n> minutes : supression des fichiers vieux de <n> minutes.
- <n> hours : suppression des fichiers vieux de <n> heures.
- <n> days : suppression des fichiers vieux de <n> jours.
- <n> weeks : suppression des fichiers vieux de <n> semaines.
- <n> months : suppression des fichiers vieux de <n> mois.
purgeCount : Permet la suppression automatique des anciens fichiers de log en fonction d'un nombre maximum de fichier.
- <n> : Seul les <n> fichiers (les plus récents) sont conservés.
format : le format de chaque message de log

%s - message source
%t - message text
%l - message priority level (1 .. 7)
%p - message priority (Fatal, Critical, Error, Warning, Notice, Information, Debug, Trace)
%q - abbreviated message priority (F, C, E, W, N, I, D, T)
%P - message process identifier
%T - message thread name
%I - message thread identifier (numeric)
%N - node or host name
%U - message source file path (empty string if not set)
%u - message source line number (0 if not set)
%w - message date/time abbreviated weekday (Mon, Tue, ...)
%W - message date/time full weekday (Monday, Tuesday, ...)
%b - message date/time abbreviated month (Jan, Feb, ...)
%B - message date/time full month (January, February, ...)
%d - message date/time zero-padded day of month (01 .. 31)
%e - message date/time day of month (1 .. 31)
%f - message date/time space-padded day of month ( 1 .. 31)
%m - message date/time zero-padded month (01 .. 12)
%n - message date/time month (1 .. 12)
%o - message date/time space-padded month ( 1 .. 12)
%y - message date/time year without century (70)
%Y - message date/time year with century (1970)
%H - message date/time hour (00 .. 23)
%h - message date/time hour (00 .. 12)
%a - message date/time am/pm
%A - message date/time AM/PM
%M - message date/time minute (00 .. 59)
%S - message date/time second (00 .. 59)
%i - message date/time millisecond (000 .. 999)
%c - message date/time centisecond (0 .. 9)
%F - message date/time fractional seconds/microseconds (000000 - 999999)
%z - time zone differential in ISO 8601 format (Z or +NN.NN)
%Z - time zone differential in RFC format (GMT or +NNNN)
%L - convert time to local time (must be specified before any date/time specifier; does not itself output anything)
%E - epoch time (UTC, seconds since midnight, January 1, 1970)
%v[width] - the message source (%s) but text length is padded/cropped to 'width'
%[name] - the value of the message parameter with the given name
%% - percent sign

Exemple de valeur : '[%q]%Y-%m-%d %H:%M:%S:%F [PID:%P][THREAD %I] %t'

ConsoleChannel

format : le format de chaque message de log

%s - message source
%t - message text
%l - message priority level (1 .. 7)
%p - message priority (Fatal, Critical, Error, Warning, Notice, Information, Debug, Trace)
%q - abbreviated message priority (F, C, E, W, N, I, D, T)
%P - message process identifier
%T - message thread name
%I - message thread identifier (numeric)
%N - node or host name
%U - message source file path (empty string if not set)
%u - message source line number (0 if not set)
%w - message date/time abbreviated weekday (Mon, Tue, ...)
%W - message date/time full weekday (Monday, Tuesday, ...)
%b - message date/time abbreviated month (Jan, Feb, ...)
%B - message date/time full month (January, February, ...)
%d - message date/time zero-padded day of month (01 .. 31)
%e - message date/time day of month (1 .. 31)
%f - message date/time space-padded day of month ( 1 .. 31)
%m - message date/time zero-padded month (01 .. 12)
%n - message date/time month (1 .. 12)
%o - message date/time space-padded month ( 1 .. 12)
%y - message date/time year without century (70)
%Y - message date/time year with century (1970)
%H - message date/time hour (00 .. 23)
%h - message date/time hour (00 .. 12)
%a - message date/time am/pm
%A - message date/time AM/PM
%M - message date/time minute (00 .. 59)
%S - message date/time second (00 .. 59)
%i - message date/time millisecond (000 .. 999)
%c - message date/time centisecond (0 .. 9)
%F - message date/time fractional seconds/microseconds (000000 - 999999)
%z - time zone differential in ISO 8601 format (Z or +NN.NN)
%Z - time zone differential in RFC format (GMT or +NNNN)
%L - convert time to local time (must be specified before any date/time specifier; does not itself output anything)
%E - epoch time (UTC, seconds since midnight, January 1, 1970)
%v[width] - the message source (%s) but text length is padded/cropped to 'width'
%[name] - the value of the message parameter with the given name
%% - percent sign

Exemple de valeur : [Console] %H:%M:%S [%p]%s: %t

ColorConsoleChannel

path : indique le chemin du fichier de log généré (Dans le cas du Type = FileChannel)

Chemin du fichier de log généré

format : le format de chaque message de log

%s - message source
%t - message text
%l - message priority level (1 .. 7)
%p - message priority (Fatal, Critical, Error, Warning, Notice, Information, Debug, Trace)
%q - abbreviated message priority (F, C, E, W, N, I, D, T)
%P - message process identifier
%T - message thread name
%I - message thread identifier (numeric)
%N - node or host name
%U - message source file path (empty string if not set)
%u - message source line number (0 if not set)
%w - message date/time abbreviated weekday (Mon, Tue, ...)
%W - message date/time full weekday (Monday, Tuesday, ...)
%b - message date/time abbreviated month (Jan, Feb, ...)
%B - message date/time full month (January, February, ...)
%d - message date/time zero-padded day of month (01 .. 31)
%e - message date/time day of month (1 .. 31)
%f - message date/time space-padded day of month ( 1 .. 31)
%m - message date/time zero-padded month (01 .. 12)
%n - message date/time month (1 .. 12)
%o - message date/time space-padded month ( 1 .. 12)
%y - message date/time year without century (70)
%Y - message date/time year with century (1970)
%H - message date/time hour (00 .. 23)
%h - message date/time hour (00 .. 12)
%a - message date/time am/pm
%A - message date/time AM/PM
%M - message date/time minute (00 .. 59)
%S - message date/time second (00 .. 59)
%i - message date/time millisecond (000 .. 999)
%c - message date/time centisecond (0 .. 9)
%F - message date/time fractional seconds/microseconds (000000 - 999999)
%z - time zone differential in ISO 8601 format (Z or +NN.NN)
%Z - time zone differential in RFC format (GMT or +NNNN)
%L - convert time to local time (must be specified before any date/time specifier; does not itself output anything)
%E - epoch time (UTC, seconds since midnight, January 1, 1970)
%v[width] - the message source (%s) but text length is padded/cropped to 'width'
%[name] - the value of the message parameter with the given name
%% - percent sign

Exemple de valeur : '[%q]%Y-%m-%d %H:%M:%S:%F [PID:%P][THREAD %I] %t'

traceColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)
informationColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)
noticeColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)
warningColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)
criticalColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)
fatalColor : Indique la couleur de message de niveau trace (Dans le cas du Type = ColorConsoleChannel)

Couleurs disponibles pour le ColocConsoleChannel :

default
black
red
green
brown
blue
magenta
cyan
gray
darkgray
lightRed
lightGreen
yellow
lightBlue
lightMagenta
lightCyan
white

HttpChannel

url

URL exécuté pour l'envoi des logs

method

POST
PUT

timeout : Timeout de la requette HTTP

valeur en seconde (exemple : '2')

headers : Entête HTTP envoyé dans la trame

Authorization : Entête concernant la sécurité HTTP (Exemple : 'Bearer eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiJhZG1pbiIsImF1dGgiOiJST0xFX0FETUlOLFJPTEVfVVNFUiIsImV4cCI6MTU3MDA4OTIwMX0.xhmD8lCmnJVJs5b6VelcRnSJmoeEABMBf7-A3KdIM1uUbjOstSDAv0c7c8hnL1U54qYnmkiV46L13TSsByuMIQ'
Content-Type : Entête concernant le contenu (Exemple : 'application/json')

format : le format de chaque message de log

%s - message source
%t - message text
%l - message priority level (1 .. 7)
%p - message priority (Fatal, Critical, Error, Warning, Notice, Information, Debug, Trace)
%q - abbreviated message priority (F, C, E, W, N, I, D, T)
%P - message process identifier
%T - message thread name
%I - message thread identifier (numeric)
%N - node or host name
%U - message source file path (empty string if not set)
%u - message source line number (0 if not set)
%w - message date/time abbreviated weekday (Mon, Tue, ...)
%W - message date/time full weekday (Monday, Tuesday, ...)
%b - message date/time abbreviated month (Jan, Feb, ...)
%B - message date/time full month (January, February, ...)
%d - message date/time zero-padded day of month (01 .. 31)
%e - message date/time day of month (1 .. 31)
%f - message date/time space-padded day of month ( 1 .. 31)
%m - message date/time zero-padded month (01 .. 12)
%n - message date/time month (1 .. 12)
%o - message date/time space-padded month ( 1 .. 12)
%y - message date/time year without century (70)
%Y - message date/time year with century (1970)
%H - message date/time hour (00 .. 23)
%h - message date/time hour (00 .. 12)
%a - message date/time am/pm
%A - message date/time AM/PM
%M - message date/time minute (00 .. 59)
%S - message date/time second (00 .. 59)
%i - message date/time millisecond (000 .. 999)
%c - message date/time centisecond (0 .. 9)
%F - message date/time fractional seconds/microseconds (000000 - 999999)
%z - time zone differential in ISO 8601 format (Z or +NN.NN)
%Z - time zone differential in RFC format (GMT or +NNNN)
%L - convert time to local time (must be specified before any date/time specifier; does not itself output anything)
%E - epoch time (UTC, seconds since midnight, January 1, 1970)
%v[width] - the message source (%s) but text length is padded/cropped to 'width'
%[name] - the value of the message parameter with the given name
%% - percent sign

Exemple de valeur : '{"source":"%s", "date":"%Y-%m-%d %H:%M:%S:%F", "pid":%P, "message":"%t"}'

Exemple de fichier de configuration

Exemple 1

config:
   server:
       port: 7476
       threads: 11
   loggers:          
       -   
           source: 'Workflow'
           level: 'information'
           channels:
               -
                   type: 'FileChannel'
                   path: '/apps/mapping/data/MyLog.log'
                   rotation: 'daily'
                   format: '[%q]%Y-%m-%d %H:%M:%S:%F [PID:%P][THREAD %I]    %t'

Fichier de log généré correspondant : Fichier de log /apps/mapping/data/MyLog.log

# Log file created/rotated Thursday, 19 Sep 19 10:36:18 GMT
[I]2019-09-19 10:36:18:129349 [PID:6881][THREAD 0]    Run file /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml
[I]2019-09-19 10:36:18:131010 [PID:6881][THREAD 0]    Set PRINTER=MYPRINTERVALUE
[I]2019-09-19 10:36:18:131186 [PID:6881][THREAD 0]    Set PRINTERNAME=MYPRINTERNAME
[I]2019-09-19 10:36:18:131192 [PID:6881][THREAD 0]    Run SET
[I]2019-09-19 10:36:18:131247 [PID:6881][THREAD 0]    /apps/mapping/data/cmd.sh
[I]2019-09-19 10:36:18:152919 [PID:6881][THREAD 0]    End of the Workflow /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml.Time = 0.010 seconds.
[I]2019-09-19 10:36:18:546324 [PID:6901][THREAD 0]    Run file /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml
[I]2019-09-19 10:36:18:547191 [PID:6901][THREAD 0]    Set PRINTER=MYPRINTERVALUE
[I]2019-09-19 10:36:18:547350 [PID:6901][THREAD 0]    Set PRINTERNAME=MYPRINTERNAME
[I]2019-09-19 10:36:18:547356 [PID:6901][THREAD 0]    Run SET
[I]2019-09-19 10:36:18:547409 [PID:6901][THREAD 0]    /apps/mapping/data/cmd.sh
[I]2019-09-19 10:36:18:569399 [PID:6901][THREAD 0]    End of the Workflow /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml.Time = 0.010 seconds.
[I]2019-09-19 10:36:18:943406 [PID:6921][THREAD 0]    Run file /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml
[I]2019-09-19 10:36:18:944466 [PID:6921][THREAD 0]    Set PRINTER=MYPRINTERVALUE
[I]2019-09-19 10:36:18:944615 [PID:6921][THREAD 0]    Set PRINTERNAME=MYPRINTERNAME
[I]2019-09-19 10:36:18:944620 [PID:6921][THREAD 0]    Run SET
[I]2019-09-19 10:36:18:944703 [PID:6921][THREAD 0]    /apps/mapping/data/cmd.sh
[I]2019-09-19 10:36:18:973966 [PID:6921][THREAD 0]    End of the Workflow /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml.Time = 0.010 seconds.
[I]2019-09-19 10:36:19:263098 [PID:6941][THREAD 0]    Run file /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml
[I]2019-09-19 10:36:19:264103 [PID:6941][THREAD 0]    Set PRINTER=MYPRINTERVALUE
[I]2019-09-19 10:36:19:264284 [PID:6941][THREAD 0]    Set PRINTERNAME=MYPRINTERNAME
[I]2019-09-19 10:36:19:264290 [PID:6941][THREAD 0]    Run SET
[I]2019-09-19 10:36:19:264343 [PID:6941][THREAD 0]    /apps/mapping/data/cmd.sh
[I]2019-09-19 10:36:19:287644 [PID:6941][THREAD 0]    End of the Workflow /apps/mapping/data/conf/rules/workflow/rulesfile.rules.xml.Time = 0.000 seconds.

Exemple 2 : Fichier de configuration plus détaillé

config:
   server:
       port: 7476
       threads: 11
   loggers:
       -
           source: 'Conversion'
           level: 'debug'
           channels:
               -
                   type: 'FileChannel'
                   path: 'C:\Users\jdobbels\Documents\6-M-Designer\KrakenLogs\conversion.log'
                   rotation: '2 K'
                   format: '---------[%q]%Y-%m-%d %H:%M:%S:%F [PID:%P][THREAD %I]    %t'
               -
                   type: 'ConsoleChannel'
                   format: '[Console] %H:%M:%S     [%p]        %s: %t'
       -   source: 'Workflow'
           level: 'information'
           channels:
               -
                   type: 'FileChannel'
                   path: '/apps/mapping/mapout/workflow1.log'
                   rotation: 'daily'
                   format: '[%q]%Y-%m-%d %H:%M:%S:%F [PID:%P][THREAD %I]    %t'
               -
                   type: 'ColorConsoleChannel'
                   format: '[ColorConsole] %H:%M:%S     [%p]        %s: %t'
                   traceColor: 'gray'
                   debugColor: 'lightcyan'
                   informationColor: 'lightgreen'
                   noticeColor: 'lightgreen'
                   warningColor: 'yellow'
                   errorColor: 'lightRed'
                   criticalColor: 'lightred'
                   fatalColor: 'darkgray'
               -
                   type: 'HttpChannel'
                   url: 'http://localhost:8080/api/log-mps'
                   method: 'POST'
                   timeout: '2 s'
                   headers:
                       Content-Type: 'application/json'    
                   format: '{"source":"%s", "date":"%Y-%m-%d %H:%M:%S:%F", "pid":%P, "message":"%t"}'

Liens utiles

Liste des valeurs dynamiques possibles : https://pocoproject.org/docs/Poco.PatternFormatter.html
Liste des couleurs disponibles : https://pocoproject.org/docs/Poco.ColorConsoleChannel.html

Gestion des logs AMETHYST