Como pasar los logs de apache a una base de datos para su análisis.

He hecho un programa awk que transforma los logs de apache en csv, legible por Excel o fácilmente importable en mysql.

Si lo ejecuamos así:

awk -f parser.awk access_log >access.csv

Transformamos el fichero “access_log” en el fichero “access.csv” que es perfectamente legible en una hoja excel o en mysql.

Instrucciones para cargarlo en mysql

mysql> create table logs
       (ip varchar(15),
        user varchar(10),
        pass varchar(10),
        date_raw varchar(50),
        date varchar(30),
        time varchar(30),
        timezone varchar(10),
        request varchar(250),
        code1 tinyint,
        code2 smallint,
        referer varchar(500),
        agent varchar(500));

Y luego lo importamos con el comando mysqlimport:

mysqlimport --fields-terminated-by=";" --fields-enclosed-by="\""  --local=true --low-priority --user=rluna --password --verbose test logs

Nota: es importante que el fichero y la tabla de destino se llamen igual. En este caso hemos tenido que renombrar el fichero a “logs”.