Agregator logov z FTP

[lepermessiah]

Ahojte,

hladam nejake nenarocne riesenie pre agregovanie php, apache, nginx logov.

Doteraz som fungoval na sentry.io ale stava sa mi, ze nejaky skript zblbne a sekne mi celu kvotu skor ako sa k tomu viem dostat. Tiez nevyhoda sentry je, ze mi to vie logovat len z beziaceho agenta (wordpress) a teda to tiez pridava na odozve uz tak pomaleho CMS a logovat ine veci je pain.

Skusil som ELK (elastic+logstash+kibana) ale to v zaklade vie asi prd a aj to tak vyzera cele, ze to len zbiera logy a vie v nich rychlo hladat, no nic viac.

Hladam teda nejaku alternativu, ktora by splnala:
- agregaciu logov z FTP/SSH, teda pasivne 1x denne by stiahla log za predosly den, pripadne ako ELK, ze viem urobit push na endpoint v style cat error.log | socat - TCP:localhost:50000
- idealne aby vedela aj apache/nginx logy, nie len php errory
- nejaky system tagovania, teda ze mi to automaticky oznaci z akeho webu, aka priorita, spajanie rovnakych errorov
- self-hosted, pripadne sluzba, ktora by bola do 10e/mesiac (ale fakt by som radsej nieco u seba )

Zatial som nasiel veci ako Grafana Loki, Prometheus, Sematext Logs, Graylog ..ale bud to v nejakej forme tiez chce ELK alebo tam neviem dostat logy z FTP nejakym jednoduchym sposobom. Mozno len nechapem

Sentry ponuka self-hosted riesenie ale to je overkill (v podstate by mi to zabilo NAS, kde by to bezalo). Platena verzia je zas mimo budget.

[sakul]

nenarocne riesenie pre agregovanie php, apache, nginx logov.

ze to len zbiera logy a vie v nich rychlo hladat, no nic viac.

hmmm

[LordKJ]

nerozumiem uplne co chces mat ako konecny vysledok

[lepermessiah]

@sakul no ja viem ze ti to pride vtipne ale prelozim ti to .. nieco, co bude vediet viac ako len zobrazit logy .. nemusi to vediet 90% veci co vie Sentry a teda vystaci si to s 2 jadrami a 2GB RAM, nie 4 jadra a 8GB RAM .. ako analogia .. netreba mi Gitlab CE, ked mozem mat Forgejo/Gitea + Drone CI/Woodpecker CI .. chapes

@LordKJ potrebujem mat prehlad o chybach na weboch, vobec to nepotrebujem realtime, ale aby som sa k tomu vedel spatne vratit napr. regresia po pol roku a pod. To co ponuka Sentry pre php logy je uplna topka, ale necakam, ze nieco take bude.

Zatial co pozeram, tak aspon to Loki vyzera pouzitelne pre mna, ak spravne chapem, tak nastavim Promtail aby z nejakeho foldra tahal logy a ja ich tam budem proste nahravat nejakym CRONom a mazat ich na druhy den, ked uz budu natiahnute do Grafany

[Hexaris]

loki ma index pre metadata ak si dobre spominam, co je nevhodne na velky objem (mozno u teba nevadi). Graylog pouzivame dlhodobo a vie pocuvat na porte pre logovanie 514 a pod., nasledne bud vie ftp priamo posielat logs na agregator alebo lokalne a tam nasledne logs predmerujes na graylog … nginx s tym cez lokalny syslog nema problem
syslog, syslog-ng to vedia, len si nastavis facility, severity podla seba. Pripadne ak to vie volat nejaku externu app na logovanie tak linux logger napr.

[lepermessiah]

@Hexaris neviem ci to bude problem, ratam tak, ze tam budem agregovat tie logy 1x denne z cca 10 webov, vacsinou ma 1 log len okolo 15kb, access nech nezerem tak 300kb a ak to bude drzat rok dozadu data, tak by to mohlo byt OK.

Vsetky tie systemy viem len pasivne, cize pripojim sa na server, stiahnem log, rozbalim, pushnem alebo necham v nejakej zlozke nech si to nejaky agent nacita, ale nemozem davat agenty na servery aby to posielali. S ELK mam ten problem, ze ked to pushnem, tak v podstate to nevie vyparsovat timestamp z riadka a mam casy tych logov v case kedy sa vyparsovali pri pushnuti, nie kedy sa realne stali na serveri..

K tomu Graylogu by si mi vedel viac napisat pls?

[lepermessiah]

Tak rozchodil som ten Graylog, aj ked teda musel som improvizovat kedze Syno 920+ nema AVX takze mongo4+graylog5 nejako idu .. do syslog 514 sa mi nepodarilo pushnut, ani do 5140 ktory v docker compose je, ale do raw tcpip mi to preslo. Mam ale ten isty "problem" ako v elasticu, ze vsetko mi dava timestampy kedy sa to pridalo, nie tie, co su na zaciatku kazdeho riadku.

[Hexaris]

Ak mas linux, tak ak ti graylog bezi napr. lokalne na porte (syslog format) povedzme 1514 tak mozes to tam natlacit cez netcat/nc

Kód: Vybrať všetko

nc localhost 1514 < /cesta/k/mojmulogu.log

Ak to tam budes tlacit priamo tak to musi byt format gelf .. priklad netcat alebo curl:

Kód: Vybrať všetko

echo -n -e '{ "version": "1.1", "host": "example.org", "short_message": "A short message", "level": 5, "_some_info": "foo" }'"\0" | nc -w0 graylog.domena.com 12201

curl -X POST -H 'Content-Type: application/json' -d '{ "version": "1.1", "host": "example.org", "short_message": "A short message", "level": 5, "_some_info": "foo" }' 'http://graylog.domena.com:12201/gelf'

Viac najdes v dokumentacii, ale neviem ako to bude s timestamp, predpokladam, ze vtedy tam bude cas importu, co moze byt neziaduce skrz historiu a hladanim v nej ... toto treba overit

@lepermessiah skus pozriet toto mozno to pojde vyuzit https://community.graylog.org/t/extract ... index/5047