Mam taky problem - v ramci homelabu mi bezi takmer 100 docker containerov, ktore sa pravidelne aktualizuju.
na githube mam vytvorene access tokeny, ktore su zadane v config.json dockeru, aj v nastaveniach portaineru.
github ma limit na pocet requestov https://api.github.com/rate_limit pre neautentikovaneho usera to je 60 za hodinu, pre autentikovaneho 5000.
no a moj problem je, ze tych 60 requestov mam vycerpanych do 15 minut ako "nabehnu" a z tych 5000 mi tam ubudne ked sa random pozrem tak 10-15.
takze nieco neutentikovane mi zerie tie requesty. v praxy to znamena, ze ked si chcem pustit nejaky script ktory taha veci z githubu tak to zlyha, lebo request neprejde. tieto neviem ako by som vedel autentikovat, nechce sa mi ich po jednom upravovat, resp. v mnohych pripadoch to upravit ani neviem, lebo tie requesty robia aplikacie.
ako zistim odkial tie requesty idu? v opnsense unbound dns logoch som toho vela nenasiel.
vycerpany limit na github
- molnart
- Pokročilý používateľ
- Príspevky: 7007
- Dátum registrácie: Ut 19. Jún, 2012, 23:03
- Bydlisko: Bratislava/Samorin
vycerpany limit na github
Spoiler: ukázať
-
- Sponzor fóra gold
- Príspevky: 7966
- Dátum registrácie: Po 28. Feb, 2011, 11:49
- Bydlisko: Bratislava
Re: vycerpany limit na github
mas v opnsense zapnute log-queries? defaultne je to off
main: 9950X + Noctua NH-D15 G2, ASUS STRIX B650E-F, Kingston 64gb DDR5 6000 CL30, 7900 GRE Nitro+, 990 Pro 4TB, ASUS STRIX Aura RGB 1000W, Fractal North XL + 4x Noctua A14x25 G2
- molnart
- Pokročilý používateľ
- Príspevky: 7007
- Dátum registrácie: Ut 19. Jún, 2012, 23:03
- Bydlisko: Bratislava/Samorin
Re: vycerpany limit na github
tak po restarte jedneho zo serverov mi z limitov prestalo ubudat, tak z autentifikovaneho tak z neautentifikovaneho....
Spoiler: ukázať
Re: vycerpany limit na github
skús nejaké nástroje na monitorovanie:
tcpdump: Môžeš ho použiť na priamo sledovanie komunikácie na OPNsense.
Wireshark alebo Tshark: Poskytujú grafické a detailnejšie rozhranie na analýzu.
OPNsense Insight: Ak máte aktivovaný plugin na analýzu sieťovej prevádzky, môžete monitorovať spojenia.
Filtruj podľa hostiteľa: Všetky požiadavky na api.github.com by mali ísť na IP adresy patriace GitHubu. Získaš ich napríklad:
Skús logy na strane GitHub API
Ak máte kontrolu nad aplikáciami, ktoré robia autentifikované požiadavky:
tcpdump: Môžeš ho použiť na priamo sledovanie komunikácie na OPNsense.
Kód: Vybrať všetko
tcpdump -i <rozhranie> host api.github.com
OPNsense Insight: Ak máte aktivovaný plugin na analýzu sieťovej prevádzky, môžete monitorovať spojenia.
Filtruj podľa hostiteľa: Všetky požiadavky na api.github.com by mali ísť na IP adresy patriace GitHubu. Získaš ich napríklad:
Kód: Vybrať všetko
nslookup api.github.com
Ak máte kontrolu nad aplikáciami, ktoré robia autentifikované požiadavky:
- Skontrolujte tokeny a overte, ktoré aplikácie ich používajú.
- GitHub API logy môžete sledovať s X-RateLimit-* hlavičkami, ak ich vidíte v odpovediach. Zvážte zapnutie detailnejšieho logovania požiadaviek vo svojich aplikáciách.[/list