vycerpany limit na github

Sekcia o programovaní, programovacích jazykoch...
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 7007
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

vycerpany limit na github

Príspevok od používateľa molnart »

Mam taky problem - v ramci homelabu mi bezi takmer 100 docker containerov, ktore sa pravidelne aktualizuju.

na githube mam vytvorene access tokeny, ktore su zadane v config.json dockeru, aj v nastaveniach portaineru.

github ma limit na pocet requestov https://api.github.com/rate_limit pre neautentikovaneho usera to je 60 za hodinu, pre autentikovaneho 5000.

no a moj problem je, ze tych 60 requestov mam vycerpanych do 15 minut ako "nabehnu" a z tych 5000 mi tam ubudne ked sa random pozrem tak 10-15.

takze nieco neutentikovane mi zerie tie requesty. v praxy to znamena, ze ked si chcem pustit nejaky script ktory taha veci z githubu tak to zlyha, lebo request neprejde. tieto neviem ako by som vedel autentikovat, nechce sa mi ich po jednom upravovat, resp. v mnohych pripadoch to upravit ani neviem, lebo tie requesty robia aplikacie.

ako zistim odkial tie requesty idu? v opnsense unbound dns logoch som toho vela nenasiel.
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
LordKJ
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 7966
Dátum registrácie: Po 28. Feb, 2011, 11:49
Bydlisko: Bratislava

Re: vycerpany limit na github

Príspevok od používateľa LordKJ »

mas v opnsense zapnute log-queries? defaultne je to off
main: 9950X + Noctua NH-D15 G2, ASUS STRIX B650E-F, Kingston 64gb DDR5 6000 CL30, 7900 GRE Nitro+, 990 Pro 4TB, ASUS STRIX Aura RGB 1000W, Fractal North XL + 4x Noctua A14x25 G2
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 7007
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: vycerpany limit na github

Príspevok od používateľa molnart »

tak po restarte jedneho zo serverov mi z limitov prestalo ubudat, tak z autentifikovaneho tak z neautentifikovaneho....
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
kekso
Nový používateľ
Nový používateľ
Príspevky: 10
Dátum registrácie: St 02. Feb, 2022, 22:21

Re: vycerpany limit na github

Príspevok od používateľa kekso »

skús nejaké nástroje na monitorovanie:

tcpdump: Môžeš ho použiť na priamo sledovanie komunikácie na OPNsense.

Kód: Vybrať všetko

tcpdump -i <rozhranie> host api.github.com
Wireshark alebo Tshark: Poskytujú grafické a detailnejšie rozhranie na analýzu.
OPNsense Insight: Ak máte aktivovaný plugin na analýzu sieťovej prevádzky, môžete monitorovať spojenia.

Filtruj podľa hostiteľa: Všetky požiadavky na api.github.com by mali ísť na IP adresy patriace GitHubu. Získaš ich napríklad:

Kód: Vybrať všetko

nslookup api.github.com
Skús logy na strane GitHub API

Ak máte kontrolu nad aplikáciami, ktoré robia autentifikované požiadavky:
  • Skontrolujte tokeny a overte, ktoré aplikácie ich používajú.
  • GitHub API logy môžete sledovať s X-RateLimit-* hlavičkami, ak ich vidíte v odpovediach. Zvážte zapnutie detailnejšieho logovania požiadaviek vo svojich aplikáciách.[/list

Návrat na "Programovanie"