Tízszeres csúcs? A rendszer elnyeli. Senkinek nem kell hozzányúlni.
Egy növekvő nagyvállalat képfelismerő szolgáltatása csúcsidőben megroggyant. Vízszintesen skálázódó API-t építettünk: naponta több millió képet dolgoz fel másodperc alatti válaszidővel, és a tízszeres forgalmi csúcsot is kézi beavatkozás nélkül bírja.
Nálad mi roggyan meg csúcsidőben? Beszélgessünk
Addig jó, amíg kevesen használják
Egy képfelismerő szolgáltatás addig jó, amíg kevesen használják. Amikor tucatnyi alkalmazás kérdezi egyszerre, derül ki, hogy bírja-e.
A nagyvállalatnak központi képfelismerő szolgáltatás kellett, amelyet belső és külső alkalmazások tucatjai használnak egyszerre. A meglévő megoldás terhelés alatt megroggyant:
- csúcsidőben megugrottak a válaszidők,
- a rendszert nem lehetett vízszintesen skálázni,
- egy új felismerési modell bevezetése hetekig tartó fejlesztés volt.
A cél egy mondatban: olyan API, amely naponta több millió kérést lassulás nélkül kiszolgál.
Négy építőelem
Teljesen skálázható képfelismerő API-szervert terveztünk:
- Automatikusan skálázódó infrastruktúra, amely a terheléshez igazodik.
- Optimalizált feldolgozási folyamat, amelyben több felismerési modell fut egyszerre ugyanazon az infrastruktúrán: tárgyfelismerés, osztályozás, szövegfelismerés és arcfelismerés.
- Sorkezelő réteg, amely elnyeli a forgalmi csúcsokat.
- Gyorsítótárazás a hálózat szélén és okos kötegelés, hogy a válaszidő a terheléstől függetlenül másodperc alatt maradjon.
Mit tud most
- Naponta több millió kép, egyenletesen másodperc alatti válaszidővel.
- Vízszintesen, automatikusan skálázódik: a tízszeres forgalmi csúcsot is kézi beavatkozás nélkül bírja.
- Egyetlen API mögött négyféle felismerés.
- Dokumentált REST API: a bekötés órák kérdése, nem heteké.
- 99,99%-os rendelkezésre állás, automatikus átállással és önjavító infrastruktúrával.
- Költséghatékony GPU-használat a kötegelésnek és a modellek közös futtatásának köszönhetően.
Az API egyetlen óra alatt több képet dolgoz fel, mint amennyit egy ember egész életében át tudna nézni.
Amit ebből érdemes megjegyezni
- A skálázás tervezés, nem utólagos javítás. Ha a rendszer nem vízszintesen nő, a csúcs mindig meglepetés lesz.
- Egy API, sok modell. Közös réteg nélkül minden új modell hetekig tartó munka.
- A csúcsot a rendszer nyelje el, ne a felhasználó. Erre való a sorkezelés és a kötegelés.
Mi történik nálad, ha holnap tízszer annyian jönnek?
Ha a válasz az, hogy „akkor valakinek fent kell maradnia éjjel”, beszéljünk. Egy munkanapon belül válaszolunk.