Fazë 01
Ndërto gjurmën dhe kontekstin e kërkesës
OpenQCore · Realtime Runtime
Gjenerata I · Bërthama e Ekzekutimit me vonesë të ulët
Realtime Runtime.
Ekzekutim AI me vonesë të ulët.
Realtime Runtime është shtylla ekzekutuese e OpenQCore për sistemet e bisedave në prodhim, duke kombinuar verifikim, kontrollin e prapritjes, dedublikimin, bllokime të shpërndara dhe orkestrim të qëndrueshëm të përgjigjeve.
Strategjia e Ngarkesës
I vetëdijshëm për prapritjen
Režimet e Ekzekutimit
Streaming + Jo-Streaming
Kontrollet e Sigurisë
Bllokim + Circuit Breaker + Dedublikim
Persistenca e Mesazheve
Ruajtje e qëndrueshme Përdorues + Asistent
Cikli i Jetës së Kërkesës
Ekzekutim deterministik nga hyrja deri te pastrimi.
Çdo kërkesë ndjek një cikël të mbrojtur: verifikim, mbrojtje ndaj mbingarkesës, kontrolle për dedublikim, marrje bllokimi, ekzekutim në runtime, persistencë dhe pastrim deterministik.
Fazë 02
Ndjek kërkesën në pritje + vlerëso ngarkesën e sistemit
Fazë 03
Verifiko ngarkesën (payload), bashkëngjitjet dhe aksesin e sesionit
Fazë 04
Ruaj mesazhin më të fundit të përdoruesit (nëse sesioni ekziston)
Fazë 05
Kontroll i dedublikimit për kërkesat jo-stream
Fazë 06
Merr një bllokim të shpërndarë dhe ekzekuto runtime-in
Fazë 07
Ruaj mesazhin e asistentit dhe ruaj përgjigjen në cache
Fazë 08
Lësho bllokimin dhe hiq nga gjurmimi kërkesat e papërfunduara në bllokun finally
Shtylla e Kontrollit të Runtime
Primitiva për reziliencë që mbajnë ekzekutimin të qëndrueshëm.
Integrimi i Circuit Breaker
Ekzekutimi i runtime-it është i ndërgjegjshëm për circuit breaker për të izoluar dështimet në rrjedhën poshtë dhe për të mbrojtur disponueshmërinë e përgjithshme të sistemit.
Bllokim i shpërndarë
Një çelës bllokimi i kufizuar parandalon përpunimin e dyfishtë në fluks për të njëjtën identitet të kërkesës.
Menaxhimi i Backpressure
Kërkesat në pritje ndiqen në mënyrë të vazhdueshme dhe gjendjet kritike të ngarkesës shkaktojnë refuzim të kontrolluar 503.
Rrugët e Ekzekutimit
Rrugë përgjigjeje të ndryshme për synime të ndryshme të latencës.
Rruga Streaming
- •Optimizuar për dorëzim të menjëhershëm të tokeneve
- •Kthen StreamingResponse drejtpërdrejt
- •Anashkalon rrugën e kthimit nga cache e dedublikimit
- •Është ende i mbrojtur nga validimi + bllokimi + pastrimi
Rruga jo-streaming
- •Kontrollon cache-in e dedublikimit para ekzekutimit
- •Ekzekuton runtime-in dhe nxjerr përmbajtjen/payload-in përfundimtar
- •Ruaj rezultatin e asistentit për vazhdimësinë e sesionit
- •Ruaj output-in e modelit në cache e dedublikimit kur është e mundur
Vëzhgueshmëria & Siguria
Operacionet e gjurmueshme me sjellje të runtime-it që mund të maten.
- •Regjistrim i strukturuar i ngjarjeve (fillimi, përfundimi, pastrimi, gabimet)
- •Përhapja e Trace ID + Request ID për çdo ekzekutim
- •Numërues metrikash për kërkesat, refuzimet dhe klasat e gabimeve
- •Hartëzim i HTTPException me trajtim të kontrolluar të statusit
- •Finalizim i garantuar për lirimin e bllokimit dhe pastrimin në pritje
Ekzekutoni ngarkesa prodhuese AI me besim në kohë reale.
Përdorni një arkitekturë runtime të ndërtuar për latencë të ulët, pastrim deterministik, rrjedhë kontrolli rezistente dhe besueshmëri operative.