RaptorCI îmbunătățește analiza codului cu AI folosind Amazon Bedrock și CloudHero
Motorul AI al RaptorCI analiza deja pull request-uri reale. CloudHero a construit cadrul de evaluare a calității și a crescut rata de identificare a problemelor de la 42% la 66%, pe același set fix de teste.
Discută despre aplicația ta AI
- 42% → 66%
- Probleme reale identificate în setul de evaluare
- 51% → 60%
- Precizia problemelor raportate
- 95%
- Probleme de securitate și acces identificate
- 60 de scenarii
- Set fix de scenarii de pull request
Un motor AI fără un reper de evaluare validat
Aplicația GitHub a RaptorCI analizează pull request-uri și evaluează riscul introducerii modificărilor în aplicație. Ajută echipele tehnice să decidă ce modificări pot fi lansate și care necesită o verificare suplimentară.
Motorul combină un lanț de patru etape cu prompturi Claude pe Amazon Bedrock și validări deterministe. Fiecare problemă raportată trebuie să se bazeze pe o linie de cod modificată efectiv. Serviciul procesa deja trafic real.
Lipsa unui set de evaluare agreat împiedica echipa să demonstreze dacă o schimbare îmbunătățea identificarea problemelor sau afecta negativ o altă categorie. Afirmațiile despre calitate erau greu de susținut în fața clienților și investitorilor.
Ambele tipuri de eroare aveau un cost comercial. Regresiile reale nedetectate limitează utilitatea analizei codului cu AI. Prea multe alarme false consumă timpul evaluatorilor și reduc încrederea echipelor în instrument.
Măsurăm calitatea analizei codului, apoi o îmbunătățim
CloudHero și RaptorCI au construit un set de referință cu 60 de scenarii de pull request. RaptorCI a marcat problemele reale care trebuiau identificate în fiecare scenariu, stabilind un reper comun pentru patru categorii:
- Regresii de securitate și control al accesului
- Regresii de comportament și logică de business
- Lipsuri în validări și mecanismele de protecție
- Riscuri în codul generat de AI
CloudHero a evaluat motorul existent înainte de a-l modifica. Rata inițială de identificare a problemelor (recall) era de 42%: motorul detecta 42 din 100 de probleme reale. Precizia era de 51%: aproximativ jumătate dintre problemele raportate erau corecte.
Echipa a îmbunătățit atât validările deterministe, cât și etapele care folosesc modele AI. Fiecare schimbare a fost evaluată pe întregul set fix. Astfel, regresiile din alte categorii deveneau vizibile chiar și când echipa lucra la o singură categorie.
Pentru selecția finală, CloudHero a comparat mai multe configurații pe aceleași scenarii. Configurația cu cele mai bune rezultate a fost lansată.
Rezultate măsurate: mai multe probleme identificate și rapoarte mai precise
Motorul final a identificat 66% dintre problemele reale din setul de evaluare, față de 42% inițial. Precizia a crescut de la 51% la 60%. RaptorCI putea demonstra atât identificarea unui număr mai mare de probleme, cât și o proporție mai mare de rezultate corecte.
| Indicator | Înainte | După |
|---|---|---|
| Rata totală de identificare (recall) | 42% | 66% |
| Precizia totală | 51% | 60% |
| Rata de identificare a problemelor de comportament și logică de business | 60% | 82% |
Rata de identificare a problemelor de securitate și acces a ajuns la 95%, depășind obiectivul de 80%. Pentru problemele de comportament și logică de business, rata a crescut de la 60% la 82%, acoperind regresii care nu pot fi identificate doar prin căutarea unor cuvinte-cheie.
Costul modelelor și funcționarea aplicației
Costul modelelor a fost de aproximativ 0,12 USD pentru fiecare pull request și 0,07 USD pentru fiecare problemă reală confirmată. Aceste valori acoperă modelele, nu costul total al infrastructurii.
Separat de evaluare, CloudHero a verificat activitatea aplicației direct în contul AWS: 135.600 de invocări Lambda și 119.000 de cereri API în 90 de zile, cu o rată de eroare raportată de 0,004%.
Procentele de identificare se referă la scenariile marcate din setul de evaluare. Traficul și rata de eroare se referă la intervalul de funcționare verificat, de 90 de zile; nu măsoară acuratețea identificării problemelor în toate pull request-urile reale.
Verificarea metodei de evaluare
CloudHero a verificat și instrumentul de măsurare, printr-un audit care a căutat activ erori. Zece agenți de audit independenți au analizat fiecare scenariu. O verificare independentă ulterioară a încercat să infirme constatările lor.
Auditul a confirmat că setul era bine construit, dar a identificat aproximativ 19 erori reale care nu figurau printre rezultatele așteptate. Un instrument care raporta corect una dintre aceste erori ar fi fost evaluat ca generând o alarmă falsă.
Această constatare contează în interpretarea rezultatelor. Calitatea măsurată depinde de problemele marcate în setul de referință, care poate omite identificări valide. Verificarea metodei ajută echipa să înțeleagă atât limitele scorului, cât și pe cele ale motorului.
Serviciile AWS folosite de motorul RaptorCI
- Amazon Bedrock cu Claude Sonnet și Converse API
- Amazon Bedrock Guardrails
- AWS Lambda cu Node.js 24 pe arm64
- Amazon API Gateway HTTP API
- Amazon DynamoDB cu restaurare la un moment ales
- AWS Systems Manager Parameter Store
- AWS Secrets Manager
CloudHero a oferit echipei RaptorCI o metodă repetabilă de măsurare a schimbărilor, alegere a configurațiilor și explicare a calității analizei AI pe baza rezultatelor.
Aplicații AI pe AWS
Află ce poate face aplicația ta AI.
Lucrează cu CloudHero pentru a stabili repere de evaluare, a îmbunătăți identificarea problemelor și a verifica funcționarea aplicației pe AWS.
Discută cu CloudHero despre evaluarea AI