AutiHD reconstruiește componentele AI ale Mindory cu Amazon Bedrock AgentCore

Arhitectura AI încetinea dezvoltarea Mindory

AutiHD este compania din Luxemburg care dezvoltă Mindory, o aplicație de planificare și un asistent AI concepute pentru nevoile persoanelor cu ADHD și autism. Compania lansase deja prima versiune AI pe AWS, folosind Amazon Bedrock și mai multe modele Anthropic.

Sistemul inițial selecta modelele, crea sarcini, gestiona conversații despre stres și se integra cu aplicația mobilă Mindory. Pe măsură ce produsul creștea, AI-ul trebuia să păstreze informații despre utilizatori între sesiuni, să execute corect acțiuni structurate și să respecte reguli de comportament mai detaliate.

La fiecare interacțiune, sistemul reconstruia un prompt static de aproximativ 9.000 de tokenuri. Aplicația îl trimitea împreună cu ultimele 20 de mesaje, informațiile utilizatorului, datele despre sarcini și cerințele de formatare. Răspunsul JSON depindea de instrucțiunile din prompt și putea fi trunchiat la epuizarea limitei de tokenuri, împiedicând crearea sarcinilor.

Contextul important din conversațiile mai vechi se pierdea la resetarea zilnică. Transcrierea vocală funcționa doar în engleză și procesa înregistrarea după încheiere, cu verificări repetate care expirau după aproximativ 30 de secunde. Fiecare comportament nou făcea promptul, deja mare, mai greu de întreținut.

AutiHD avea o echipă de dezvoltare competentă. Avea nevoie de experiență specializată în serviciile AI de la AWS și în arhitectura aplicațiilor folosite efectiv de utilizatori, pentru următoarea etapă de creștere și o nouă rundă de finanțare.

AWS a recomandat CloudHero echipei AutiHD

AutiHD a contactat AWS cu întrebări despre arhitectură, performanță și costurile extinderii aplicației AI. AWS a recomandat CloudHero pe baza experienței cu implementări similare și a competențelor AWS demonstrate.

Analiza tehnică a arătat că prima decizie era ce arhitectură urma să extindă AutiHD. O prognoză de cost pentru implementarea existentă ar fi avut o utilitate limitată dacă echipa trebuia să îi înlocuiască elementele de bază.

AutiHD își dorea interacțiuni mai rapide, mai inteligente și mai personalizate, susținute de un serviciu AI separat, integrat cu produsul existent. Colaborarea s-a transformat într-un proiect de dezvoltare și implementare a acestui serviciu.

De la un singur prompt complex la o aplicație AI pe Amazon Bedrock AgentCore

CloudHero a proiectat noua componentă AI ca aplicație separată, folosind Amazon Bedrock și Amazon Bedrock AgentCore. Interacțiunile sunt clasificate după intenție și context, apoi direcționate către componentele potrivite.

Componente distincte gestionează conversațiile de suport, sarcinile și situațiile cu risc mai mare. Calculele previzibile rămân în cod cu reguli deterministe, iar modelele se ocupă de raționament și de conversația în limbaj natural.

Memorie persistentă pentru fiecare utilizator

Amazon Bedrock AgentCore Memory păstrează preferințe relevante, rutine, surse persistente de stres, preferințe de comunicare și tehnici care au ajutat anterior utilizatorul. Contextul rămâne disponibil între conversații, fără retrimiterea unui istoric lung de mesaje.

Regulile de extragere permit salvarea unor informații scurte doar din mesajele utilizatorului. Sunt excluse răspunsurile asistentului și diagnosticele pe care utilizatorul nu le-a menționat. Memoria este asociată fiecărui utilizator și poate fi consultată, actualizată sau ștearsă, oferind AutiHD baza pentru funcții prin care utilizatorii să o controleze.

Recomandările experților, transformate în reguli structurate

AutiHD a furnizat un cadru comportamental elaborat de experți, care a depășit 100 de pagini. Acesta descria situații, succesiuni de răspunsuri, ramificații, personalizare și restricții explicite.

CloudHero a transformat acest cadru în reguli pe care aplicația le poate interpreta. La predarea proiectului, sistemul includea 26 de situații definite. O verificare obligatorie de siguranță rulează prima și are prioritate față de celelalte reguli de direcționare. Un clasificator bazat pe Claude Haiku 4.5 selectează apoi situația relevantă.

Componenta selectată primește aproximativ 2.600 de tokenuri de instrucțiuni relevante. Conversațiile de suport și situațiile de criză folosesc Claude Sonnet 4.5; propunerile și interogările despre sarcini folosesc Haiku 4.5. Experții pot actualiza regulile pe măsură ce recomandările evoluează.

Calculul determinist al stresului și controlul acțiunilor

Mindory folosește semnale precum chestionare, variabilitatea ritmului cardiac, somnul, pulsul în repaus, încărcarea cu sarcini și informații despre mediu. Calculul stresului în fundal urmează reguli deterministe. AI-ul intervine când sunt necesare interpretarea, personalizarea sau raționamentul în limbaj natural.

Arhitectura separă și raționamentul agenților de dreptul de a modifica datele aplicației. Agenții caută informații și propun acțiuni prin instrumente și API-uri definite. Aplicația decide dacă modificările sarcinilor sau ale altor date ale utilizatorului sunt salvate.

Astfel, AutiHD poate extinde funcțiile agenților păstrând controlul asupra datelor și stării aplicației.

Urmărirea fiecărei interacțiuni AI

CloudHero a implementat colectarea jurnalelor și a datelor de telemetrie prin OpenTelemetry, Amazon CloudWatch și AWS X-Ray. Identificatorii de utilizator, sesiune și cerere permit echipei tehnice să urmărească o interacțiune prin clasificare, componentele executate, timpii de procesare și erori.

Consumul de tokenuri este înregistrat pentru fiecare model și componentă, separat pentru intrare și ieșire. Echipa poate calcula costul modelelor pentru o interacțiune și poate investiga răspunsurile neașteptate urmărind modul în care au fost procesate.

Noua implementare folosește și Amazon Transcribe în flux continuu pentru conversațiile vocale, înlocuind procesarea inițială a înregistrărilor după încheiere.

Noua componentă AI, implementată în 35 de zile lucrătoare

Un inginer principal și un arhitect de soluții au proiectat și implementat noua aplicație AI în 35 de zile lucrătoare de dezvoltare. Îmbunătățirile au fost conectate continuu la produsul Mindory aflat în utilizare, astfel încât testele clientului și observațiile experților au putut influența arhitectura pe parcurs.

CloudHero a folosit propriul cadru de dezvoltare software asistată de agenți pentru implementare, testare, verificarea codului, depanare și îmbunătățiri succesive. Inginerii seniori au rămas responsabili pentru arhitectură, deciziile tehnice, comportamentul aplicației și acceptarea de către client.

Înainte de lansare, o suită automată de 42 de scenarii a verificat respectarea fiecărei restricții clinice obligatorii incluse în proiect. Testele au evaluat comportamentul cerut al sistemului în raport cu acele restricții.

O arhitectură pe care dezvoltatorii AutiHD o pot extinde

La predarea proiectului, echipa a primit documentație tehnică și un ghid pentru dezvoltatori despre procesarea cererilor, agenți, instrumente, memorie, logica stresului, instalare, jurnale și posibilități de extindere.

Echipa AutiHD discuta deja funcții noi pentru sarcini, conversații de dimineață și seară, surse suplimentare de memorie și situații comportamentale noi. Arhitectura oferea dezvoltatorilor locuri bine definite în care să adauge aceste funcții.

„Structura de bază a chatului este fantastică.”

Joel Schmit, fondator și CEO, AutiHD (citat tradus din engleză)

AutiHD și CloudHero continuă discuțiile despre posibile extinderi ale produsului și arhitecturii.

Serviciile AWS din arhitectura AI a Mindory

• Amazon Bedrock
• Amazon Bedrock AgentCore Runtime
• Amazon Bedrock AgentCore Memory
• Amazon Bedrock Guardrails
• Amazon Titan Text Embeddings V2
• Amazon CloudWatch și AWS X-Ray
• Amazon Transcribe în flux continuu
• Amazon Simple Storage Service (Amazon S3)
• Amazon Relational Database Service (Amazon RDS)

AutiHD avea deja un produs AI folosit de clienți și o echipă internă de dezvoltare. CloudHero a adus experiența de arhitectură necesară pentru transformarea implementării într-un serviciu dedicat, pe care inginerii AutiHD să îl poată dezvolta în continuare.