Bemutatkozik az Evalite: A TypeScript-alapú tesztelőeszköz AI-vezérelt alkalmazásokhoz
Matt Pocock legújabb fejlesztése, az Evalite, egy TypeScript natív eval futtató, amely kifejezetten AI-alapú alkalmazások tesztelésére készült. A fejlesztők számára lehetővé teszi az ismételhető értékelések írását, a folyamatok nyomon követését,...
Az Evalite az értékeléseket tesztsorozatként kezeli, de jóval összetettebb kimenetekkel. Egyszerű siker vagy sikertelenség helyett .eval.ts fájlokat futtat, ahol minden adatpont egy pontozott eset lesz. Első osztályú pontozók és követési funkciók állnak rendelkezésre, így a csapatok mélyebben is megvizsgálhatják a modell kimeneteit, lépésenként követhetik a hívásokat, és programozottan értékelhetik a viselkedést. Egy helyi fejlesztői szervert indít élő újratöltéssel és interaktív felülettel a nyomok böngészéséhez, miközben a Vitestre építve megmaradnak a jól ismert tesztelési megoldások, például a mockok és az életciklus hookok.
A v1 béta elsősorban a fejlesztői élmény és az iteráció sebességének javítására fókuszál. A gyors kezdési útmutató megmutatja, hogyan telepíthető az Evalite, hogyan adható hozzá egy eval:dev npm szkript, és miként írható egy egyszerű eval, amely például az autoevals pontozót használja. Az Evalite programozottan is képes futni, több futtatási módot kínál – mint a watch vagy a run-once –, és képes az eredményeket testreszabott tárolókba menteni, így a csapatok hosszú távon is nyomon követhetik az értékelési trendeket.
A motorháztető alatt olyan funkciókat találunk, amelyek a termelési környezetek igényeire szabottak. A beépített pontozók és az egyedi pontozók támogatása lehetővé teszi a csapatoknak, hogy domain-specifikus sikerességi mérőszámokat kódoljanak. Az Evalite nyomkövető rendszere rögzíti a bemeneteket, az LLM hívásokat és a köztes állapotokat, így a hibakeresés és a probléma okának feltárása sokkal determinisztikusabbá válik.
Nemrégiben bejelentették, hogy az Evalite képes gyorsítótárazni az AI SDK modelleket, ami pozitív fogadtatásban részesült a felhasználók körében – egy kommentelő például igazi „játékmegváltoztatónak” nevezte ezt a funkciót a sebesség és a gyors iteráció szempontjából.
A közösség reakciója rendkívül lelkes. A projekt GitHub tárháza több mint ezer csillagot gyűjtött össze, és aktív kiadási ütemet tart fenn. Az alkotó v1 béta bejelentése az X-en gyors visszajelzéseket kapott, korai felhasználók dicsérték a kiadást, egyikük pedig elmondta, hogy másnap már éles projektben kezdi használni. Egy másik felhasználó így magyarázta a projekt különlegességét:
Több értékelő futtató is létezik már… Az Evalite mégis más. Csak helyben fut, a saját gépeden, így teljes kontrollod van az adataid felett.
Mivel még fejlesztés alatt áll, természetes, hogy korai problémák felbukkannak, és néhány valóban elő is fordult, például egy deklarációs függőségi gond. Ez azonban már megoldódott, és az alkotó folyamatosan javítja a korai visszajelzések alapján felmerülő hibákat.
Az Evalite nyílt forráskódú, MIT licenc alatt érhető el, és tudatosan kerül mindenféle vendor lock-int, így bármely LLM-mel használható, ráadásul moduláris tároló- és pontozó integrációkat kínál. Ahogy a szervezetek egyre összetettebb, LLM-alapú és ügynöki funkciókat fejlesztenek, az Evalite célja, hogy az értékelések ismételhetők, típusbiztosak és elég gyorsak legyenek a napi fejlesztői munkafolyamat részeként. A korai alkalmazóknak intenzív fejlesztési fázisra kell számítaniuk, de az eszköz már most is vonzó, TypeScript-központú megoldást nyújt az AI-alapú alkalmazások teszteléséhez.
Forrás: https://www.infoq.com
Eredeti cikk olvasása