Ugrás a tartalomhoz
Visiticsby esentra
HU

Ingyenes a Novában és minden csomagban

AI Observability: mennyibe kerül az MI, és hogyan fut

Alkalmazása az OpenAI, az Anthropic, a Google vagy a Mistral modelljeit, esetleg saját modelljét hívja. A Visitics megmutatja, mennyibe kerül egy-egy hívás, milyen gyors, és milyen gyakran hibázik, modell, funkció és promptverzió szerint. Csak számokat és neveket őriz meg: promptokat és válaszokat soha nem tárol.

Mire jó

Miben segít Önnek

  1. 01

    Költségek, amelyeket meg tud magyarázni

    A szolgáltató számláján szereplő egyetlen összeg helyett modell, funkció, promptverzió és felhasználó szerint látja a költséget, havi kerettel és a hónapra szóló előrejelzéssel.

  2. 02

    Sebesség és hibák egy helyen

    Az egyes modellek p50 és p95 válaszideje, az első tokenig eltelt idő és a hibák, minden kérés pedig a lépéseit mutató vízesésdiagramként.

  3. 03

    Számok, soha nem tartalom

    A promptokat és a válaszokat elvetjük, mielőtt bármi rögzülne, és ezt semmilyen beállítás nem kapcsolja ki. A Visitics nem őrzi meg felhasználói beszélgetéseit.

Hogyan működik

Valódi képernyők az irányítópultból

I.

Az MI áttekintése

Hat szám az előző időszakhoz mért változással, hogy mire érdemes először ránézni, és az egyes napok költsége modellenként. Az egész oldal szűrhető környezet, szolgáltató, modell vagy funkció szerint.

  1. 1Hívások, költség, tokenek, válaszidő, első token és hibák
  2. 2Mire érdemes ránézni, a mögötte álló számmal
  3. 3A költség modellenként, napról napra
  4. 4A hónap eddig, az előrejelzése és a kerete
Az MI áttekintése
II.

Egy kérés, lépésről lépésre

Alkalmazása minden kérése egy trace. A vízesésdiagramja időben mutatja az ügynököt, az eszközöket, az adatlekérést és a modellhívásokat, hívásonként a tokenekkel, a költséggel, az első tokennel és a hibakóddal. Promptok és válaszok nincsenek benne, mert soha nem tároltuk őket.

  1. 1A trace összesítései és értékelése
  2. 2A lépések időben
Egy kérés, lépésről lépésre
III.

Modellek egymás mellett

Az 1000 hívásra jutó ár, a p50 és a p95, az első token, a másodpercenkénti tokenek, a gyorsítótár használata és a hibák, mind a saját forgalmából. Alatta az, hogy mennyibe kerülnének ugyanezek a tokenek egy másik modellel az árlistáról.

  1. 1Modelljei összehasonlítva
  2. 2Ugyanezek a tokenek másik modellel
Modellek egymás mellett
IV.

Egy prompt verziói

Adja meg a prompt nevét és verzióját a modell hívásakor, és minden verzió külön sort kap: egy hívás költsége, a tokenek, a p95, a hibák és az, hogyan értékelték az emberek a válaszokat. A funkciók, a felhasználók és a beszélgetések ugyanazon a lapon vannak.

  1. 1Promptverziók egymás mellett
  2. 2Alkalmazása funkciói
  3. 3Felhasználók és beszélgetések, csak ujjlenyomatként
Egy prompt verziói
V.

Három lépésben csatlakoztatva

Hozzon létre egy csak írható kulcsot, irányítsa alkalmazását a Visitics felé, és indítson néhány hívást: másodpercek alatt megjelennek. A kérései útjában nem áll semmi, a beállítás pedig kikapcsolva hagyja a promptok rögzítését.

  1. 1Csak írható kulcsok minden környezethez
  2. 2A címek az OpenTelemetryhez és a JSON API-hoz
  3. 3Kész kód környezeti változókhoz, Pythonhoz, Node.js-hez és curlhöz
Három lépésben csatlakoztatva

Képernyőképek a Visitics irányítópultjáról, bemutató adatokkal.

Részletesen

Így működik a motorháztető alatt

OpenTelemetry új SDK helyett

A Visitics OTLP/HTTP-n át fogadja az OpenTelemetry GenAI-konvencióit, protobufban vagy JSON-ban, gzip-tömörítéssel is. Egy már instrumentált alkalmazásnak csak a címre és egy kulcsra van szüksége, minden mást pedig, amit exportál, például a HTTP-kéréseket vagy az adatbázis-lekérdezéseket, figyelmen kívül hagyunk.

JSON API az egyszerű esetekre

Egyetlen POST-kérés legfeljebb 500 hívással: a modell, a tokenek, az idők és az Ön által választott nevek. Az OpenAI, az Anthropic és a Gemini usage objektumait úgy olvassuk, ahogy érkeznek, egy második végpont pedig a válaszok értékeléseit fogadja, például a felfelé vagy lefelé mutató hüvelykujjat.

A kérései útján kívül

A Visitics nem proxy, és egyetlen hívásra sem tesz várakozást. Az OpenTelemetry kötegekben, a háttérben küld, a Visitics azonnal válaszol, és csak utána ír, a kétszer elküldött köteg pedig egyszer számít.

Költségek tokentípus szerint

A bemenetnek, a gyorsítótár olvasásának és írásának, valamint a kimenetnek külön ára van. A költség az OpenAI, az Anthropic, a Google és a Mistral dátummal ellátott árlistájából, az Ön saját áraiból vagy az alkalmazásából származik. Az ár nélküli modell ismeretlenként jelenik meg, nem nullaként.

Számokkal alátámasztott észrevételek

Az áttekintés megmondja, mire érdemes ránézni, és megadja a mögötte álló számot: a keretet túllépő hónap, a több vagy drágább hívás miatt növekvő költség, több hiba, lassú modell, lassú első token, spórolást hozó promptgyorsítótár, drágább promptverzió.

Az MI a céljai mellett

Ha szervere egy hívással elküldi a látogató IP-címét és böngészőjét, a Visitics ugyanazt a napi ujjlenyomatot képezi belőlük, mint egy látogatásnál, és egyiket sem tárolja. Így láthatja, hogy az MI-t használó látogatók gyakrabban érik-e el a céljait, mint a többiek: ez összefüggés, nem bizonyíték. Enélkül és a mérőszkript nélkül minden más ugyanúgy működik.

Mindent, amit tud

Minden, amit az AI Observability funkció tartalmaz

  • Hívások, tokenek, költség amerikai dollárban, válaszidő, első token és hibák, az előző időszakhoz mért változással
  • 24 órás, 7, 30 és 90 napos időszakok, szűrők környezet, szolgáltató, modell és funkció szerint
  • Észrevételek: növekvő költségek, több hiba, lassú modell, spórolást hozó promptgyorsítótár, drágább promptverzió
  • Trace-ek vízesésdiagramon ügynökökkel, modellhívásokkal, eszközökkel és adatlekéréssel, a sikertelenek, a leglassabbak és a legdrágábbak listájával
  • Modellek összehasonlítása: költség 1000 hívásonként, p50, p95, első token, tokenek másodpercenként, gyorsítótár-használat és hibák
  • Mennyibe kerülnének ugyanezek a tokenek egy másik modellel az árlistáról
  • Promptverziók egymás mellett, az alkalmazása által küldött válaszértékelésekkel
  • Költség funkció, tokentípus és nap szerint, felhasználónként és beszélgetésenként
  • Havi keret a hónapra szóló előrejelzéssel, e-mailek 80 % és 100 % elérésekor
  • Csak írható kulcsok minden környezethez, bármikor visszavonhatók

Adatvédelem

Mit tárolunk — és mit nem

Tároljuk

  • Minden hívás számai: tokenek, idők, költség és az, hogy sikertelen volt-e
  • Az alkalmazása által küldött nevek: modell, funkció, a prompt neve és verziója, környezet
  • Felhasználó- és beszélgetésazonosítók ujjlenyomatai, soha nem maguk az azonosítók

Soha nem tároljuk

  • Promptok, válaszok, utasítások, sem az eszközök argumentumai és eredményei
  • A hibaüzenetek szövege: a hiba csak rövid kódként marad meg
  • A látogató IP-címe vagy böngészője, amelyek csak a napi ujjlenyomathoz kellenek, ha elküldi őket

Hogyan mér a Visitics sütik nélkül

Csomagok

Az AI Observability a csomagokban

Az értékek közvetlenül az árlistából származnak. Minden új szervezet 14 napig ingyen kipróbálhatja az Aura csomagot, bankkártya nélkül.

Az AI Observability a csomagokban
Novaidőkorlát nélkül ingyenes Pulsehavi 9 € Aurahavi 29 € Lunahavi 79 €
MI-hívások havonta részletekkel 10 000 100 000 1 000 000 5 000 000
A hívásrészletek megőrzése 30 nap 30 nap 30 nap 30 nap
E-mail a keret 80 és 100 %-ánál Nincs ebben a csomagban Benne van Benne van Benne van
Kezdés ingyen Pulse választása Aura választása Luna választása

Árak megtekintése

Kérdések

Kérdések: AI Observability

Ez ugyanaz, mint az MI- és LLM-analitika?

Nem. Az AI Observability, más néven LLM-megfigyelhetőség, azt az MI-t méri, amelyet saját alkalmazása hív: mennyibe kerül, milyen gyors, és milyen gyakran hibázik. Az MI- és LLM-analitika mást mér: a látogatásokat, amelyeket az olyan asszisztensek, mint a ChatGPT, a webhelyére küldenek, és az azt olvasó MI-robotokat.

Megőrzi a Visitics a promptjaimat és a válaszokat?

Nem. A promptokat, a válaszokat, az utasításokat és az eszközök adatait már a kérés olvasásakor elvetjük, a JSON API-nak nincs mezője számukra, a beállítás pedig azt kéri az SDK-tól, hogy el se küldje őket. Ezen semmilyen csomag vagy beállítás nem változtat.

A Visitics az alkalmazásom és a modell közé kerül?

Nem, ez nem proxy. Alkalmazása ugyanúgy hívja a modellt, mint eddig, a telemetriát pedig külön, kötegekben, a háttérben jelenti. Ha a Visitics nem érhető el, a hívásai zavartalanul futnak tovább, legfeljebb a telemetriájuk hiányzik.

Mely modellek és SDK-k működnek?

Bármely modell, amelyet alkalmazása jelent. A Visitics az OpenTelemetry GenAI-konvencióit olvassa, így az olyan instrumentációk, mint az OpenLLMetry és a Vercel AI SDK, közvetlenül küldhetnek neki, a beállításban pedig kész kód van környezeti változókhoz, Pythonhoz, Node.js-hez és a JSON API-hoz. Az árlista az OpenAI, az Anthropic, a Google és a Mistral modelljeit tartalmazza; bármely más modellhez, például a saját szerverén futóhoz, saját árat adhat meg.

Mennyire pontosak a költségek?

Becslések az egyes típusú tokenekből és a szolgáltatók listaáraiból. Minden árnak megvan a dátuma, így egy későbbi változás nem írja át a múltbeli napokat. Egyedi ár esetén adja meg a sajátját, vagy küldesse el alkalmazásával a költséget a hívással együtt. A végső szó a szolgáltató számlájáé.

Mi történik, ha elérem a csomagom korlátját?

Semmi sem áll le. A korlát feletti hívásokat továbbra is összesítjük, így a költségek, a tokenek és a számok teljesek maradnak; csak a részleteiket, például a vízesésdiagramot, nem őrizzük meg a hónap hátralévő részében.

Meddig őrizzük meg az adatokat?

Az egyes hívások részletei 30 napig maradnak meg. A napi összesítések a csomag előzményeit követik, az oldal pedig legfeljebb az utolsó 90 napot mutatja. Minden az EU-ban marad, és a webhely törlésével együtt eltűnik.

Próbálja ki: AI Observability

Egy kulcs és néhány sor beállítás, és másodperceken belül megjelennek az első hívások. Aura 14 napig ingyen, utána időkorlát nélkül Nova — bankkártya nélkül.