Licznik Tokenów AI — GPT, Claude i Gemini
≈ szacunek · zgodne z GPT-4 / Claude / Gemini
Czym jest Licznik Tokenów AI — GPT, Claude i Gemini
Licznik tokenów szacuje, ile tokenów zużywa dany tekst przetwarzany przez duże modele językowe (LLM) takie jak GPT-4, Claude lub Gemini. Tokeny to podstawowa jednostka, którą modele AI odczytują tekst — w przybliżeniu 1 token na 4 znaki, czyli około 0,75 tokena na słowo w języku angielskim. Znajomość liczby tokenów jest niezbędna przy pisaniu promptów, budowaniu potoków RAG lub utrzymywaniu się w limitach okna kontekstowego.
Jak używać
- Wklej lub wpisz dowolny tekst w pole wejściowe — prompty, dokumenty, kod lub historię rozmów.
- Odczytaj liczbę tokenów natychmiast z niebieskiej karty na górze.
- Sprawdź paski użycia kontekstu, aby zobaczyć, jaki procent okien kontekstowych GPT-4 (128k) i Claude (200k) wypełnia Twój tekst.
- Użyj liczby znaków i słów jako dodatkowego odniesienia.
Kiedy używać
Budujesz chatbota RAG i martwisz się, czy pobrany fragment plus Twój prompt systemowy zmieści się w oknie kontekstowym 128k GPT-4? Wklej połączony tekst i zobaczysz, że używa 4200 tokenów (3,3% limitu) — wiesz, że jest dużo miejsca na odpowiedź modelu przed wywołaniem API.
Często zadawane pytania
Jak dokładny jest ten licznik tokenów?
Narzędzie używa heurystyki zgodnej z BPE (około 4 znaki na token dla języka angielskiego) i jest dokładne w granicach ±10% dla typowego tekstu angielskiego. Do dokładnych obliczeń użyj oficjalnej biblioteki tiktoken od OpenAI.
Czym jest token w modelach AI?
Token to fragment tekstu, który model AI przetwarza jako jednostkę. Może to być całe słowo, część słowa lub pojedynczy znak. Większość LLM rozlicza użycie API według zużytych tokenów.
Czym jest okno kontekstowe?
Okno kontekstowe to maksymalna liczba tokenów, które model może przetworzyć w jednym żądaniu — wliczając prompt, historię rozmów, pobrane dokumenty i odpowiedź modelu. GPT-4 Turbo obsługuje 128k tokenów; Claude 3 obsługuje do 200k.
Dlaczego różne modele mają różne liczby tokenów dla tego samego tekstu?
Każdy model używa własnego tokenizera. OpenAI używa tiktoken; Claude używa wewnętrznego tokenizera Anthropic; Gemini używa SentencePiece. Różnice są zwykle małe (5–15%) dla tekstu angielskiego.
Czy mój tekst jest wysyłany na serwer?
Nie. Całe liczenie odbywa się w przeglądarce za pomocą JavaScript. Twój tekst nigdy nie opuszcza urządzenia.
Czy mogę udostępnić narzędzie z wypełnionymi danymi?
Tak. URL aktualizuje się automatycznie podczas wpisywania. Skopiuj link z paska adresu lub użyj przycisku Udostępnij — każdy, kto go otworzy, zobaczy Twoje dane.
Powiązane narzędzia
Dzielnik Tekstu AI — Fragmentacja dla RAG i Embeddings
Dziel tekst na fragmenty dla potoków RAG i embeddings LLM. Ustaw rozmiar fragmentu w tokenach lub znakach z opcjonalnym nakładaniem. Bezpłatny dzielnik tekstu AI online.
Koder i Dekoder Szyfru Atbash
Koduj i dekoduj szyfr Atbash online. Atbash odbija alfabet i jest własną odwrotnością, więc jedno kliknięcie szyfruje i odszyfrowuje. Za darmo i prywatnie.
Usuwanie Tła ze Zdjęcia
Usuń tło z dowolnego zdjęcia online i pobierz przezroczyste PNG. Działa w przeglądarce dzięki AI — Twoje zdjęcie nigdy nie jest przesyłane. Bezpłatnie.