Tekst-oppdeling for AI
Hva er Tekst-oppdeling for AI
Tekst-oppdeleren splitter lange tekster i biter (chunks) tilpasset RAG-pipelines og embedding-modeller — med valgfri størrelse i tokens eller tegn og justerbart overlapp mellom bitene.
Slik bruker du det
- Lim inn teksten som skal deles.
- Velg bitstørrelse og overlapp.
- Kopier bitene eller last dem ned.
Når du bør bruke det
For utviklere som bygger RAG-systemer og trenger fornuftig chunking før embedding, eksperimenterer med bitstørrelser for bedre gjenfinning, eller forbereder dokumenter for vektordatabaser.
Ofte stilte spørsmål
Hvilken chunk-størrelse bør jeg bruke for RAG?
512 tokens er et vanlig valg som balanserer kontekst og presisjon for de fleste embedding-modeller. Mindre biter (256) gir mer presis gjenfinning; større biter (1024) bevarer mer kontekst per bit.
Hva er bit-overlapp og hvorfor spiller det noen rolle?
Overlapp gjentar en del av slutten på en bit i begynnelsen av neste. Det hindrer at en setning eller et resonnement som ligger på en bitgrense mister sammenhengen, noe som forbedrer kvaliteten på gjenfinningen.
Bør jeg dele etter tokens eller tegn?
Del etter tokens når målet er en LLM- eller embedding-modells kontekstgrense, siden de teller tokens. Del etter tegn når du trenger nøyaktig kontroll over størrelsen uavhengig av modell.
Deler dette verktøyet setninger midt i et ord?
Nei. Verktøyet prøver å respektere ord- og setningsgrenser når det deler, slik at bitene slutter på et naturlig punkt i stedet for midt i et ord.
Er det en grense for tekstlengden?
Siden behandlingen skjer i nettleseren din, avhenger grensen av enhetens minne. Svært lange dokumenter kan ta et øyeblikk å dele opp, men fungerer.
Kan jeg dele verktøyet med verdiene mine fylt inn?
Ja. Nettadressen oppdateres automatisk mens du skriver. Kopier den fra adressefeltet eller bruk Del-knappen — den som åpner lenken ser nøyaktig dine verdier klare til bruk.
Relaterte verktøy
Token-teller
Tell tokens i tekst for GPT-4, Claude og Gemini. Gratis AI-token-teller på nett — se kontekstvindu, ordantall og tegn direkte.
Atbash-chiffer koder og dekoder
Kod og dekod Atbash-chifferet på nett. Atbash speiler alfabetet og er sin egen invers, så ett klikk både krypterer og dekrypterer. Gratis og privat.
Fjern bakgrunn fra bilde
Fjern bakgrunnen fra et bilde gratis med AI. Alt skjer i nettleseren — bildet lastes aldri opp til en server. Last ned resultatet som PNG.