De RAG Uitdaging: Inbedding en Chunking
Als je ooit een Retrieval-Augmented Generation (RAG) AI-agent hebt gebouwd, ben je waarschijnlijk tegen het probleem aangelopen: welk inbeddingsmodel moet ik gebruiken? En wat is de juiste ‘chunking’-strategie voor mijn documenten wanneer ik ze upload naar een vector database? Dit proces is van cruciaal belang, want als je het verkeerde model of de verkeerde chunking-grootte kiest, is de kans groot dat je geen nauwkeurige resultaten krijgt.
Vaak wordt me in de gemeenschap gevraagd: “Waarom kiezen we voor deze chunking-grootte? Ik krijg niet de juiste resultaten.” Dit is precies wat we gaan evalueren. En natuurlijk heb je een inbeddingsmodel nodig; vaak gebruik je OpenAI, maar er zijn ook andere opties.
Maak Kennis Met Vectorize.io: Jouw RAG Evaluatie Assistent
In dit artikel laat ik je zien hoe je Vectorize.io kunt gebruiken, een fantastisch gratis platform met een ‘RAG evaluation’-functie die het giswerk volledig uit dit proces haalt.
Je uploadt je documentatie naar de RAG-evaluatie sectie en het platform vertelt je precies welk inbeddingsmodel je moet gebruiken en wat de juiste chunking-grootte is voor jouw specifieke documenten, zodat je de meest nauwkeurige zoekresultaten krijgt. Geen giswerk meer!
Zo Werkt Het Stapsgewijs:
- Meld je aan: Ga naar platform.vectoriz.io en maak een gratis account aan. Je krijgt tot 1500 pagina’s aan documenten om te evalueren, wat ruim voldoende is voor persoonlijke use-cases.
- Navigeer naar RAG Evaluation: Klik in het linkermenu op ‘RAG evaluation’. Hier staat duidelijk uitgelegd: “RAG evaluations provide a better understanding of the embedding models and chunking strategies that will produce the most relevant, accurate results for your vector indexes.”
- Start een Nieuwe Evaluatie: Klik op ‘New rag evaluation’. Dit is waar je je documenten uploadt.
- Documenten Uploaden: Ik heb bijvoorbeeld verschillende whitepapers geüpload: de Ethereum whitepaper, de Solana whitepaper en een Fidelity Bitcoin rapport. Dit zijn complexe documenten met grafieken, afbeeldingen en tabellen, niet alleen tekst. Dit vraagt om een inbeddingsmodel dat alle noodzakelijke informatie uit zo’n document kan halen.
- Geef Namen en Selecteer Strategie: Geef je evaluatie een naam (bijv. “Test RAG Eval”) en selecteer een vectorisatie-strategie. Je kunt de standaardinstellingen gebruiken met vier verschillende modellen, of deze aanpassen.
Parameters Configureren voor Optimale Resultaten
Vectorize.io geeft je de optie om verschillende parameters te configureren:
- Inbeddingsmodellen: Je kunt kiezen uit onder andere OpenAI (ADA v2, Embedding 3 Large, Small), Voyage AI en Mistral ME 5 Small.
- Chunk Size & Overlap: Hier kun je experimenteren met verschillende chunking-groottes en overlap om te zien welke het beste resultaat oplevert voor jouw specifieke documenten.
- Chunking Strategie: Kies tussen ‘paragraph’, ‘fixed’ of ‘sentence’ chunking.
- Modellen voor Geavanceerde Extractie:
- ‘Fast’: Eenvoudige en snelle extractor.
- ‘Vectorize Iris’: Dit is hun vision model, speciaal gefinetuned voor geavanceerde extractie. Het is uitermate geschikt voor documenten met veel afbeeldingen of figuren die correct begrepen moeten worden. Hoewel iets duurder, is het de beste keuze voor complexe visuele documenten.
- ‘Mixed’: Een combinatie van ‘Fast’ voor tekst en ‘Iris’ voor media.
Het Evaluatieproces
Nadat je de parameters hebt ingesteld, klik je op ‘Start rag evaluation’. Vectorize.io begint met het verwerken van de informatie en genereert vragen uit je eigen geüploade documenten. Het vergelijkt de verschillende modellen met deze vragen om te zien welke de beste resultaten oplevert.
In mijn testcase met de whitepapers kwam de OpenAI V3 large met een chunking-grootte van 500 en een overlap van 50 als de duidelijke winnaar naar voren! Dit neemt het giswerk volledig weg. Het platform toonde ook precies welke vragen het genereerde, afkomstig uit mijn blockchain whitepapers, en hoe goed elk model scoorde.
Terug naar de Praktijk: Noden & Pinecone
Nu we deze informatie hebben, kunnen we teruggaan naar onze Noden workflow (n8n.io is een no-code/low-code platform voor het bouwen van workflows en automatiseringen, vaak gebruikt voor AI-agents) en de juiste instellingen toepassen. In Noden kun je bijvoorbeeld je documentatie uploaden naar een vector database zoals Pinecone (een populaire keuze voor grote en enterprise accounts met een gratis cloud-versie). Dit gebeurt via de ‘default data loader’ die de chunking-strategie en het inbeddingsmodel bepaalt.
Voorheen was het een gok welke ‘Chunk Size’ (bijv. 500) en ‘Chunk Overlap’ (bijv. 50) je moest kiezen, en welk ‘Embedding Model’ (zoals OpenAI’s ADA v2). Dankzij Vectorize.io weten we nu precies welke combinatie optimaal is voor onze specifieke documenten.
Conclusie
Tools zoals Vectorize.io zijn van onschatbare waarde. Ze nemen het giswerk bij het kiezen van chunking-groottes en inbeddingsmodellen weg, wat leidt tot veel nauwkeurigere zoekresultaten in je RAG AI-agenten. Gezien de complexe aard van de industrie, met gigabytes aan documenten en ongestructureerde data, is het essentieel om te vertrouwen op data-gedreven beslissingen in plaats van aannames.
De AI-industrie en het bouwen van RAG-agents zal in de toekomst enorm zijn, aangezien bedrijven hun processen efficiënter willen maken. Met tools als Vectorize.io zijn we beter uitgerust om deze systemen robuust en effectief te bouwen.
Ik hoop dat dit artikel je geholpen heeft om de complexiteit van inbeddingsmodellen en chunking-strategieën te doorgronden, en dat je Vectorize.io zelf gaat uitproberen. Het zou je workflow en de nauwkeurigheid van je AI-agents drastisch kunnen verbeteren!
