ग्राहक सहायता के लिए RAG: AI के जवाबों को वास्तव में सटीक कैसे बनाएं

रिट्रीवल के बिना, "मैं अपना पासवर्ड कैसे रीसेट करूँ?" का उत्तर देने वाला एक LLM एक प्रशंसनीय पर शायद गलत उत्तर देगा — अलग बटन, अलग फ्लो, अलग URL। RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) इसे इस तरह ठीक करता है कि मॉडल के बोलने से पहले आपके दस्तावेज़ों का सही हिस्सा prompt में इंजेक्ट कर देता है।

पाइपलाइन एक नज़र में

तीन चरण: इंजेस्ट, रिट्रीव, जनरेट।

1. इंजेस्ट

• नॉलेज UI के ज़रिए PDF, Markdown और Office फ़ाइलें अपलोड करें
• Worker टेक्स्ट निकालता है और उसे ~800 token के चंक्स में 100 token ओवरलैप के साथ बाँटता है
• हर चंक को text-embedding-3-small (1536d) से एम्बेड किया जाता है
• pgvector एक्सटेंशन के साथ Postgres में संग्रहित किया जाता है

2. रिट्रीव

जब कोई विज़िटर संदेश भेजता है, तो हम क्वेरी को एम्बेड करते हैं और उस टेनेंट के चंक्स के विरुद्ध कोसाइन-डिस्टेंस खोज चलाते हैं। Top-K (डिफ़ॉल्ट 5) खींचा जाता है, और असंगत मैचों को हटाने के लिए एक समानता थ्रेशोल्ड होती है।

SELECT id, content, 1 - (embedding <=> $1) AS similarity
FROM knowledge_chunks
WHERE tenant_id = $2
ORDER BY embedding <=> $1
LIMIT 5;

3. जनरेट

रिट्रीव किए गए चंक्स को स्पष्ट निर्देशों के साथ सिस्टम prompt के आगे जोड़ दिया जाता है: स्रोतों का हवाला दें, यदि संदर्भ प्रश्न को कवर न करे तो उत्तर देने से इनकार करें, और यदि विश्वास कम हो तो किसी मानव को सौंप दें।

token का बिल घटाना

बड़े नॉलेज बेस पर तीन तरकीबें असली पैसे बचाती हैं:

• एम्बेडिंग कैश — वही क्वेरी टेक्स्ट → वही एम्बेडिंग। SHA1 हैश की, Redis में 24 घंटे का TTL। बार-बार पूछे जाने वाले प्रश्नों पर री-एम्बेडिंग की लागत को शून्य कर देता है।
• prompt कैशिंग — Anthropic का cache_control और OpenAI की स्वचालित कैशिंग का मतलब है कि स्थिर सिस्टम prompt हर 5 मिनट की विंडो में केवल एक बार गिना जाता है।
• थ्रेशोल्ड-आधारित स्किपिंग— यदि कोई चंक समानता थ्रेशोल्ड पार न करे, तो कुछ भी इंजेक्ट न करें। मॉडल को "मुझे नहीं पता।" कहने दें।

जब RAG पर्याप्त न हो

RAG "मैं X कैसे करूँ?" जैसे प्रश्नों को अच्छी तरह संभालता है। यह व्यक्तिगत डेटा ("मेरा ऑर्डर कहाँ है?") पर विफल हो जाता है — उसके लिए फ़ंक्शन कॉलिंग की ज़रूरत होती है, जिसे हम एक अलग पोस्ट में कवर करते हैं। यही संयोजन आपको लागत के एक छोटे से हिस्से में Intercom-स्तर की AI देता है।