LLM: एक वास्तविक उपयोग का उदाहरण

संक्षेप में: हमने elMejorTrato.com के लिए LLM, वेक्टर डेटाबेस और RAG लागू करने पर काम किया। हमने ये निष्कर्ष निकाले:

स्पैनिश भाषा में काम करने की अपनी बारीकियाँ हैं
ChatGPT एपीआई बहुत महँगी है
LangChain और एजेंट कभी-कभी ज़रूरत से अधिक जटिल होते हैं
SentenceBert और VectorDB से शानदार काम किए जा सकते हैं
क्वांटाइज़ किए गए ओपन-सोर्स LLM बहुत अच्छे परिणाम देते हैं

हम यहाँ मूल कोड ओपन सोर्स और Docker में तैयार करके दे रहे हैं, ताकि आप अपने प्रोजेक्ट में इस्तेमाल कर सकें

एक प्रोटोटाइप बनाना

ChatGPT के आम जनता के लिए उपलब्ध होने के बाद लोकप्रिय हुए बड़े भाषा मॉडल ने भविष्य में उनके संभावित उपयोग को लेकर उत्साह पैदा किया है। ऐसे अनेक उदाहरण हैं जिनमें सामान्य कृत्रिम बुद्धिमत्ता की नकल करने के लिए LLM का उपयोग होता है, और वे सचमुच भविष्य की तकनीक जैसे लगते हैं। यहाँ हम elMejorTrato.com वेबसाइट के एक विशेष मामले में LLM के उपयोग पर ध्यान देंगे।

LLM सॉफ़्टवेयर डेवलपर के लिए दो अद्भुत नई क्षमताएँ लेकर आए:

प्राकृतिक भाषा को समझने की क्षमता।
टेक्स्ट, ऑडियो और चित्रों में वेक्टर खोज करने की क्षमता।

elMejorTrato.com का एक वास्तविक उदाहरण यह था कि संख्या दर्ज करने के बजाय उपयोगकर्ता जिस ऋण राशि की तलाश करना चाहते थे, उसे टेक्स्ट में बता सकते थे, जैसे “घर का विस्तार करने के लिए मुझे $10,000 चाहिए”। इसका समाधान टेक्स्ट बॉक्स को चयन बॉक्स से बदलना था। आज LLM की प्राकृतिक भाषा समझने की क्षमता से संवाद को बेहतर समझकर उपयोगकर्ताओं को बेहतर सेवा दी जा सकती है।

दूसरा उदाहरण है टेक्स्ट में वेक्टर खोज करके उपयोगकर्ताओं के उन सवालों का जवाब देना जिनका जवाब दूसरे उपयोगकर्ताओं के लिए पहले दिया जा चुका है। इसके लिए LLM द्वारा बनाए गए एम्बेडिंग इस्तेमाल होते हैं।

इन नए समाधानों को जाँचने के लिए हमने एक फ़ोर्क से, जो Docker के इस बहुत अच्छे टेम्पलेट पर आधारित है, प्रोटोटाइप बनाया, जिसमें ये बदलाव किए गए:

ऐसा प्रॉम्प्ट जिससे llama2 स्पैनिश में सही काम करे।
चिली विश्वविद्यालय का स्पैनिश Bert एम्बेडिंग मॉडल।
हाइब्रिड खोज (वेक्टर और टेक्स्ट) के लिए डेटाबेस के रूप में Weaviate, जिसे स्थानीय रूप से या क्लाउड में इस्तेमाल किया जा सकता है।
कोड को सरल करना, ताकि उसे समझना और अपने प्रोजेक्ट के अनुरूप बदलना आसान हो।