RedisDays NY 2022 में, हमने अपने नए वेक्टर सिमिलैरिटी सर्च (VSS) क्षमता के सार्वजनिक पूर्वावलोकन की घोषणा की। VSS रेडिसर्च 2.4 का हिस्सा है और डॉकर, रेडिस स्टैक, और रेडिस एंटरप्राइज क्लाउड के मुफ्त और निश्चित सब्सक्रिप्शन पर उपलब्ध है।
इस लेख में, मैं आपको वेक्टर समानता की मूल बातें, इसके अनुप्रयोगों के माध्यम से ले जाऊंगा और रेडिस VSS के साथ आरंभ करने के लिए संसाधन साझा करूंगा!
वेक्टर समानता क्या है? सरल शब्दों में, यह एक माप है कि दो या अधिक वेक्टर कितने अलग (या समान) हैं। एक वेक्टर को संख्याओं की एक सूची के रूप में सोचें।
इसके मूल में, वेक्टर खोज डेवलपर्स को ऑडियो, प्राकृतिक भाषा, छवियों, वीडियो क्लिप, वॉयस रिकॉर्डिंग, और कई अन्य प्रकार के डेटा के आधार पर जानकारी पुनर्प्राप्त करने की अनुमति देती है। असंरचित डेटा पर खोज करना VSS को उन्नत समानता खोज अनुभव बनाने के लिए एक आधारभूत तकनीक बनाता है।
मेरे डेटा के लिए ये वेक्टर कैसे उत्पन्न होते हैं?AI में प्रगति के साथ, डेटा वैज्ञानिक ऐसे मॉडल बना सकते हैं जो लगभग किसी भी डेटा "एंटिटी" को उसके वेक्टर प्रतिनिधित्व में बदल सकते हैं। यहां एक एंटिटी एक लेनदेन, एक उपयोगकर्ता प्रोफ़ाइल, एक छवि, एक ध्वनि, टेक्स्ट का एक लंबा टुकड़ा (वाक्य या पैराग्राफ), एक टाइम सीरीज, या एक ग्राफ हो सकता है। इनमें से किसी को भी इसके "फीचर वेक्टर" में बदला जा सकता है, जिसे "एम्बेडिंग" के रूप में भी जाना जाता है।
ये एम्बेडिंग क्या मायने रखते हैं?वेक्टर एम्बेडिंग डेटा के संख्यात्मक प्रतिनिधित्व हैं। वे एक एंटिटी की सबसे आवश्यक विशेषताओं को इस तरह से कैप्चर करते हैं कि कंप्यूटर और डेटाबेस आसानी से तुलना कर सकते हैं। दिलचस्प हिस्सा यह है कि यदि एक मॉडल दो एंटिटी के लिए दो समान एम्बेडिंग (वेक्टर) उत्पन्न करता है, तो आप अनुमान लगा सकते हैं कि दो मूल एंटिटी किसी मौलिक तरीके से समान हैं।
क्या मुझे ये एम्बेडिंग उत्पन्न करने के लिए डेटा वैज्ञानिक होने की आवश्यकता है?बिल्कुल नहीं! कई स्वतंत्र रूप से उपलब्ध AI मॉडल और लाइब्रेरी हैं जो डेवलपर्स को टेक्स्ट, छवि, या टाइम-सीरीज डेटा से एम्बेडिंग उत्पन्न करने की अनुमति देती हैं। उदाहरण के लिए, आप वाक्यों के लिए एम्बेडिंग उत्पन्न करने के लिए HuggingFace सेंटेंस ट्रांसफॉर्मर्स का उपयोग कर सकते हैं, छवियों के लिए एम्बेडिंग उत्पन्न करने के लिए Img2Vec, और टाइम-सीरीज डेटा के लिए एम्बेडिंग उत्पन्न करने के लिए Facebook Kats। AI/ML चिकित्सक अपने डेटा एंटिटी के लिए "घने" फीचर प्रतिनिधित्व (a.k.a एम्बेडिंग) उत्पन्न करने की अवधारणा से परिचित हैं। वे अब इन फीचर वेक्टर्स को रेडिस में स्टोर कर सकते हैं और उन पर समानता खोज कर सकते हैं।
वेक्टर समानता खोज से किस तरह के एप्लिकेशन बनाए जा सकते हैं? कई रोजमर्रा के एप्लिकेशन हैं जिनके साथ आप इंटरैक्ट करते हैं जो वेक्टर समानता खोज पर भरोसा करते हैं।
ई-कॉमर्स वेबसाइट पर विजुअल खोज से लेकर स्वचालित चैटबॉट्स / Q&A सिस्टम और कई प्रकार के रिकमेंडेशन सिस्टम। अधिक आम तौर पर, आप किसी भी ऐप पर VSS को उपयोगी पाएंगे जहां रीयल-टाइम में समानता का पता लगाना मूल्य अनलॉक करने के लिए आवश्यक है। कुछ सामान्य उपयोग के मामले नीचे सूचीबद्ध हैं:
– ई-कॉमर्स सिफारिशें: उन्नत खोज अनुभवों और उत्पाद सिफारिशों को शक्ति देने के लिए विजुअल समानता और/या सिमेंटिक समानता का उपयोग करें
– सिमेंटिक समानता: परिष्कृत खोज अनुभव, चैटबॉट्स, या यहां तक कि प्रश्न और उत्तर प्रणाली बनाएं
– टाइम-सीरीज डेटा में समानता: बीमारी फैलने के पैटर्न की समानता या ऐतिहासिक पैटर्न में समानता के आधार पर व्यापार के अवसरों की खोज करें
– ग्राफ डेटा में समानता: विभिन्न (संभावित रूप से असंबंधित) अभिनेताओं या नेटवर्क के सेट में कनेक्शन के समान पैटर्न प्रकट करें।
– लेनदेन की समानता: पहले से पहचाने गए धोखाधड़ी/खतरे के प्रयासों के समानता के आधार पर संभावित धोखाधड़ी या खतरों का पता लगाएं
– उपयोगकर्ता प्रोफ़ाइल या उत्पादों की समानता: व्यक्तिगत सिफारिशें उत्पन्न करें; एम्बेडिंग डेटा द्वारा प्रकट पैटर्न के आधार पर अपने ग्राहक विभाजन को परिष्कृत करें
रेडिस वेक्टर समानता खोज कैसे लागू करता है? रेडिसर्च एक रेडिस मॉड्यूल है जो रेडिस हैश या JSON प्रारूप के रूप में संग्रहीत रेडिस डेटा के लिए क्वेरी क्षमता, सेकेंडरी इंडेक्सिंग, और फुल-टेक्स्ट खोज प्रदान करता है। रेडिस 2.4 के साथ, रेडिस ने वेक्टर समानता खोज के लिए समर्थन पेश किया।
रेडिसर्च 2.4 के साथ, रेडिस डेवलपर्स कर सकते हैं:
– रेडिस हैश में BLOBs के रूप में संग्रहीत वेक्टर डेटा को इंडेक्स और क्वेरी करें
– दो लोकप्रिय इंडेक्सिंग विधियों का उपयोग करें: FLAT और HNSW
– तीन सामान्य वेक्टर दूरी मेट्रिक्स का उपयोग करें: कोसाइन, आंतरिक उत्पाद, और यूक्लिडियन दूरी
– हाइब्रिड क्वेरी निष्पादित करें जो GEO, NUMERIC, TAG, या TEXT डेटा पर पारंपरिक रेडिसर्च फ़िल्टरिंग क्षमताओं के साथ वेक्टर समानता को जोड़ती हैं। ई-कॉमर्स सेटिंग में एक हाइब्रिड क्वेरी का एक सामान्य उदाहरण है "एक दिए गए क्वेरी इमेज के समान दिखने वाली वस्तुएं खोजें जो एक GEO स्थान में उपलब्ध हों और एक मूल्य सीमा के भीतर हों।"
यदि आप पायथन के साथ आसान हैं, तो इन्हें आज़माएं:
– सार्वजनिक अमेज़ॅन डेटासेट पर विजुअल और सिमेंटिक समानता
– वित्तीय समाचार लेखों में सेंटीमेंट विश्लेषण और सिमेंटिक समानता
जावा के लिए, आप इस बुनियादी डेमो को आज़मा सकते हैं जो दिखाता है कि इंडेक्स कैसे बनाएं, डेटा लोड करें, और क्वेरी करें।
इन दो RedisDays 2022 सत्रों के रीप्ले देखने का प्रयास करें:
– कीनोट: अपने "वित्तीय सेवाओं" एप्लिकेशन में रीयल-टाइम AI डालें
– बिहाइंड द सीन्स: कॉर्पोरेट फाइलिंग में दबे ट्रेडिंग सिग्नल प्रकट करने के लिए AI का उपयोग
सत्र अब ऑन-डिमांड देखने के लिए उपलब्ध हैं। आप हमेशा रेडिसर्च डॉक्यूमेंटेशन पर "वर्किंग विद वेक्टर्स" देख सकते हैं।
मैं कैसे शुरू कर सकता हूं? रेडिसर्च 2.4 के साथ रेडिस डेटाबेस बनाने के तीन आसान तरीके हैं।
अपने टर्मिनल से, आप निम्न में से किसी के साथ प्राप्त कर सकते हैं:
1) डॉकर – "docker run -p 6379:6379 redislabs/redisearch:2.4.5"
2) रेडिस स्टैक – "brew install redis-stack" (मैक OS से)। अन्य ऑपरेटिंग सिस्टम के लिए, "रेडिस स्टैक के साथ शुरुआत" आज़माएं
3) अंत में, आप रेडिस एंटरप्राइज क्लाउड के साथ एक मुफ्त सब्सक्रिप्शन भी बना सकते हैं
यदि आप रेडिस एंटरप्राइज क्लाउड सब्सक्रिप्शन मार्ग अपनाते हैं, तो "रेडिस स्टैक" विकल्प का उपयोग करना सुनिश्चित करें क्योंकि इसमें रेडिसर्च 2.4 शामिल है।
