एक vector डेटाबेस उच्च-आयामी vectors (आम तौर पर embedding मॉडल के आधार पर 384 से 3072 floating-point संख्याएँ) को संग्रहीत करता है और उनमें से लाखों या अरबों में तेज़ nearest-neighbor search का समर्थन करता है। मौलिक operation है: एक query vector दिए जाने पर, डेटाबेस में k vectors खोजें जो इसके सबसे क़रीब हैं, cosine similarity, dot product, या Euclidean distance द्वारा मापा गया। Brute-force search (हर संग्रहीत vector के विरुद्ध query की तुलना करना) सटीक है लेकिन scale पर बहुत धीमा। इसलिए vector databases approximate nearest-neighbor (ANN) algorithms का उपयोग करते हैं जो विशाल speed लाभ के लिए accuracy की एक छोटी मात्रा का व्यापार करते हैं — आम तौर पर index के एक छोटे अंश को search करते हुए true nearest neighbors का 95–99% खोजते हैं।
सबसे आम ANN algorithm HNSW (Hierarchical Navigable Small World) है, जिसका उपयोग Qdrant, Weaviate, pgvector, और कई अन्य करते हैं। HNSW एक multi-layered graph बनाता है जहाँ हर vector अपने nearest neighbors से connected एक node है। Searching शीर्ष layer (sparse, long-range connections) पर शुरू होती है और निचली layers (dense, short-range connections) तक drill down होती है, एक map पर zoom करने की तरह। यह तेज़, सटीक है, और कुछ सौ मिलियन vectors तक के datasets के लिए अच्छा काम करता है। trade-off मेमोरी है: HNSW graph को RAM में रखता है, इसलिए आपको अपने vectors और graph overhead को रखने के लिए पर्याप्त मेमोरी की आवश्यकता है। एक मिलियन 1536-आयामी vectors (OpenAI के ada-002 आउटपुट) के लिए, यह लगभग 6–8 GB है। IVF (inverted file index) और ScaNN जैसे विकल्प कम मेमोरी का उपयोग करते हैं लेकिन अधिक tuning की आवश्यकता होती है। Pinecone और कुछ Qdrant configurations slight accuracy हानि की लागत पर एक ही मेमोरी में अधिक vectors को fit करने के लिए quantization का उपयोग करते हैं — vectors को float32 से int8 या binary में compress करना।
प्रमुख vector databases के बीच चुनना आपकी बाधाओं पर निर्भर करता है। Qdrant और Weaviate open-source और self-hostable हैं, जो डेटा गोपनीयता और लागत नियंत्रण के लिए मायने रखता है — आप उन्हें अपने स्वयं के बुनियादी ढाँचे पर चलाते हैं और केवल compute के लिए भुगतान करते हैं। Pinecone पूरी तरह से managed है (कोई infra संचालित करने के लिए नहीं) लेकिन vendor-locked और प्रति vector कीमत है, जो scale पर महंगा हो जाता है। ChromaDB lightweight और embedded है (in-process चलता है, disk पर संग्रहीत करता है), prototyping और छोटे datasets के लिए शानदार है लेकिन लाखों vectors वाले production workloads के लिए नहीं बनाया गया है। pgvector extension के साथ PostgreSQL आकर्षक है यदि आप पहले से Postgres चलाते हैं, क्योंकि आप अपने stack में एक नया डेटाबेस जोड़ने से बचते हैं, लेकिन इसका query प्रदर्शन बड़े scales पर purpose-built vector databases से पीछे रह जाता है। अधिकांश production RAG सिस्टमों के लिए, Qdrant या Weaviate आपको प्रदर्शन, features, और परिचालन नियंत्रण का सबसे अच्छा संतुलन देते हैं।
Metadata filtering एक feature है जो गंभीर vector databases को toy implementations से अलग करती है। व्यवहार में, आप लगभग कभी अपने पूरे collection को search नहीं करना चाहते — आप "इस उपयोगकर्ता द्वारा अपलोड किए गए सभी दस्तावेज़" या "केवल पिछले 30 दिनों के दस्तावेज़" या "केवल इस विशिष्ट PDF से chunks" search करना चाहते हैं। Vector databases आपको हर vector के साथ metadata संग्रहीत करने और similarity search से पहले या उसके दौरान filters लागू करने देते हैं। इसे pre-filtering (पहले filter करें, फिर reduced set search करें) या post-filtering (सब कुछ search करें, फिर उन परिणामों को discard करें जो match नहीं होते) कहा जाता है। Pre-filtering अधिक कुशल है लेकिन index को इसका समर्थन करने की आवश्यकता है; अधिकांश production databases अब करते हैं। indexing समय पर अपना metadata schema सही प्राप्त करना बाद में बहुत दर्द बचाता है — एक ऐसे collection पर filters retrofit करना जो उनके लिए डिज़ाइन नहीं किया गया था अक्सर सब कुछ re-index करने का अर्थ है।
Vector databases वर्तमान AI लहर से पहले मौजूद थे — Spotify ने वर्षों पहले music recommendations के लिए approximate nearest-neighbor search का उपयोग किया, और Facebook की Faiss library 2017 से रही है। लेकिन 2023–2024 में embedding मॉडलों और RAG के विस्फोट ने उन्हें एक niche तकनीक से critical बुनियादी ढाँचे में बदल दिया। space अभी भी तेज़ी से परिपक्व हो रहा है: multi-tenancy (एक साझा तैनाती में ग्राहकों के बीच कुशलतापूर्वक डेटा को isolate करना), hybrid search (एक एकल query में vector और keyword search को संयोजित करना), और on-disk indexing (RAM से बड़े datasets को संभालना) सभी ऐसे क्षेत्र हैं जहाँ उत्पाद significantly भिन्न होते हैं और तेज़ी से सुधार रहे हैं। यदि आप आज एक प्रोजेक्ट शुरू कर रहे हैं, तो एक डेटाबेस चुनें जो आपके वर्तमान scale को संभालता है, metadata filtering और hybrid search का समर्थन करता है, और एक active maintenance प्रक्षेपवक्र है। आप हमेशा बाद में migrate कर सकते हैं — embedding vectors portable हैं।