Петрунёва Таисия Евгеньевна

Группа 22126
Руководитель: Наумчев Александр Владимирович

Текст ВКР

Аннотация

Дипломная работа посвящена разработке системы векторного поиска с возможностью комбинирования различных методов квантизации и индексирования. В работе рассматриваются современные подходы к организации приближённого поиска ближайших соседей в высокоразмерных пространствах, включая методы Product Quantization (PQ), IVF, HNSW, RaBitQ и их комбинации. Проведён анализ существующих решений в области векторных баз данных и библиотек ANN-поиска. Предложена архитектура гибридной системы, объединяющая глобальный графовый индекс HNSW-PQ и локальные индексы различных типов, размещаемые как на центральном процессоре, так и на графических процессорах. Реализован механизм потокового поиска с асинхронным распределением запросов между локальными индексами, а также система повторного ранжирования результатов с использованием точного вычисления расстояний.

Разработанная система реализована на языке Rust с использованием библиотеки Faiss и PostgreSQL с расширением pgvector. Проведено экспериментальное исследование на синтетических наборах данных и датасете GIST1M. Выполнена оценка точности поиска, времени построения индексов, времени выполнения запросов и потребления памяти для различных конфигураций индексов и параметров квантизации. Результаты экспериментов показали, что комбинирование различных методов индексирования и квантизации, а также совместное использование CPU и GPU, позволяет достигать баланса между скоростью поиска, точностью результатов и объёмом используемой памяти.