Faiss入门及应用经验记录

r囧r小猫 2024-02-19 07:49 138阅读 0赞

说起相似度检索TopK的问题,相信很多算法er在实际工程中会经常遇到,对此我们一般的解决方案是暴力检索,循环遍历所有向量计算相似度然后得出TopK。但当向量数量级达到百万千万甚至上亿级别,这时候你再用暴力检索就会显得很呆 … …

format_png

Faiss的出现就很好地解决了这个问题,笔者总结了在工程中使用Faiss的一些经验,记录下给需要的童鞋(语言为Python,因为本菜鸡不会C++)。动动小手给点个赞呗。


1. 什么是Faiss?

Faiss的全称是Facebook AI Similarity Search,是FaceBook的AI团队针对大规模相似度检索问题开发的一个工具,使用C++编写,有python接口,对10亿量级的索引可以做到毫秒级检索的性能

简单来说,Faiss的工作,就是把我们自己的候选向量集封装成一个index数据库,它可以加速我们检索相似向量TopK的过程,其中有些索引还支持GPU构建,可谓是强上加强。

发表评论

表情:
评论列表 (有 0 条评论,138人围观)

还没有评论,来说两句吧...

相关阅读

    相关 Faiss入门应用经验记录

    说起相似度检索TopK的问题,相信很多算法er在实际工程中会经常遇到,对此我们一般的解决方案是暴力检索,循环遍历所有向量计算相似度然后得出TopK。但当向量数量级达到百万千万甚

    相关 Cookie入门应用实例

            最近在工作中,牛逼的前端为追求更好的体验,如对于无需与后台请求交互(纯前端的页面跳转、页面内容的展示),但Session已过期,用户操作后提交,后台再提示已过期

    相关 linux下安装Faiss

    Linux软件编译基本知识 > PS:这一部分自己也是一知半解,大家可以自行了解,仅对不太熟悉编译知识的同学进行普及。 正式安装之前先补充一些关于Linux上的开源软件

    相关 faiss的简单使用

    简介 faiss是为稠密向量提供高效相似度搜索和聚类的框架。由[Facebook AI Research][]研发。 具有以下特性。 1、提供多种检索方法

    相关 HTML应用经验

    1、添加网站个性小图标 2、<img>标签图片加载失败处理 3、rel="nofollow"告诉搜索引擎的爬虫无需追踪目标页 1、添加网站个性小图标 <link