Cognica Blog

Sigmoid는 설계 결정이 아니라 수학적 정리입니다. BM25 점수를 확률로 변환하는 유일하게 유효한 함수가 왜 sigmoid인지를 보이고, Robertson의 확률적 순위 원리(PRP)가 50년 만에 어떻게 완성되었는지를 설명합니다.

현대 검색 시스템에서 어휘 매칭과 의미적 이해를 결합하는 것은 근본적인 과제입니다. Cognica Database에서 BM25 점수를 보정된 확률로 변환하여 텍스트 검색과 벡터 검색 결과의 근본적인 결합을 가능하게 하는 확률적 랭킹 프레임워크를 어떻게 구축했는지 살펴봅니다.

데이터 통합의 복잡성을 제거한 Cognica ERP는 '무엇'뿐 아니라 '왜', '앞으로'에 대한 답을 즉시 제공하여 비즈니스 경쟁력을 창출합니다.

벡터 임베딩 한계와 특성을 설명하고 이를 저장하기 위한 기능 개선 내용을 다룹니다.

2024년 6월 21일 OpenAI는 데이터베이스 스타트업 Rockset 인수를 발표했습니다. OpenAI에 따르면 Rockset 인수의 배경은 AI를 더 유용하게 만들기 위한 검색 인프라 개선이라고 합니다. 구체적으로 어떠한 이점 때문에 OpenAI는 Rockset을 인수했을까요?

FTS를 사용한 판례 검색 데모에 벡터 검색을 적용하여 자연어 검색 서비스를 구축하는 방법을 설명합니다.

판례 데이터를 다운로드 받고 Cognica를 통해 판례 검색 서비스를 하루만에 구축한 과정을 설명합니다.

Cognica를 활용하여 상품 검색을 위한 데이터 수집 및 가공, 검색과 서비스 개발 과정을 설명합니다. 정형, 비정형 데이터가 혼합되어 있을 때 어떻게 색인하고 LLM을 활용하여 어떻게 쿼리를 변환하여 검색하는지를 알아봅니다.

RAG(검색 증강 생성)을 복잡한 인프라 구축 없이 AI 데이터베이스 하나로 쉽게 만들 수 있습니다.

벡터데이터베이스(VectorDB)를 활용해 대규모 언어모델(LLM)의 한계를 극복하고자 하는 방안이 주목받고 있습니다. 전문 분야나 학습되지 않은 도메인 데이터, 예를 들어 로펌의 판례나 회사의 커뮤니케이션 기록 등 특화된 정보에 대해 정확한 답변을 제공하기 위해, 모든 종류의 데이터를 벡터임베딩으로 변환하여 저장하고 검색할 수 있는 벡터 데이터베이스를 LLM의 장기기억 저장장치로 사용하는 것입니다. 이를 위해 위키피디아를 사용한 Q&A 시스템을 예로 들어 데이터 전처리, 벡터화, 저장, 검색 등의 과정을 통해 벡터 데이터베이스가 어떻게 LLM을 보완할 수 있는지에 대한 구체적인 사례를 살펴봅니다.