pgvector

최근에 이런 저런 일들이 있어 PostgreSQL을 접하게 되었다. 난 개발자 출신이 아니다. 그리고 DB도 oracle이나 mysql 정도? 전산실장을 할 때 ERP를 했어야 했기에 수행을 했고 최근에 잠시 파견나갔던 회사의 DLP가 오라클 DB를 사용하여 침침한 눈을 비비면서 열심히 select를 해댔다.

그런데 3,000명의 에이전트가 깔린 AI보안 솔루션 지원을 나 혼자하는 미션이 떨어졌다. 뭐 3,000개가 설치되어 있다고 해도 그 3,000user가 나에게 매일 전화를 해대는 것은 아니다.

그런데 2주 정도 지나니 슬랙으로 1:1로 하다가는 죽을 수도 있다는 생각이 들어 환경을 바꿨다. 우선 codex5.4와 claud를 이용하여 슬랙의 스레드를 발라봤다. 둘다 합격점. 그런데 여기서 한가지의 문제. 두 아이 모두 바르긴 생선가시 바르듯이 잘 발라주는데 중복이 엄청 많다는 것이다. 중복 중복 삼복 더위의 중복이 아니라 중복이란 것이다. 이 중복은 언제나 IT를 하는 사람들에게는 풀어야 할 숙제로 남는다.

python을 이용하여 클로드와 새벽까지 작업을 하다보니 중복제거가 가능하고 이를 ollama로 활용하여 LLM화 시키려고 했더니 멍청하게 생각을 하고 있다는 전구가 머리 위를 스쳐 갔다.

요새 핫한 Postgre를 활용하면 vector가 이를 잡아 준다는 것이다. 특히 데이터가 쌓이면 쌓일 수록 그리고 haiku와 ollama를 하이브리드로 쓰게 되면 저렴한 가격으로 좋은 CS제품이 탄생할 수 있다는 이론을 잡았다.

우선 스레드를 발라낼 때 고객 우선으로 발라낸다. 총판이나 리셀러가 만든 스레드는 공지사항이나 자주 묻는 질문으로 제외를 시킨다. 그러게 PostgreSQL에서 계속 돌렸더니 재인입과 유사성 질문들이 구분이 되어서 나온다. 그러면 두개의 DB로 쪼갠다. 우선적으로 전체 슬랙 DB를 만들고 여기에서 주간리포트를 만들어 낸다. 주간 리포트는 BI(Metabase)를 사용하여 가시성을 부여한다. 그리고 고객 서비스로 제출하기에도 딱 좋다. 회사가 가난한 회사라 헝그리 정신으로 모든 오픈소스 제품을 이용하는게 장점이고 먼저 만들어 놓은 매뉴얼 LLM과 연동을 시켰더니 슬랙봇도 정상적으로 작동한다-이는 고객이 싫어해서 내가 그냥 답을한다. 실전에서 고객이 의견을 주고 난 하루 이틀 삽질만 하면 좋은 제품이 나온다는 것이다.

늘 느끼는 거지만 이건 내가 10년전만 해도 늘 인력(manpower)이 구성되어야만 가능한 이야기였다. 그러나 지금은 이러한 시나리오만 잘 가지고 있고 열정만 있다면 왠만한 것은 그냥 만들어서 사용할 수 있어서 참좋다,

단 이는 체력을 아껴서 건강을 챙겨야 할 수 있다는 것이다.

pgvector 점점 좋아지는 답변을 보면서 고객만족, 나 만족이다.

홈피를 개편하고 있는데-이제 진정성을 부여해서-여기에도 pgvector가 들어올 수 있을까? IdP나 몇가지 연동은 성공을 했으니 이도 가능하리라 본다. 역시 하루 24시간은 부족하다.