Engineered Intelligence for the Real World

어떤 데이터를 남기고 어떤 데이터를 버릴 것인가. 문서에 적힌 절차가 아니라 실제 워크플로우는 어떻게 돌아가고 있는가. 그리고 그 가운데 어디까지를 AI에 맡기고 어디부터 사람이 판단할 것인가. 이 세 질문에 답하지 않은 채 시작한 도입은 대부분 PoC에서 멈춥니다. 기술이 부족해서가 아니라, 무엇을 자동화할 것인지가 정의되지 않았기 때문입니다.

모델은 매달 좋아지고, 데모는 언제나 잘 됩니다. 그러나 그것이 보험사의 심사 부서나 진단 기업의 검사실에서 실제 효율로 이어지는 것은 전혀 다른 종류의 일입니다. 수십 개 시스템에 갇힌 데이터를 꺼내야 하고, 부서마다 다른 규칙과 예외를 흐름 안에 담아야 하며, 틀리면 안 되는 지점에서 틀리지 않게 해야 합니다.

기업 전체의 온톨로지를 먼저 세우자는 접근은 완성까지 오랜 시간이 걸리고, 현업이 바뀌는 순간부터 낡기 시작합니다.

폴더 하나에도 부서와 직급, 프로젝트별로 다른 권한이 겹쳐 있고, 그 예외는 문서가 아니라 담당자의 머릿속에 있습니다. 에이전트가 이 구조를 모른 채 문서를 읽으면, 그 순간 권한의 경계가 무너집니다.

데이터가 낡았을 수도 있고, 검색이 엉뚱한 자료를 가져왔을 수도 있으며, 조합 과정에서 어긋났거나 모델이 착각했을 수도 있습니다. 어디에서 어긋났는지 알 수 없는 시스템은 아무리 정확도가 높아도 핵심 업무에는 쓰이지 못합니다. 대부분의 기업이 PoC 이후로 나아가지 못하는 이유가 여기에 있습니다.

기업 전체의 온톨로지를 먼저 세우는 대신, CT는 Nora 위에서 원본 단계의 데이터를 전처리하고, 각 에이전트가 어떤 데이터를 근거로 쓰는지를 명시적으로 바인딩하며, 여러 에이전트가 역할을 나누어 실제 업무 흐름을 그대로 따라가게 합니다. 한 번 정비한 데이터는 모든 에이전트가 함께 쓰기 때문에, 에이전트를 하나 더 만들 때마다 데이터를 다시 가공하는 일은 일어나지 않습니다.

표본 검사는 뽑히지 않은 응답에 대해서는 아무것도 말해주지 않습니다. 그런데 실제로 문제가 되는 것은 드물게 나타나는 예외이고, 표본은 정확히 그 드문 것을 놓칩니다. 한 건당 탐지 정확도가 아무리 높아도, 본 것이 일부라면 나머지는 조사되지 않은 채 남습니다.

CT의 환각 탐지 모델은 한 건당 92% 수준으로 환각을 잡아내고, 그것을 오가는 모든 응답에 적용합니다. 일부만 뽑아 보는 방식과 비교하면 실제로 걸러지는 양이 50배까지 벌어집니다. 이게 가능한 이유는 검증을 맡는 모델이 Nora의 검증 계층에 들어 있는 27B 규모의 자체 모델이라, 프런티어 모델로 같은 검사를 돌릴 때보다 63배 저렴하기 때문입니다.

에이전트가 실행하면 환각을 탐지하고, 탐지된 것을 평가하고, 기업이 승인한 것만 개선으로 넘어갑니다. 대부분의 기업에서 이 단계들은 서로 다른 도구와 다른 담당자, 다른 프로젝트로 흩어져 있습니다. CT는 이것을 Nora 안에서 하나의 루프로 묶어, 승인된 개선이 사람 손을 거치지 않고 다음 실행에 반영되게 합니다. 품질을 올리기 위한 별도의 프로젝트가 필요하지 않은 이유입니다.

틀린 판단이 발견되면 원본 데이터에서 전처리, 검색, 조합, 답변에 이르는 전 경로를 되짚어 어느 단계에서 어긋났는지를 찾습니다. 그 원인은 사람 손을 거치지 않고 데이터와 설정에 반영되기 때문에, 같은 유형의 실수가 몇 달째 반복되는 일은 이 구조에서 일어나지 않습니다.

루프가 한 바퀴 돌 때마다 정제된 데이터와 검증된 워크플로우, 에이전트의 행동 기록이 쌓입니다. 운영이 길어질수록 시스템은 회사 상황에 더 맞아지고, 그렇게 쌓인 것은 점진적으로 기업의 자산이 됩니다. 어느 모델 공급사에도 종속되지 않으며, 원한다면 그 데이터로 기업 자체의 모델까지 나아갈 수 있습니다.

CT의 엔지니어들이 현장에서 직접 배포하고, 안전하게 데이터와 에이전트를 운영할 수 있도록 강건한 기반을 마련합니다.

수십만 건의 문서를 다루는 보험사와 진단 기업, 병원과 임상센터에서 CT는 이미 이렇게 일하고 있습니다. 쉬운 업무를 먼저 자동화하고 어려운 업무를 뒤로 미루는 대신, 실제 병목이 있는 곳에서 시작합니다.

CT는 범용 대형 모델을 직접 만들지 않습니다. 대신 CT 시스템이 제대로 작동하는 데 꼭 필요한 두 가지 역할에 집중한 자체 모델을 개발합니다. 하나는 답변이 믿을 만한지 판정하는 모델이고, 다른 하나는 기업 업무에 맞춰 비용을 낮추는 모델입니다. 둘 다 CT의 강화학습 방식으로 학습되며, 운영 데이터가 쌓일수록 함께 좋아지도록 설계돼 있습니다.

1. 환각 탐지 및 시뮬레이션 모델

에이전트가 낸 답변이 근거와 맞는지, 어디서 어긋났는지를 판정하고, 새 에이전트나 데이터 변경을 실제 배포 전에 시뮬레이션으로 검증하는 모델입니다. Qwen 를 기반으로, 정답 여부를 검증 가능한 신호로 학습시키는 RLVR(검증 가능한 보상 기반 강화학습) 방식으로 개발하고 있습니다. 사람의 주관적 평가가 아니라 “근거와 일치하는가”라는 확인 가능한 기준으로 학습하기 때문에, 산업별 규정이나 사내 문서처럼 정답이 분명한 영역에서 판정 정확도가 높습니다. 이 모델이 CT의 자가개선 루프에서 “무엇이 틀렸는지”를 찾아내는 눈 역할을 합니다.

이 모델은 약 27B 규모로, 최신 Opus 모델의 92% 수준으로 환각을 잡아냅니다. 모델이 작은 만큼 호출 비용은 63배 낮습니다. 그래서 일부만 표본으로 뽑아 보는 대신, 오가는 모든 응답을 전수 조사할 수 있습니다.

(곧 비교 차트 제공 예정)

2. 비용 최적화 특화 모델

기업 안에서 실제로 오가는 AI 질문과 응답 데이터를 수집해, 자주 반복되는 업무 유형에 맞춘 소형 특화 모델을 강화학습으로 개발합니다. 간단하고 반복적인 요청은 이 모델이 처리하고, 어렵거나 중요한 요청만 외부 고성능 모델로 보내기 때문에 전체 토큰 비용이 크게 줄어듭니다. 기업이 쓰면 쓸수록 데이터가 쌓이고, 그만큼 특화 모델이 더 많은 요청을 맡게 되어 비용은 시간이 갈수록 내려가는 구조입니다. 이 모델은 CT의 자가개선 루프에서 “찾아낸 개선을 비용으로 되돌려주는” 역할을 합니다.

3. 시뮬레이션 모델 (Beta) — 어떻게 고칠지 실험하고 고릅니다

문제가 발견되면 고칠 방법은 여러 가지입니다. 데이터를 다시 정리할 수도, 검색 방식을 바꿀 수도, 프롬프트나 모델을 교체할 수도 있습니다. 시뮬레이션 모델은 그 후보들을 실제 배포 전에 미리 돌려보고, 성능과 비용을 함께 놓고 가장 유망한 후보군을 추려내는 것을 목표로 합니다. 현재는 베타 단계로, 일부 고객 환경에서 실험 중입니다. 지금 이 단계는 엔지니어가 CT의 기록과 평가 결과를 보고 판단하며, 시뮬레이션 모델은 그 판단을 돕는 보조 도구로 먼저 붙고 있습니다. 루프에서 이 모델이 자리 잡으면 사람은 후보 중 최종 선택에만 관여하게 됩니다.

에이전트를 잘 만들고 계속 좋아지게 하려면 데이터 준비, 모델 호출, 기억과 검색, 외부 시스템 연동, 안전장치, 운영 기록과 평가가 모두 필요합니다. 지금까지 시장은 이 각각을 따로 파는 도구로 채워왔습니다. 크게 다섯 유형입니다.

모델 공급사입니다. OpenAI, Anthropic, DeepSeek 같은 곳이 성능 좋은 모델을 제공합니다. 다만 이들은 “두뇌”를 파는 것이지, 회사 데이터를 연결하거나 답변 근거를 관리해 주지는 않습니다. 공급사 한 곳에 의존하면 가격과 정책 변경에도 그대로 노출됩니다.

에이전트 개발 프레임워크입니다. LangChain, LlamaIndex 같은 개발 도구로 검색·기억·툴 호출을 코드로 조립할 수 있습니다. 유연하지만 결국 개발자가 직접 짜야 하고, 만든 뒤 운영 중 무엇이 잘못됐는지 보는 기능은 별도로 붙여야 합니다.

노코드 에이전트 빌더입니다. Dify, Flowise 같은 화면 기반 도구로 개발자 없이도 간단한 에이전트를 만들 수 있습니다. 시작은 쉽지만 회사 데이터를 정제하고 최신으로 유지하는 파이프라인이나, 여러 모델을 비용 기준으로 골라 쓰는 기능은 약합니다.

데이터·검색 인프라입니다. 벡터 DB(Pinecone, Weaviate 등)와 데이터 파이프라인 도구가 자료를 저장하고 검색하게 해줍니다. 그러나 이 도구들은 “어떤 답변이 어떤 자료를 썼는지”까지는 모르고, 자료가 낡았을 때 에이전트 쪽에 알려주지도 않습니다.

운영·평가 도구입니다. LangSmith, Langfuse, Arize 같은 도구가 호출 기록을 남기고 답변 품질을 평가합니다. 문제를 찾는 데는 유용하지만, 찾은 문제를 데이터나 설정에 반영하는 건 다시 사람이 해야 합니다.

각 도구는 자기 역할을 잘합니다. 문제는 그 사이를 잇는 일이 전부 기업 몫이라는 점입니다. 보통 이런 일이 벌어집니다.

도구 다섯 개를 이어 붙이는 데 개발 기간과 인력이 들어가고, 이어 붙인 뒤에는 그 연결을 유지하는 것 자체가 일이 됩니다.

답변이 틀렸을 때 원인이 데이터인지, 검색인지, 모델인지, 프롬프트인지를 도구별로 따로 확인해야 하고, 원본 자료까지 되짚어 가는 경로가 끊겨 있습니다.

평가 도구가 문제를 찾아도, 그걸 데이터 재정비나 모델 교체로 연결하는 것은 엔지니어의 수작업이라 개선이 자주 멈춥니다.

에이전트마다 데이터 준비를 따로 하니 같은 자료를 여러 번 가공하고, 개인정보 기준이 바뀌면 여러 곳을 고쳐야 합니다.

결국 “만드는 것”과 “좋아지게 하는 것”이 다른 도구, 다른 사람, 다른 프로젝트로 나뉘어 있었습니다. CT는 이 두 가지를 하나의 시스템, 하나의 루프로 묶는 데서 출발합니다.

CT는 다음 포지션에서 함께할 분들을 찾고 있습니다. AI가 틀리면 안 되는 산업에서, 만드는 것과 운영하는 것을 하나로 묶는 시스템을 함께 만들어갈 사람입니다.

1. TEM (Technical Engagement Manager) 고객사의 AI 시스템 배포와 운영을 총괄하는 역할입니다. 현장의 요구를 기술 언어로 옮기고, 배포 이후의 안정적인 운영과 개선 방향을 고객과 함께 설계합니다.

2. Operation Manager 회사가 빠르게 성장하는 동안 조직과 프로세스가 흔들리지 않도록 만드는 역할입니다. 채용, 재무, 계약, 내부 운영을 체계화합니다.

3. MTS (Member of Technical Staff, Engineer) CT 시스템의 핵심을 만드는 엔지니어입니다. 데이터 파이프라인, 에이전트 런타임, 관측/평가 계층까지 시스템 전 영역에 걸쳐 설계하고 구현합니다.

관심 있으신 분은 cx@conscience.technology으로 연락 주세요.

• —이미 산업 내에서 안정적인 매출 파이프라인을 가지고 있는 곳에 적합합니다.
• —매우 복잡한 도메인에 대한 집중적인 컨설팅. 대표자와 C레벨이 직접 수행합니다.
• —2026년 기준 연간 5개 기업 이내로만 진행하며, 압도적인 집중도와 정확성 확보를 목적으로 일합니다.
• —구축비는 최소 1억 원 이상, 연간 라이선싱은 5천만 원 이상이며, KPI 기반으로 성공을 보장하며 일합니다.
• —토큰비 또는 유지보수 계약은 별도로 진행이 필요할 수 있습니다.

AI는 예전부터 있었지만, 산업에 적용하는 것은 아직도 초기입니다. 그 책임과 위험을 나누며 일하겠습니다.

• —구축비, 토큰비 또는 유지보수 계약은 별도로 진행이 필요할 수 있습니다.
• —라이선싱비를 없애고, 책임 있는 소프트웨어와 AI 파트를 전적으로 CT가 운영합니다.
• —일례로 커머스 회사와 JV를 설립하고, 일부 품목을 CT 기반의 자동화 시스템과 협력사의 전문 인력으로 완전히 풀어냅니다.

• —우리는 Rondo를 만들고 있으며, 앞의 두 계약에서 반복되는 고객의 니즈를 기반으로 만듭니다.
• —커머스와 브랜드에 최적화된, 레퍼런스 기반 자동화 숏폼·이미지 생성 제품입니다.