Manufacturing AX
제조 AX 개념 검증은 90일 동안 무엇을 검증해야 하는가
제조 AX 개념 검증에서는 AI가 작동하는지와 함께 실제 업무 성과가 좋아지는지도 확인해야 합니다. 이 글은 A사의 품질 에이전트를 90일 동안 검증하는 과정을 따라갑니다. 사업 성과·업무 흐름·에이전트 행동·시스템 운영을 평가하고, 확대·재설계·추가 검증·중단 중 다음 행동을 결정하는 방법을 다룹니다.
2026.10.08 · 13분 읽기
점선 밑줄이 있는 용어에 마우스를 올리거나 탭하면 설명을 볼 수 있습니다.
제조 AX 개념 검증은 90일 동안 무엇을 검증해야 하는가
데모가 아니라 업무 흐름을 검증하는 방법
개념 검증 발표가 끝났다. 화면에서 에이전트가 질문을 이해하고, MES에서 데이터를 불러오고, 과거 문서를 찾아 몇 초 만에 분석을 정리한다. 회의실 반응은 좋다. “이 정도면 현업에서도 쓸 수 있겠는데요?”
시그나이터는 진짜 질문이 그다음에 온다고 본다. 이 시스템이 실제 업무 성과를 바꿨는가? 이 질문에 답하지 못하면 성공한 데모일 수는 있어도 성공한 AX라고 하기는 어렵다.
Deloitte 독일이 140곳이 넘는 제조기업을 조사한 2026년 보고서에서 84%는 이미 AI에서 측정 가능한 가치를 얻고 있다고 답했다. 그런데 공장이나 전사 수준까지 일관되게 확산된 활용 사례는 20%에 그쳤다. 시그나이터는 이 수치를 제조 AI가 실제 현장에서 계속 사용되고 다른 공장이나 회사 전체로 확대되는지까지 검증해야 한다는 신호로 본다.
개념 검증(PoC) — 「좋은 AX 전략과제는 어떻게 결정되는가」에서는 기술이 쓸 만한 정확도로 나오는지 작은 범위에서 확인하는 검증을 가리켰다. 이 글에서는 그 글의 90일 검증을 업무 흐름 수준에 적용한 것, 곧 사람과 AI와 시스템의 새 배치가 실제 업무 성과를 바꾸는지 확인하는 검증을 가리킨다.
이 글은 제조 AX 시리즈의 다섯 번째 글이다. 앞 글에서 A사의 품질 에이전트를 기존 시스템 위에 올리는 구조를 설계했다. 이 글은 그 구조가 실제 사업 가치를 만드는지를 90일 동안 어떻게 검증하고, 검증이 끝났을 때 무엇을 결정해야 하는지를 다룬다.
개념 검증의 질문부터 바꿔야 한다
전통적인 AI 개념 검증은 모델이 답을 잘하는지, 정확도가 몇 퍼센트인지, 데모가 돌아가는지를 본다. 필요한 질문이다. 하지만 시그나이터는 제조 AX에서 적어도 네 층을 함께 봐야 한다고 본다. 실제 성과가 달라졌는지(사업), 사람의 일이 달라졌는지(업무 흐름), AI가 올바른 행동 경로를 밟았는지(에이전트), 실제로 운영할 수 있는지(시스템)다. 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크는 AI의 설계, 개발, 사용, 평가 전반을 다루고, 산하 자원 센터는 시험·평가·검증·확인(TEVV) 자료를 제공한다. 시그나이터는 이를 정확도 하나가 아니라 신뢰성과 운영 위험까지 재라는 요구로 읽는다.
정답 하나로는 에이전트를 평가할 수 없다
에이전트는 답 하나만 내지 않는다. 찾고, 도구를 부르고, 다른 에이전트나 사람에게 넘기고, 시스템에 행동하기도 한다. A사는 에이전트가 QMS에 확정 기록을 남기거나 설비를 움직이지 못하도록 했다. 정보 검색과 도구 호출, 다른 에이전트나 사람에게 넘기는 과정은 허용하되 평가해야 한다. 그래서 평가 방식도 달라져야 한다.
트레이스(Trace) — 한 번의 실행에서 일어난 모델 호출, 도구 호출, 가드레일, 인계를 끝까지 남긴 기록이다.
OpenAI의 에이전트 평가 안내서는 트레이스를 바탕으로 올바른 도구를 골랐는지, 넘겨야 할 때 넘겼는지, 지시나 안전 정책을 어기지 않았는지, 프롬프트나 라우팅을 바꾼 뒤 전체 동작이 나아졌는지를 평가하라고 설명한다. 제조 현장에서는 여기에 업무 규칙과 운영 위험이 더해진다. 시그나이터는 정답을 말한 에이전트보다 올바른 행동 경로를 밟은 에이전트가 더 중요할 수 있다고 본다.
90일은 산업 표준이 아니라 검증 설계다
「좋은 AX 전략과제는 어떻게 결정되는가」에서 A사는 견적 과제를 30일씩 세 구간으로 검증했다. 목적은 90일 안에 시스템을 완성하는 것이 아니라 다음 투자의 질을 높일 만큼 근거를 확보하는 것이었다. 품질 에이전트도 같은 목적으로 90일을 썼지만 구간은 달랐다. 첫 30일에 기준선과 목표 변화를 정하는 것은 같았지만, 에이전트와 평가 기준을 만드는 데 시간이 더 걸려 실제 건 시험은 둘째 30일이 아니라 마지막 30일로 밀렸다.
장면으로 보기
90일은 결정에 이르는 순서다
도식은 좌우로 밀어 볼 수 있다
1 / 4 · 첫 2주: AI를 만들지 않는다
최근 실제 건을 따라가며 기준선을 잰다. 감지부터 승인까지의 시간, 손 쓴 시간, 묻는 곳 수, 재발 여부. 기준선이 없으면 개선도 증명할 수 없다.
견적 과제의 30일씩 세 구간 아래에 품질 에이전트의 발견, 재설계, 구축, 검증 네 구간을 하나씩 쌓으며 구간마다 무엇을 만들고 재는지를 보여 주고, 마지막에 “그래서 결정은?”이라는 질문에서 멈춘다. 단계 버튼이나 키보드 좌우 화살표로 넘길 수 있다
- 첫 2주: AI를 만들지 않는다: 최근 실제 건을 따라가며 기준선을 잰다. 감지부터 승인까지의 시간, 손 쓴 시간, 묻는 곳 수, 재발 여부. 기준선이 없으면 개선도 증명할 수 없다.
- 다음 2주: 바뀔 일을 문장으로: 목표 변화를 문장으로 쓰고, 하면 안 되는 것과 사람 승인이 필요한 행동과 판단을 멈출 조건을 정한다. 여기까지가 첫 30일의 핵심 가정 확인이다.
- 5~9주: 해법과 평가를 함께 만든다: 고정형 흐름, 에이전트, 연결, 화면, 권한, 기록을 최소한으로 만들고, 같은 시기에 평가 기준 묶음을 만든다. 무엇을 성공이라 볼지가 먼저다.
- 10~12주: 실제 건으로 비교한다: 실제 건 30건을 새 흐름으로 처리하고 기준선과 비교한다. 현업이 옛 방식으로 돌아가지 않았는지, 장애가 나면 복구되는지도 본다. 견적 과제와 달리 실제 건 시험이 마지막 30일에 왔고, 12주 뒤 남은 날에 결정한다. 그리고 질문이 남는다.
- 90일이 남기는 것: 90일 동안 만드는 것은 완성된 시스템이 아니라 결정할 근거다. 어떤 결과면 어떤 결정을 내릴지는 아래에서 직접 골라 볼 수 있다.
재설계 구간에서 A사가 쓴 목표 변화 문장은 이랬다.
품질 엔지니어가 MES·QMS·문서에서 직접 근거를 찾고 원인 후보를 정리하던 구조를, 고정형 업무 흐름이 근거를 모으고 관리형 에이전트가 후보와 근거를 준비하며 엔지니어는 원인 확정과 조치 결정에 집중하는 구조로 바꾼다.
같은 구간에서 안전장치도 정했다. 에이전트가 QMS에 직접 기록하거나 설비를 움직이지 않도록 했다. 출하 보류 확정, 생산 중단, 고객 통보에는 사람의 승인이 필요했다. 설비 조건 데이터가 빠지면 원인 후보를 내지 않고 사람에게 넘기도록 했다. 그리고 구축 구간에는 해법과 함께 평가 기준을 만들었다.
평가 기준 묶음(Eval Harness) — 에이전트의 행동 경로를 반복해서 잴 수 있도록 모아 둔 평가 사례와 채점 기준이다. A사는 필요한 근거를 빠짐없이 가져왔는지, 잘못된 근거를 인용하지 않았는지, 도구를 맞게 골랐는지, 사람에게 넘길 때 넘겼는지, 승인 없이 실행된 고위험 행동이 없는지, 사람이 얼마나 고쳤는지, 같은 실패가 반복되는지를 기준으로 삼았다.
검증 구간의 결과는 이렇다.
마지막 결정은 성공이냐 실패냐가 아니다
시범 결과를 성공과 실패 둘로만 나누면 다음 행동이 흐려진다. 시그나이터는 적어도 네 가지 결정, 곧 확대, 재설계, 추가 검증, 중단을 나눠야 한다고 본다. 결과마다 어떤 결정이 맞는지 먼저 골라 보자.
먼저 골라 보기
90일 뒤의 네 가지 결과, 어떤 결정이 맞을까
결과마다 확대, 재설계, 추가 검증, 중단 가운데 하나를 고르면 이유가 바로 나온다. 첫 번째는 A사의 결과이고 나머지 셋은 가상의 다른 결과다.
1A사: 손 쓴 시간과 리드타임이 줄고, 사람 수정률이 내려가고, 고위험 무승인 행동은 0건
실제 건 30건 기준. 협력업체 회신 대기는 범위 밖이라 그대로다.
2시간은 줄었지만 담당자들이 엑셀 정리를 계속 병행한다
새 화면과 옛 방식이 함께 돌고 있다.
3근거 재현율은 좋지만 30건 가운데 8건에서 설비 데이터가 비었다
빈 건에서는 에이전트가 판단을 멈추고 사람에게 넘겼다.
4줄어든 손 쓴 시간이 한 달에 몇 시간이고, 연결 비용과 위험은 크다
현업 반응은 좋았다.
4가지를 모두 고르면 정리가 나온다. (0 / 4)
네 가지 개념 검증 결과마다 확대, 재설계, 추가 검증, 중단 가운데 어떤 결정이 맞는지 먼저 골라 보고 이유를 확인한다. 첫 번째는 A사의 결과이고 나머지 셋은 가상의 다른 결과다. 응답은 저장되지 않는다
A사의 결정은 확대였다. 같은 공장의 다른 라인부터, 그다음 두 번째 공장으로. 출하 판단 화면은 엔지니어들의 피드백대로 고친 뒤에 함께 넓히기로 했다. 시그나이터는 중단을 고를 수 있어야 좋은 AX 포트폴리오가 된다고 본다. 모든 AI 아이디어를 구축해야 하는 회사는 없다. 경영진이 다음 투자를 정하려면 현재 기준선, 검증한 목표 변화, 실제 가치, 남은 위험, 필요한 연결, 현업의 실제 사용, 확대했을 때의 경제성이 정리돼 있어야 한다.
운영의 실패가 다음 버전의 시험이 되어야 한다
에이전트는 출시 뒤에도 실패한다. 시그나이터는 실패 자체보다 같은 실패를 되풀이하는 것이 문제라고 본다. A사의 에이전트는 검증 구간에서 같은 원자재 Lot 사례를 근거로 과하게 인용하는 실패를 반복했다. 엔지니어가 수정한 기록과 트레이스를 평가 사례로 모았다. 이 사례를 활용해 다음 버전에서는 같은 실패를 반복하지 않도록 고쳤다.
그래서 시그나이터는 개념 검증의 평가 사례를 프로젝트가 끝나면 버리는 산출물이 아니라, 이후 운영 품질을 관리하는 엔지니어링 자산으로 본다.
개념 검증은 AI의 시험이 아니라 새로운 일하는 방식의 시험이다
제조기업이 검증해야 하는 것은 “AI가 품질 업무를 잘할까”가 아니다. 더 정확한 질문은 이것이다.
사람과 AI와 기존 시스템의 역할을 이렇게 다시 배치했을 때 실제 사업 성과가 좋아지는가?
개념 검증을 계획하고 있다면 개발 범위보다 먼저 무엇을 검증하고 어떤 결정을 내릴지부터 정해 보자.
내 계획으로 점검하기
우리 개념 검증 계획은 무엇을 검증하는가
이미 정한 항목을 고르면, 빠진 것이 먼저 정할 곳으로 정리된다.
보이는 신호를 고르면 여기에 정리된다.
우리 회사의 개념 검증 계획에서 이미 정한 항목을 고르면, 기준선, 목표 변화 문장, 안전장치, 평가 기준 묶음, 네 층 지표, 결정 기준, 운영 실패의 평가 사례화 가운데 빠진 것이 먼저 정할 곳으로 정리된다
이 질문에 답했다면 시범은 자산이 될 수 있다. 그런데 한 공장에서 잘된 업무 흐름을 다른 공장으로 가져가는 순간 또 다른 문제가 시작된다. 설비가 다르고, MES 버전이 다르고, 공정도 사람도 다르다. 마지막 글에서는 이 문제를 다룬다. 하나의 업무 흐름을 바꾼 뒤, 공장 전체를 어떻게 바꿀 것인가.
Reference Notes
- Deloitte 독일, AI in Manufacturing 2026: From pilot value to scaled industrial impact. 140곳 이상 제조기업 조사. 84%가 측정 가능한 가치를 얻고 있고, 활용 사례의 20%만 공장·전사 수준으로 일관되게 확산됐다는 결과를 참고했다. 표본의 국가 구성은 확인하지 못했고 자기 보고라는 점을 감안했다.
- OpenAI, Evaluate agent workflows. 트레이스를 한 실행의 모델 호출·도구 호출·가드레일·인계 기록으로 정의한 부분과, 도구 선택·인계 시점·정책 위반·변경 뒤 전체 동작 개선을 평가 질문으로 든 부분을 참고했다. 문서에 날짜 표기는 없다.
- NIST, AI Risk Management Framework(AI RMF 1.0, 2023)와 Trustworthy & Responsible AI Resource Center. AI의 설계·개발·사용·평가 전반을 다룬다는 범위와 TEVV 자료 제공을 참고했다.
- 개념 검증을 기대가치와 검증 우선순위로 판단하는 관점은 시그나이터 Knowledge의 「AX Value Realization」에서, 운영 실패를 평가 사례로 바꾸는 순환은 「Agent Improvement Loop」와 「Macro Evals for Agentic Systems」에서 더 자세히 다룬다.
- 본문의 A사는 컨설팅 현장에서 반복해 만난 장면을 하나로 각색한 가상의 기업이며 특정 고객사를 가리키지 않는다. 기준선과 검증 결과의 수치, 실패 유형, 결정 고르기의 가상 결과 셋도 장면을 설명하기 위한 각색이다.
이 글은 제조 AX 시리즈의 다섯 번째 글이다. 앞 글에서는 품질 에이전트가 기존 제조 시스템과 함께 일하는 구조를 설계했다. 이번 글에서는 그 구조를 90일 동안 검증하고, 확대·재설계·추가 검증·중단 가운데 다음 행동을 고르는 법을 다뤘다. 전략과제 선정에 관한 글의 90일 검증을 실제 업무 흐름에 적용한 것이다.
관련 글: 「제조 AI 에이전트는 MES·ERP·QMS와 어떻게 함께 일하는가」, 「좋은 AX 전략과제는 어떻게 결정되는가」.
About Seigniter
시그나이터(Seigniter)는 기업의 AI 도입을 넘어, AI로 실제 일하는 방식을 바꾸는 AX(AI Transformation)를 고민하는 컨설팅펌입니다.
어떤 AI 기술을 쓸지부터 정하기보다 기업에서 실제로 어떤 일이 이루어지는지 살펴봅니다. 어디에서 비효율과 병목이 생기는지, 어떤 판단과 반복 작업이 있는지 파악하고 사람과 시스템, AI의 역할을 어떻게 나눌지 설계합니다.
기업의 전략과 현장, 비즈니스 문제와 AI 기술 사이에는 아직 큰 간극이 있습니다.
시그나이터는 이 간극을 연결해 AI가 실제 업무 안에서 작동하는 구조를 만들고자 합니다.
AI를 도입하는 데서 그치지 않고, AI와 함께 일하는 방식을 설계합니다.
Next step