데이터 준비 - 성공적인 AI 에이전트의 비밀 무기

이 블로그에서 다룰 내용:

• 데이터 청정성과 데이터 품질의 차이점
• 에이전트를 위한 데이터 준비
• 좋은 데이터에 대한 투자가 중요한 이유
• 조악한 데이터 품질로 인한 위험

간단한 질문 먼저 하겠습니다. 더 의미 있게 일하고 현명하게 결정을 내리는 데 AI가 어떻게 도움이 될 수 있을까요? 

현재 업무 현장에서 AI는 든든한 협업자입니다. 복잡한 일도 놀랄 만큼 효율적으로 해내는 팀원입니다. 온종일 매달려야 했던 루틴 태스크를 AI가 맡는 덕분에 우리는 오직 인간 본연의 실력이 요구되는 일에 집중할 수 있게 되었습니다.

하지만 여기서 짚고 넘어가야 할 중요한 진실이 있습니다. AI 파트너가 점점 더 스마트해질수록 AI에 올바른 정보를 제공하는 우리의 역할이 더 중요해집니다. 

AI 이니셔티브를 새로운 영역으로의 탐험이라고 생각해 보세요. 지도, 분개장, 설문 등 모든 데이터는 그 탐험 경로를 짜는 데 필요한 정보입니다. 사실 모든 AI 시스템의 성공 여부는 우리가 제공하는 데이터의 품질에 달려 있습니다. 새삼스럽지 않습니다. '콩 심은 데 콩 나고 팥 심은 데 팥 난다'는 시대를 초월하는 원칙이니까요. 데이터에 결함이 있거나 불완전하거나 복잡하기만 하면 AI가 내놓는 결정과 인사이트도 신뢰할 수 없게 됩니다.

이러한 현실은 리더, 팀원, 혁신가 등 우리 모두에게 큰 도전이자 엄청난 기회입니다. 데이터가 조악하거나 모순되거나 짜임새가 엉망이면 프로젝트는 실패하고 리소스만 낭비하는 셈입니다. AI 에이전트에 일을 맡길 때는 최적의 정보를 사용하고 있는지 확인해야 합니다. 데이터 품질이 좋지 않으면 비용이 많이 드는 실수가 발생하고 시스템에 대한 신뢰가 무너질 수 있습니다.

그저 많은 데이터를 취합하는 것에서 AI에 준비된 고품질의 청정 데이터를 확보하는 것으로 초점을 전환해야 합니다. 이러한 투자는 에이전트가 진정 신뢰받는 조력자로서 우뚝 서게 하는 데 가장 중요한 실천 단계입니다.

따라서 성공적인 에이전트를 위한 준비 과정을 제대로 이해하기 위해 이른바 'AI에 준비된 데이터'에 관해 알아보겠습니다. 하지만 먼저 귀사의 정보 상태를 점검해야 합니다.

행동을 뜻하는 '청정성', 상태를 가리키는 '품질'

청정성과 품질의 차이를 이해하면 신뢰할 수 있는 AI 시스템을 구축하는 데 도움이 됩니다. 보편적인 개념 오류 중 하나는 데이터 청정성과 전반적인 데이터 품질을 혼동하는 것입니다. 서로 밀접하게 관련 있지만 다른 개념입니다. 그리고 이들을 혼동하면 각 팀의 AI 시스템 구축 방식에 근본적인 오류가 발생할 수 있습니다.

행동: 데이터 청정화

데이터 청정화는 원시 정보로부터 즉각적이고 표면적인 수준의 결함을 찾아내고 바로잡기 위한 선제적 실습 프로세스입니다. 대규모 원정을 떠나기 전에 누수를 막는 등 눈에 보이는 간단한 결함을 수리한다고 생각하면 됩니다. 이는 핵심적인 첫 단계입니다.

청정화 프로세스는 다음과 같은 기본적인 결함을 수정하거나 제거하는 데 중점을 둡니다.

• 구조적 오류: 일관되지 않은 형식을 표준화합니다(예: 모든 날짜 또는 단위가 동일하게 표시되도록 함).

• 중복: 통계적 유의성을 왜곡할 수 있는 중복된 기록을 제거합니다. AI가 명확한 단일 통합 정보 소스를 참조하고 있음을 알아야 합니다.

• 누락된 값: 필수 데이터 필드의 공백을 해결합니다.

• 손상된 데이터: 수작업 실수 또는 시스템 장애로 인한 사실적 오류를 수정합니다.

성공적인 청정화 프로세스는 선택이 아닌 필수로, 에이전트가 실제 기본 패턴을 발견하는 데 학습 역량을 집중하게 해줍니다.

상태: 데이터 품질

데이터 품질은 데이터의 측정 가능한 상태 또는 데이터의 포괄적인 사용 적합성을 의미합니다.

데이터 청정화는 우수한 데이터 품질을 달성하기 위한 필수 단계이지만, 데이터세트가 (중복과 오타가 없는) 구조적으로 청정 상태이더라도 더 심오한 상황 관련 기준에 부합하지 않으면 여전히 품질이 나쁠 수 있습니다.

AI 에이전트에게 이러한 차이점은 매우 중요합니다. 청정 상태의 데이터세트가 에이전트 서비스의 타겟 사용자들을 정확하게 대표하지 못하면, 근본적으로 그 데이터의 품질은 좋지 않습니다. 그러면 심각한 실패로 이어지기 쉽습니다.

원정의 비유를 다시 들어볼까요? 에이전트가 흥미진진한 여정을 떠나려 한다면, 데이터 청정화는 지도를 수정하는 것입니다. 데이터 품질은 AI가 필요한 모든 규칙을 숙지할 수 있게끔 지도가 실제로 전체 지역을 나타내며 상황에 맞는지를 확인하는 것입니다.

에이전트를 위한 데이터 준비 

놀랍게도 리더의 57%는 AI 데이터 준비가 무엇인지 모릅니다. 양질의 데이터와 AI를 위한 데이터 준비에 관한 대화에서는 기존 정보가 이 작업에 적합한지, 그리고 에이전트의 성공을 위해 데이터가 준비되어 있는지 묻습니다.

에이전트를 위한 데이터 준비 전략은 회사마다 다르겠지만, AI에 적합한 데이터를 확보하기 위해 가장 중요하게 고려해야 할 사항은 다음과 같습니다.

구조 정리 및 규칙 설정

이 단계에서는 기본적인 문제를 해결하고 AI가 따라야 하는 정책을 마련합니다. 그래야 AI가 명확하고 신뢰할 만한 단일 통합 데이터를 참조할 수 있습니다. 구조적인 문제를 찾아 바로잡으면서 적극적으로 데이터를 청정화해야 합니다. 여기에는 중복 레코드를 제거하고 일관되지 않은 형식 등의 오류를 수정하는 것이 포함됩니다. 최고의 도구는 이러한 중복을 하나의 정확한 단일 레코드, 즉 단일 정보 소스로 자동 연결합니다. 다음으로, 명확한 비즈니스 규칙을 사용하여 안정적이고 신뢰할 수 있는 정보를 유지합니다. 이러한 규칙은 AI의 모든 관점에서 동일한 사실이 동일하게 표시되게 합니다. 이는 안정적이고 공정한 사용자 경험에 필수적입니다.

품질 점검, 스토리 강화

이제 더 깊이 들어갈 차례입니다. 정보가 올바른지 확인한 다음 새로운 인사이트로 정보를 강화합니다. 정보가 정확하고 허용 규칙에 부합하는지 확인하기 위해 정보를 검증해야 합니다. 이는 잘못된 알고리즘이나 에이전트 할루시네이션(hallucination)을 방지하는 데 필수적입니다. 그런 다음, 내부 데이터를 신뢰받는 외부 소스와 통합하는 강력한 방법, 데이터 인리치먼트를 사용합니다. 이를 통해 AI는 고객을 더 완벽하게 360도 전방위적으로 파악할 수 있습니다. 불완전한 데이터로 학습한 AI는 위험한 가정에 취약하며, 이는 잘못된 의사결정으로 이어질 수 있습니다.

사실과 함께 데이터 컨텍스트 전달

스마트 AI를 만드는 비결은 여기에 있습니다. 무엇이 발생했는지, 왜 발생했는지, 그리고 다음에 해야 할 일은 무엇인지 AI가 알도록 해야 합니다. 데이터는 '무엇'이 발생했는지 알려줍니다(예: 고객이 배송 지연에 대한 지원 티켓을 열었음). 컨텍스트는 '왜' 발생했는지와 실천 경로를 알려줍니다. 여기에는 데이터 계보(데이터가 수집된 방법)에 대한 명확한 규칙, 그리고 민감한 세부내용에 액세스할 수 있는 사람을 정의하는 거버넌스 정책이 포함됩니다. 

예: 이 고객은 올해 20번 구매한 VIP 고객이며, 최근 세 번의 배송이 제시간에 이루어졌기 때문에 이번 배송 지연은 드문 상황입니다. 행동: 티켓의 우선순위를 지정하고 인간 에이전트가 고객에게 전화하여 다음 주문 시 할인 혜택을 제공하게 하세요. 

데이터를 상황에 맞게 활용하면 AI 파트너가 현명하고 윤리적이며 책임 있는 의사결정을 내릴 수 있으며, 이는 더 큰 비즈니스의 성공으로 이어집니다.

보안 잠금 및 동의 추적

귀사의 정보, 특히 민감한 고객 정보는 반드시 보호해야 합니다. 적합한 직원만 민감한 개인 데이터에 액세스할 수 있는, 강력한 역할 기반 보안 정책이 필요합니다. 또한 동의를 추적하고 관리해야 합니다. 즉, 고객이 개인 데이터를 수집 및 보관하는 데 동의했음을 증명할 수 있습니다. 이를 제대로 해내면 위험이 줄고 고객의 신뢰가 공고해집니다. 

좋은 데이터가 전략적 투자인 이유

고품질 데이터는 조직의 가장 중요한 자산이자 AI 에이전트의 가장 친한 친구입니다.

올바른 데이터 확보는 조직 차원의 중요한 투자입니다. 에이전트가 잠재력을 최대한 발휘하면서 가치를 제공하려면 무엇보다도 청정 데이터가 가장 중요한 역할을 합니다. 데이터 기반을 제대로 갖추면 생존을 넘어 강력한 경쟁 우위를 확보할 수 있습니다.

신뢰할 수 있는 AI 인사이트 활용

오류와 불일치를 제거하면 모델은 진정한 기본 패턴의 학습에 집중하게 됩니다. 그 결과, 정확도가 현저히 상승하고 현명한 의사결정이 내려집니다. 

청정 데이터를 활용해야 최상의 결과를 얻을 수 있습니다. 한 제조 회사는 실시간 청정 데이터를 사용한 AI 에이전트를 통해 고비용의 기기 다운타임을 30% 단축했습니다. 강력한 데이터 기반을 갖추면 모델 결과물을 더 쉽게 해석하고 이해 관계자에게 설명할 수 있습니다.

신뢰 및 효율 강화

고품질의 정보가 있으면 리더는 자신 있게 중요한 결정을 내릴 수 있습니다. 그러면 임직원 모두 더 효과적으로 협력할 수 있게 됩니다.

부실한 데이터는 시간과 비용을 낭비하게 만듭니다. 직원은 데이터 오류를 수정하는 데만 많은 시간을 보낼 수 있습니다. 또한 AI 에이전트가 이처럼 정리되지 않은 데이터를 사용해야 한다면, 상황을 파악하는 데 더 많은 컴퓨팅 성능이 필요하므로 비용이 늘어납니다. 

AI에 준비된 데이터가 있으면 에이전트는 제대로 일할 수 있으며, 그에 따라 주요 프로세스에서 최대 90%의 시간을 절약하고 예측 정확도와 속도를 40% 향상할 수 있습니다. 이러한 효율과 속도는 큰 비용 절감으로 이어집니다. 몇몇 회사에서는 은행 및 보험 비용을 30~50% 절감하고 있습니다. 한 회사는 AI 에이전트를 사용하여 고객 온보딩 시간을 3주에서 단 2일로 단축하기도 했습니다.

에이전트는 효율성을 높일 뿐만 아니라, 이러한 이점을 제공하면서 도입도 촉진합니다. 직원들은 AI를 든든한 파트너로 직접 사용하면서 경험을 쌓으며, 이는 이 기술과 조직에 대한 큰 신뢰도 향상으로 이어집니다.

낮은 데이터 품질에서 비롯되는 막대한 비용

데이터 청정성과 품질을 보장하지 못하면 시스템 차원의 위험, 그리고 막대한 가시적 재정 손실이 발생하게 됩니다.

데이터 품질을 소홀히 하면 심각한 재정적 손실, 윤리적 결함 등 다양한 문제가 발생할 수 있습니다.

재무 및 평판 위험

데이터 품질이 낮으면 할루시네이션 관련 소송, 드라이브스루 오류 등 심각한 실패 사례로 이어질 수 있습니다. 2016년에 Harvard Business Review는 전체 미국 경제에서 부실한 데이터로 인한 피해 규모가 연간 약 3조 달러에 달한다고 추정했습니다. 오늘날 AI의 발전까지 고려하면 그 금액이 얼마나 늘어날까요?

데이터 기반에 결함이 있으면 AI 시스템은 무결성과 공정성을 유지하기 어려울 수밖에 없습니다.

한 항공사 챗봇이 고객에게 항공권 요금에 대한 부정확한 정보를 제공하는 바람에 소송이 제기되었고, 항공사는 보상금을 지급하라는 명령을 받았습니다. 최근 한 로펌은 AI가 작성한 소환장과 관련하여 판사 앞에서 직접 해명해야 했습니다. 

고객이나 직원이 AI 기반 시스템과 상호 작용하는 과정에서 자신 있게 제시되었으나 사실상 잘못된 정보를 접하게 되면 신뢰가 급격히 무너지게 됩니다. 이로 인해 AI 채택이 저조해지고 향후 이니셔티브에 차질이 생기며 평판은 계속 추락합니다.

성공의 기반인 데이터 준비 

AI 파트너의 신뢰성, 공정성, 수익성은 이들의 학습에 쓰이는 데이터의 품질이 직접 좌우합니다.

원정의 비유를 다시 들어볼까요? 데이터 청정성은 첫 필수 단계입니다. 중복 및 오류와 같은 구조적 결함을 바로잡는 간단한 실천적 행동입니다. 한편, 데이터 품질은 측정 가능한 궁극적인 목표입니다. 모든 중요한 측면에서 정확하고 컨텐스트에 부합하는 등 정보가 그 목적에 부합하는 상태입니다. 데이터의 품질이 좋으면 AI 에이전트가 성공할 수 있습니다.

데이터 품질을 소홀히 하면 치명적인 실패가 일어날 가능성이 높아집니다. 부실한 데이터는 수많은 잘못된 의사결정과 신뢰 상실의 직접적인 원인이 되어 경쟁력을 약화합니다.

결국 데이터 준비는 성공적인 AI 에이전트의 기초로 간주해야 합니다. 데이터를 만족스러운 수준으로 유지하지 못하면 스스로 위기를 초래하고 전반적인 AI 투자에서 전략적 성공을 거두지 못할 수 있습니다.

데이터 준비를 전략적 투자로 간주하여 에이전트가 안정적으로 운영하도록 지원함으로써 인간과 조직이 미래의 업무 환경에서 더 유의미한 일을 하도록 이끌 수 있습니다.

놀랍게도 조직의 82%가 이미 AI 에이전트를 통해 잠재력을 극대화하고 있습니다. 귀사는 준비된 상태인가요? Workday의 최신 리포트에서 AI가 기업에 제공하는 가치에 대한 글로벌 리더 3,000여 명의 인사이트를 만나보세요.