One year of agentic AI: Six lessons from the people doing the work

1. 워크플로우 중심의 접근

• 에이전트 자체가 아닌 사람, 프로세스, 기술을 포함하는 전체 워크플로우 재구상에 집중함
• 에이전트를 다양한 기술을 통합하고 조율하는 역할로 활용함

2. 에이전트가 항상 정답은 아님

• 작업의 표준화 및 변동성 수준을 분석하여 규칙 기반 자동화, 예측 분석, LLM 등 가장 적합한 도구를 선택함
• 에이전트는 주로 변동성이 높고 표준화가 낮은 복잡한 작업에 효과적임

3. 품질 저하 방지를 위한 평가 투자

• 'AI 슬롭(slop)'을 피하기 위해 직원 개발처럼 에이전트 개발에 투자하고 지속적인 피드백을 제공함
• 전문가를 통해 에이전트의 성능을 검증하는 평가(evals) 체계를 구축하고 지속적으로 테스트함

4. 모든 단계의 추적 및 검증 시스템 구축

• 최종 결과만이 아닌 워크플로우의 각 단계를 모니터링하고 평가하여 문제를 조기에 발견하고 개선함
• 법률 서비스 제공업체는 관찰 가능성 도구를 통해 데이터 품질 문제를 신속하게 식별함

5. 재사용 가능한 에이전트 구축

• 반복되는 작업을 식별하고 여러 워크플로우에서 재사용할 수 있는 에이전트 및 구성 요소를 개발하여 중복과 낭비를 줄임
• 검증된 서비스와 자산을 중앙 플랫폼에 통합하여 불필요한 작업을 30-50%까지 제거함

6. 인간의 필수적 역할과 협업 설계

• 인간은 모델 정확도 감독, 규정 준수, 판단, 예외 처리 등 필수적인 역할을 계속 수행함
• 인간과 에이전트의 효과적인 협업을 위해 작업을 재설계하고, 상호작용을 돕는 간단한 UI를 개발함 (예: 보험사의 시각적 검증 도구)