Page History

...

이 컨텐츠는 agentic ai 서비스를 프로덕션 환경에서 산업화하고 확장 가능하며 탄력적으로 만드는 방법에 대한 실용적인 접근 방식을 제시합니다. LLM의 한계를 극복하고 내구적인 실행, 오케스트레이션, 메모리 관리를 통해 실제 사용 사례에 적용하는 방법을 코드 데모와 함께 보여줍니다.

1. 발표 소개 1

• 발표자는 Alan이며, AKA의 akka의 수석 솔루션 아키텍트이다. 13

• 오늘의 주제는 agentic ai에 대한 내용이다. 8

• 발표자는 어제 Duncan의 발표를 간단히 요약할 예정이다. 12

...

• 오케스트레이션은 상태를 유지하는 패턴을 구현해야 하며, 각 단계의 실행을 저장해야 한다. 60

• 통신의 느림을 고려하여 이를 처리할 수 있는 방법이 필요하다. 72

8. AKA의 akka의 솔루션 76

• AKA는 akka는 AI 전문가가 아니지만, 10년 이상 분산 시스템을 구현해왔다. 76

• AKA는 akka는 내구성 있는 실행을 위한 플랫폼을 제공하며, 개발자에게 SDK를 통해 다양한 구성 요소를 제공한다. 84

...

• 특정 콘텐츠를 통한 챗봇 어시스턴트 구축 사례를 다룬다. 이 경우, 공공 정보 대신 비공식 정보를 사용하여 오픈 정보를 제공하지 않아야 한다. [218]

• 사용자 요청에 따라 문서에서 정보를 검색하기 위해서는 전문적 데이터베이스와 대화 기록을 포함한 자원을 제공해야 하며, 이에 대한 시스템 프롬프트가 필요하다. [225]

• 임베딩을 통해 프롬프트를 향상시키고, 사용자의 요청을 수용할 수 있는 에이전트를 구축하여 산출과 리턴을 관리한다. [230]

• 각 세션에 대해 인메모리 데이터베이스 인스턴스를 유지하고, 요청 및 응답을 스트리밍할 수 있는 HTTP 스트리밍 엔드포인트를 설정한다. [237]

• 구축한 챗봇 'Ask AKAakka'를 통해 정보 검색을 수행하는 실습을 진행하며, 제한된 정보에 대한 요청이 있을 경우 적절한 응답을 제공하기 어려운 상황을 시뮬레이션한다. [240]

...