Page History
...
프로덕션 그레이드 플랫폼이 필요하며, AI 패턴을 구현하기 위해 서로 다른 도구를 사용할 수 있어야 한다. [301]
실패를 수용하고, 실패를 모델링해야 하며, 플랫폼이 해결해야 할 회복력의 수준을 고려해야 한다. [304]
24-48시간 내에 개념 증명을 제공하며, 흥미로운 사례가 있다면 연락하라고 권장한다. [307]
백프레셔는 사용하는 스트리밍 라이브러리 내에서 구축되며, 여러 상태 기반 클라이언트를 통해 요청을 큐잉할 수 있다. [312]
LLM이 응답을 바탕으로 호출해야 할 도구를 오케스트레이션하며, 이를 통해 동적 실행이 가능하다. [347]
보너스
이 동영상의 내용중 Stream을 이용하는 부분만 캡쳐해 코드생성을 AkkaStream과 GRPC와 연동하는 순수 코드 구현체만 따로 코드생성 시도해보았습니다.
다양한 스트림장치와 연동되는 AkkaStream 구현체의 느낌정도로 살펴보면 되겠습니다.
GTPC와 연결된 AkkaStream를 통해 액터모델 상태관리를 하는 느낌정도 살펴볼수 있습니다.
| Info |
|---|
akka stream을 이용 grpc와 상호연동하면서 llm을 이용하는 샘플코드작성 |
...