본문 바로가기

MAKE IT SIMPLE

검색하기
MAKE IT SIMPLE
프로필사진 빈빠끄

  • 분류 전체보기 (27)
    • Gradle (5)
      • 에러 노트 (2)
    • Spring (3)
      • 에러 노트 (2)
    • React (5)
      • 에러 노트 (1)
    • Git (1)
    • Flutter (3)
      • 에러 노트 (3)
    • 컴퓨터 공학 (5)
      • 운영체제 (5)
    • .NET (1)
    • Electron (1)
    • AI (1)
    • ReactNative (0)
Guestbook
Notice
Recent Posts
Recent Comments
Link
«   2026/05   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
Tags
more
Archives
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록2026/05/19 (1)

MAKE IT SIMPLE

SSE 기반 LLM 응답 스트리밍 구현기

LLM 이 뭘하고 있는지 사용자는 궁금해한다챗봇 기반 문서편집 AI 서비스를 개발하다 보면 LLM이 문서 및 자료를 분석하고, 사고 과정(thinking)을 거치고, 편집 명령을 생성하고, 최종 메시지를 작성하기까지 평균 10~30초가 걸린다. 그때 사용자가 원하는 건 단순한 로딩바가 아닌 "지금 AI가 뭘 하고 있는지" 아는 것이였다. 문서를 검색하는 중인지, 생각하는 중인지, 편집을 시작했는지. 그 과정이 실시간으로 보여야 했다.폴링 vs WebSocket vs SSE 비교폴링(Polling): 가장 단순하지만, LLM 응답의 특성과 맞지 않았다. 토큰 단위로 생성되는 텍스트를 0.5초마다 긁어오면 불필요한 요청이 대량 발생하고, 실시간 느낌도 살릴 수 없다.WebSocket: 양방향 통신이 가능하다..

React 2026. 5. 19. 20:58
Prev 1 Next

Blog is powered by AXZ / Designed by Tistory

티스토리툴바