짧은 답
대부분의 서비스는 검증된 AI API 연동으로 시작하는 것이 맞습니다. 사내 문서나 상품 정보를 근거로 답해야 하면 문서 검색 결합(RAG)을 더하고, 모델을 직접 학습시키는 방식은 API로 풀 수 없는 이유가 분명할 때만 검토하세요.
한눈에 비교
| 방식 | 잘 맞는 경우 | 주의할 점 |
|---|---|---|
| API 연동 | 일반 대화, 요약, 작성 보조 | 답변 통제와 사용량 비용 관리 |
| 문서 검색 결합(RAG) | 사내 규정, 상품 안내처럼 근거 문서가 있는 답변 | 문서 정리와 검색 품질이 결과를 좌우 |
| 자체 학습 | 특수한 데이터와 요건이 있어 API로 풀 수 없을 때 | 데이터, 인프라, 전문 인력 부담이 큼 |
개발 전에 정할 것
- AI에게 맡길 일과 맡기지 않을 일
- 답변에서 막아야 할 내용과 틀렸을 때의 대응
- 대화 기록을 저장할지, 얼마나 보관할지
- 개인정보를 AI 서비스로 보내도 되는지
- 사용량이 늘었을 때 감당할 수 있는 비용
실제 서비스에서 필요한 구성
고령자 케어 앱 실버프렌드는 모델을 직접 학습시키지 않고 ChatGPT API를 연동해 음성과 텍스트 대화를 제공합니다. 실제 서비스에서는 연동 자체보다 그 주변이 더 많은 일을 차지합니다.
- 프롬프트 서버 관리: 앱 안에 두면 고칠 때마다 스토어 심사를 받아야 합니다.
- 답변 후처리: 부적절한 답변을 걸러냅니다.
- 맥락 길이 조절과 토큰 기록: 대화가 길어질수록 커지는 비용을 관리합니다.
- 응답 끊어 보여 주기: 답변이 늦어도 앱이 멈춘 것처럼 보이지 않게 합니다.
사내 AI는 프롬프트 관리부터
현대모비스에는 직원들이 쓰는 AI 명령문을 한곳에 모아 버전별로 관리하는 도구를 개발했습니다. 챗봇을 새로 만들기 전에 잘 되는 프롬프트를 조직 안에서 공유하는 것만으로 풀리는 일도 있습니다.
자주 묻는 질문
ChatGPT API를 쓰면 입력한 데이터가 학습되나요?
서비스와 요금제마다 정책이 다르고 바뀔 수 있습니다. 사용할 AI 제공사의 최신 데이터 처리 약관을 확인하고, 민감한 정보는 보내기 전에 제거하는 구조를 함께 검토하세요.
AI 사용료는 얼마나 나오나요?
모델과 사용량에 따라 달라집니다. 작은 범위로 실제 대화를 돌려 한 건당 토큰 사용량을 재 보면 예측이 가장 정확합니다.
무료 개발 상담
바꾸고 싶은 업무를 알려 주세요. 연동할 시스템이나 장비가 있다면 함께 적어 주세요. 기획서 없이 무료로 상담할 수 있습니다.
