Apr 3, 2026

Tool Calling 가이드: LLM이 외부 도구를 사용하는 방식

LLM은 텍스트를 잘 생성하지만, 혼자서 할 수 있는 일에는 한계가 있습니다. 현재 시각을 확인하거나, 데이터베이스를 조회하거나, 외부 API를 호출하려면 모델이 실제 도구와 연결되어야 합니다. 이때 자주 등장하는 개념이 tool calling입니다.

이 글에서는 아래 내용을 정리합니다.

tool calling이 무엇인지
일반 채팅과 무엇이 다른지
API 호출과 어떤 관계인지
agent 시스템에서 왜 중요한지

핵심은 tool calling은 모델이 답을 지어내는 대신, 필요한 순간에 외부 기능을 호출하도록 연결하는 방식이라는 점입니다.

Tool calling이란 무엇인가

tool calling은 모델이 응답을 바로 생성하는 대신, 특정 작업을 위해 외부 함수나 API를 호출할 수 있도록 만드는 방식입니다.

예를 들어:

날씨 API 조회
사내 문서 검색
계산 함수 실행
데이터베이스 읽기

같은 작업을 모델이 직접 하지 않고 도구에 맡깁니다.

왜 필요한가

모델은 기본적으로 텍스트 생성기입니다. 그래서 아래 같은 작업은 바깥의 도구가 더 정확합니다.

최신 정보 조회
계산
시스템 상태 확인
파일 읽기와 쓰기

tool calling을 붙이면 모델은 “무엇을 해야 하는지 판단”하고, 실제 실행은 더 믿을 수 있는 시스템에 맡길 수 있습니다.

일반 채팅과 무엇이 다를까

일반 채팅은:

질문을 받는다
답을 생성한다

로 끝나는 경우가 많습니다.

반면 tool calling이 있으면:

질문을 해석한다
필요한 도구를 고른다
도구를 호출한다
결과를 받아 정리한다

로 흐름이 확장됩니다.

즉, 단순한 답변 시스템에서 실제 작업 시스템으로 한 단계 넘어가는 셈입니다.

API 호출과는 같은 말일까

비슷하지만 완전히 같은 말은 아닙니다.

API 호출은 실제 외부 시스템과 통신하는 행위
tool calling은 모델이 어떤 도구를 어떤 입력으로 써야 하는지 결정하는 흐름

즉, API 호출은 구현 단계에 가깝고, tool calling은 모델과 도구가 연결된 상위 개념에 가깝습니다.

agent 시스템에서는 왜 중요할까

agent는 보통:

목표를 이해하고
필요한 정보를 찾고
도구를 선택하고
결과를 바탕으로 다음 행동을 정합니다

이 과정에서 tool calling은 agent가 바깥 세계와 상호작용하는 핵심 통로가 됩니다.

그래서 많은 agent 시스템은 프롬프트만 잘 쓰는 것이 아니라, 어떤 도구를 연결하고 어떻게 호출할지를 함께 설계합니다.

잘못 붙이면 어떤 문제가 생길까

tool calling은 강력하지만, 아무 도구나 연결하면 오히려 불안정해질 수 있습니다.

예를 들어:

잘못된 도구를 자주 고르는 경우
입력 스키마를 자꾸 틀리는 경우
권한이 너무 넓은 경우
실패 처리 없이 무한 재시도하는 경우

이런 문제는 실제 운영에서 꽤 자주 나옵니다.

자주 하는 오해

1. tool calling이 있으면 모델이 갑자기 똑똑해진다

도구를 쓸 수 있게 되는 것이지, 시스템 설계 문제까지 자동으로 해결되는 것은 아닙니다.

2. 모든 작업을 tool calling으로 처리해야 한다

단순 설명이나 일반적인 글 생성은 그냥 모델이 처리하는 것이 더 효율적일 수 있습니다.

3. tool calling과 agent는 같은 말이다

tool calling은 agent를 구성하는 중요한 요소 중 하나이지만, agent 전체와 동일한 개념은 아닙니다.

FAQ

Q. tool calling은 최신 정보 문제를 해결해주나

많은 경우 도움이 됩니다. 최신 데이터 소스를 직접 조회할 수 있기 때문입니다.

Q. tool calling이 있으면 hallucination이 없어지나

완전히 없어지지는 않습니다. 다만 필요한 정보를 외부에서 가져오게 하면 줄이는 데 큰 도움이 됩니다.

Q. 입문자는 무엇부터 이해하면 좋을까

프롬프트, RAG, agent의 기본 흐름을 이해한 뒤 보면 tool calling의 역할이 더 잘 보입니다.

먼저 읽어볼 가이드

검색 유입이 많은 핵심 글부터 이어서 보세요.