2025-11-19

회사에서 LLM(Large Language Model)을 어떻게 활용할 수 있을까?

최근 몇 년간 인공지능(AI) 분야, 특히 대규모 언어 모델(LLM)의 발전은 놀라울 정도입니다. LLM은 단순히 텍스트를 생성하는 것을 넘어, 복잡한 문제를 해결하고, 창의적인 콘텐츠를 만들고, 다양한 산업 분야에서 혁신을 주도할 수 있는 잠재력을 보여주고 있습니다. 특히 금융 서비스를 포함한 여러 산업에서 LLM을 도입하여 업무 효율성을 높이고 새로운 가치를 창출하려는 움직임이 활발합니다.

이 글에서는 기업들이 LLM을 활용하여 업무 방식을 혁신하고 경쟁력을 강화할 수 있는 다양한 방안을 살펴보고자 합니다.

1. LLM 도입, 더 이상 선택이 아닌 필수

과거에는 AI 기술 도입이 '호기심'이나 '관망'의 대상이었다면, 이제는 '생산성 향상'과 '비용 절감'을 위한 필수적인 요소로 인식되고 있습니다. 특히 코딩 분야에서 LLM의 강력한 제품 시장 적합성(Product-Market Fit)이 입증되면서, 금융을 비롯한 다른 분야에서도 LLM 도입이 가속화되고 있습니다.

한 예로, 노르웨이 국부 펀드(NBIM)는 9,000개에 달하는 포트폴리오 기업에 대한 정보를 LLM과 연동하여 포트폴리오 매니저들이 매일같이 투자 관련 인사이트를 얻도록 지원하고 있습니다. 이처럼 LLM은 분석가들이 반복적이고 지루한 업무에서 벗어나 고객과의 관계 구축, 비즈니스 모델 이해 등 핵심 업무에 집중할 수 있도록 돕습니다.

2. LLM 활용, 어디서부터 시작해야 할까?

LLM을 도입하려는 기업들은 종종 AI 챗봇(Chatbot) 구축부터 시작하는 경향이 있습니다. 하지만 최근에는 모델 컨텍스트 프로토콜(MCP, Model Context Protocol)과 같은 기술이 발전하면서 챗봇이 훨씬 강력해졌습니다. 이제 LLM은 다양한 시스템과 상호 작용하며, 기업이 필요로 하는 정보를 더욱 효율적으로 제공할 수 있습니다.

LLM은 도구 설명(Tool Description)과 도구 이름(Tool Name)만으로도 도구의 기능을 이해할 수 있을 만큼 지능적입니다. 또한, LLM은 '유용성(Helpful)', '무해성(Harmless)', '정직성(Honest)'과 같은 기본 원칙을 내재하고 있어 안전하게 활용할 수 있습니다.

3. LLM, 안전하고 신뢰할 수 있어야 한다

LLM을 기업 환경에 안전하게 배포하는 것은 매우 중요합니다. 모델이 질문에 정확하게 답변하고, 문제에 대한 이해도를 높이며, 결과에 대한 신뢰성, 검증 가능성, 감사 가능성을 제공해야 합니다. LLM은 AI 안전(AI Safety)이라는 기본 원칙 위에 구축되어야 하며, 기업은 이러한 안전성을 확보하기 위해 노력해야 합니다.

4. LLM, 코드 이해 능력을 넘어 금융 전문성을 갖춰야 한다

LLM은 코드 생성 및 이해 능력이 뛰어나 디지털 시스템과의 상호 작용에 유용합니다. 하지만 금융 분야는 복잡하고 규제가 엄격하며, 정확성이 매우 중요합니다. 따라서 LLM은 금융 관련 지식과 전문성을 갖춰야 합니다.

최근에는 LLM이 엑셀(Excel) 문서나 파워포인트(PowerPoint) 프레젠테이션을 생성하는 기능도 제공합니다. 이는 LLM이 가상 머신 내에서 파이썬(Python) 코드를 실행하여 엑셀 문서를 편집, 분석, 생성하고, DCF(Discounted Cash Flow) 모델과 같은 복잡한 금융 모델을 만들 수 있음을 의미합니다.

5. LLM, 금융 서비스에 특화된 역량을 갖춰야 한다

LLM이 금융 서비스 분야에서 성공적으로 활용되기 위해서는 다음과 같은 세 가지 핵심 역량을 갖춰야 합니다.

검색(Retrieve): LLM은 금융 분석가들이 사용하는 핵심 데이터 소스에 연결하여 경쟁사보다 빠르게 인사이트를 도출할 수 있어야 합니다.
분석(Analyze): LLM은 코드 또는 스프레드시트를 통해 대규모 분석을 수행할 수 있어야 합니다. 또한, 금융 모델을 이해하고 엑셀과 같은 시스템을 조작하여 필요한 계산을 수행할 수 있어야 합니다.
생성(Create): LLM은 스프레드시트, 파워포인트 문서, 워드(Word) 문서 등 다양한 형태의 결과물을 생성할 수 있어야 합니다. 이러한 결과물은 고객에게 바로 제시할 수 있을 만큼 완성도가 높아야 합니다.

이러한 역량을 바탕으로 LLM은 엔드 투 엔드(End-to-End) 에이전트 시스템으로서 금융 서비스 업무를 자동화하고 효율성을 극대화할 수 있습니다.

6. LLM, 데이터 연결을 넘어 시스템 통합을 이뤄야 한다

LLM은 다양한 시스템과의 연결을 통해 데이터를 검색하고 분석할 수 있습니다. 예를 들어, 스노우플레이크(Snowflake)에서 데이터를 가져와 해당 데이터에 포함된 ID를 기반으로 세일즈포스(Salesforce) 인스턴스에 연결할 수 있습니다. 또한, LLM은 코드를 작성하여 정보를 조합하고, 분석 결과를 원하는 환경에 표시할 수 있습니다.

7. LLM, 모델, 에이전트, 플랫폼의 3가지 레이어로 구성되어야 한다

LLM 솔루션은 모델(Models), 에이전트 기능(Agentic Capabilities), 플랫폼(Platform)의 세 가지 레이어로 구성되어야 합니다.

모델: LLM은 금융 서비스에 최적화된 모델이어야 합니다. 이를 위해 실제 금융 서비스 사용 사례를 통해 모델을 지속적으로 개선해야 합니다.
에이전트 기능: LLM은 사용자가 모델과 상호 작용할 수 있도록 지원하는 코드, 즉 에이전트 기능을 제공해야 합니다. 이러한 에이전트 기능은 딥 리서치(Deep Research)와 같은 특정 작업을 수행할 수 있도록 설계되어야 합니다.
플랫폼: LLM은 유연한 플랫폼을 제공하여 고객이 쉽게 맞춤 설정하고 배포할 수 있도록 해야 합니다. 이를 위해 S&P, 팩트셋(FactSet), 피치북(PitchBook)과 같은 업계 파트너와 협력하여 통합을 구축해야 합니다.

8. LLM 도입, 문화적 수용이 성공의 열쇠

LLM 도입 성공 여부는 특정 산업 분야보다는 기업 문화에 더 큰 영향을 받습니다. 최고 경영진의 적극적인 지원과 함께, 직원들이 자유롭게 실험하고 새로운 도구를 시도하는 문화가 조성되어야 합니다.

실제로 BCI와 같은 기업은 LLM을 도입하여 업무 방식을 근본적으로 변화시켰습니다. 과거에는 분석가들이 엑셀 시트에서 수동으로 업데이트하던 비교 분석(Comps Analysis) 작업을, 이제는 LLM을 통해 S&P 및 팩트셋 데이터 세트에 직접 연결하여 실시간 대시보드를 구축하고 있습니다. 이를 통해 분석가들은 업무 속도를 높일 뿐만 아니라 업무 방식을 혁신하고 있습니다.

9. LLM, 기억력(Memory)을 갖춰야 한다

LLM은 사용자와의 상호 작용을 통해 얻은 정보를 기억하고 학습하는 능력이 필요합니다. 이를 통해 LLM은 사용자의 선호도를 파악하고, 오류를 수정하며, 지속적으로 개선될 수 있습니다. 예를 들어, 사용자가 특정 EBITDA 계산에 S&P 데이터를 사용하도록 LLM에 지시하면, LLM은 이러한 선호도를 기억하고 다음에도 동일한 방식으로 작동해야 합니다.

10. LLM, 금융 서비스의 미래를 어떻게 바꿀까?

LLM은 금융 서비스 분야에서 다음과 같은 변화를 가져올 것으로 예상됩니다.

특정 하위 분야에 대한 심층적인 분석: LLM은 사모 펀드(Private Equity), 헤지 펀드(Hedge Funds), 보험 회사(Insurance Firms), 투자 은행(Investment Banks) 등 특정 하위 분야의 고유한 요구 사항을 충족하도록 설계될 것입니다.
모든 곳에서 사용 가능한 LLM: LLM은 브라우저뿐만 아니라 엑셀, 파워포인트 등 다양한 환경에서 사용할 수 있게 될 것입니다.
업계 파트너와의 협력 강화: LLM 제공업체는 S&P, 팩트셋 등 업계 파트너와 협력하여 데이터 통합을 강화하고 LLM의 기능을 확장할 것입니다.
고객과의 긴밀한 협력: LLM 제공업체는 고객과의 긴밀한 협력을 통해 고객의 요구 사항을 파악하고 LLM을 지속적으로 개선할 것입니다.

결론

LLM은 기업들이 업무 방식을 혁신하고 경쟁력을 강화할 수 있는 강력한 도구입니다. LLM을 성공적으로 도입하기 위해서는 안전성, 신뢰성, 금융 전문성, 시스템 통합, 문화적 수용 등 다양한 요소를 고려해야 합니다. 또한, LLM 제공업체와 고객 간의 긴밀한 협력을 통해 LLM을 지속적으로 개선하고 고객의 요구 사항을 충족해야 합니다.

LLM 도입은 더 이상 선택이 아닌 필수입니다. 지금부터 LLM 도입을 준비하고, LLM을 활용하여 업무 방식을 혁신하고, 경쟁력을 강화하십시오.

회사에서 LLM(Large Language Model)을 어떻게 활용할 수 있을까?