제니퍼소프트 인턴 닐라가 만나본 제니퍼 AI 개발자 포테이토와의 심층 인터뷰!
인턴 닐라가 만나본 AI 개발자 포테이토와의 심층 인터뷰!
안녕하세요! 제니퍼소프트의 인턴 닐라입니다. 반갑습니다 ☺️
AI, 최근 각종 산업의 패러다임을 바꾸고 있는 전 세계인의 초미의 관심사죠? 항상 기술의 변화에 발맞추어 가는 제니퍼소프트에서도 지난 2023년 12월, 대화형 인공지능 ‘제니퍼 챗봇’이 릴리즈 되었는데요. 모니터링 회사에서 챗봇은 왜, 어떻게 태어나게 되었을까요? 챗봇 개발을 담당하신 포테이토님을 만나 챗봇의 시작부터 현재까지의 여정, 그리고 앞으로의 발전 방향에 대해 다양한 대화를 나누었습니다. 지금부터 그 이야기를 공유합니다!
(챗봇을 바로 만나보고 싶다면? 맨 아래 링크를 참고해 주세요! 🤖)
안녕하세요! 먼저 간단한 자기소개 부탁드립니다. 제니퍼소프트에서는 어떤 직책을 맡고, 어떤 일을 하시나요?
안녕하세요. 저는 현재 제니퍼소프트에서 AI 머신러닝 연구를 맡고 있는 포테이토 입니다. 제니퍼에서 일하는 동안 백엔드, 프론트엔드, 데이터 인프라 빅데이터 분석, 앱 개발 등 다양한 일들을 했었는데, 현재는 주로 백엔드 개발과 제니퍼 데이터에 AI를 적용하는 ‘사만다 프로젝트’에 초점을 두고 있고요, 그 일환으로 최근에는 제니퍼 챗봇을 개발하고 디벨롭 중입니다.
정말 다양한 일들을 하셨네요!
지금 하고 계신 챗봇 프로젝트는 어떻게, 어떤 목적을 가지고 시작되었나요?
제니퍼소프트의 R&D팀에는 ‘모니터링 스터디’라는 사내 스터디가 존재합니다. 평소 AI에 관심을 가지고 꾸준히 공부를 해왔는데, 최근 GPT와 각종 대화형 인공지능들이 각광을 받기 시작하면서 제가 기존에 참여했던 ‘제니퍼 프론트’ 제품 매뉴얼을 예시로 적용해 발표를 했었습니다. 그런데 멤버들의 반응이 좋았고, ‘이거 좋은데요, 만들어 보시죠’ 하고 만들게 되었습니다 😄
또, 제니퍼 APM은 항상 ‘쉽고 편리한 모니터링’을 추구합니다. 때문에 평소에도 제품을 사용자 친화적으로 만들고, 매뉴얼도 더 쉽게 쓰려고 노력하는 편인데요, 설명이 굉장히 꼼꼼하고 정교하게 작성된 만큼 한편으로는 그 분량이 방대해졌습니다. 한국어, 영어, 일본어 세가지 언어로 작성되어 총 2000페이지 가량에 달하는 문서를 고객이 일일이 찾아보고 읽기란 쉽지 않습니다. 이런 맥락에서 챗봇은 매뉴얼을 더 쉽게 읽고, 제품을 더 쉽게 쓸 수 있도록 도와주는 획기적인 도구가 될 수 있겠다고 생각했습니다.
스터디에서 시작한 아이디어가 실제로 구현되다니 신기하네요.
기술 스터디를 통해 영감을 얻기도 하나요?
기술 스터디는 꽤 오래된 문화입니다. 예전에는 매주 진행하다가 현재는 격주로 진행되고 있습니다. 각자 본인이 만들고 있는 기술을 소개하기도 하고, 자기가 관심을 갖고있는 기술이나 새로운 기술을 소개하고 그 중 일부는 제품에 적용해보기도 합니다. 저는 제 발표를 들은 멤버들이 질문을 주실 때 가장 큰 영감이 옵니다. 공부를 하면서 내가 놓치는 부분을 보게 되기도 하고, 우리에게 가장 필요한게 뭔지 포인트를 잃지 않게 도와주기도 합니다. 새로운 관점과 시각을 제공해준달까요. 그래서 저도 다른 분들의 발표를 들을 때 질문을 많이 하려고 노력합니다.
AI 열풍이 본격적으로 시작되면서 다양한 언어모델(LLM)과 그것을 가공하는 기술이 등장했는데, 제니퍼 챗봇은 어떤 모델, 방식을 사용했나요?
우선, 제니퍼 챗봇은 GPT 모델을 쓰고 있습니다. 당시 3.5버전이었던 GPT 모델로 결정한 이유는, API를 가장 안정적으로 운영해주고 있었기 때문입니다. Anthropic, Google Bard와 같은 후보도 있었지만, 다운타임이 길거나 성능이 떨어지는 이슈가 존재했습니다. 그래서 GPT 3.5가 서비스에 적용할 수 있는 거의 유일한 API였어요. 이제는 Claude, Gemini 처럼 제품에 적용할 수 있을 정도로 성능이 괜찮은 모델도 등장했고 언어모델을 바꾸려면 바꿀 수 있지만, 현재까지는 GPT가 만족스러운 퍼포먼스를 보이고 있어서 굳이 그러지 않고 있습니다. 그리고 이 GPT 모델에 ‘RAG’라는 기술을 적용하여 현재의 제니퍼 챗봇이 되었습니다.
RAG가 제니퍼 챗봇에 차별점을 주는 기술 같은데, RAG가 정확히 무엇인가요? 🤔
어떤 이유로 그런 방식을 택했는지도 궁금해요.
RAG(Retrieval-Augmented Generation)는 대규모 언어모델(LLM)이 응답을 생성하기 전에, 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 먼저 참조하도록 하는 기술이에요. 쉽게 말해, GPT에게 ‘제니퍼 어떻게 써?’ 라고 물어봐도, GPT의 웹에 오픈되어있는 정보 만으로는 대답을 못 하거나 엉뚱한 대답을 하니까, 우리의 매뉴얼을 학습시켜 거기서 검색하게끔 하는거에요. 이 기술을 적용한 AI는 사용자의 질문, (제니퍼) 매뉴얼 분석, 대답 생성이라는 세가지 명령을 받고 질문에 맞추어 매뉴얼을 요약, 편집한 답변으로 응답합니다. 웹상의 정보만으로는 한계를 갖는 LLM에 정확성을 추가하는 작업이에요.
그리고 GPT가 우리의 문서를 참고할 때 짧은 키워드부터 복잡한 질문까지 모두 대응할 수 있게끔 시맨틱 검색과 키워드 검색을 결합한 하이브리드 검색을 구현했습니다. 그리고 버전에 대한 질문과 같이 검색만으로 해결이 힘든 질문에 올바르게 답변하기 위해 function call 기능을 몇가지 추가했습니다. 우리가 가진 데이터에 맞춰 설계한 검색 시스템 덕분에 GPTs를 단순히 이용한 챗봇보다 더 우수한 성능을 가지게 되었습니다.
그러면 제니퍼 챗봇은 우리 제품에 관련한 질문만 취급하나요?
제품에 대해서는 어디까지 학습되어 있는지, 관련 없는 질문은 어디까지 가능한지 궁금해요.
처음에는 우리 제품에 관련해서만 대답하도록 설계했어요. 제니퍼5, 설치 가이드, 엔지니어 문서, 고급 옵션 매뉴얼 등을 세가지 언어로요. 쿠버네티스 매뉴얼도 현재 작업 중이랍니다. 그런데 챗봇 이용자들이 꼭 제품에 관한 질문만 하시지는 않더라고요. 생각보다 다양한 주제와 방식으로 챗봇을 사용하고 계셔서, 사용자들의 질문을 보고 범위를 조금 더 확대해 이제는 ‘오픈 텔레메트리가 뭐에요’ 같은 일반 IT지식까지 답변을 해주고 있습니다.
혹시 제니퍼 매뉴얼, IT지식 이외의 폭넓은 질문까지 대답하게 확대할 생각이 있나요?
검색 API를 열면 가능한데, 개발의 목적이 우리 엔지니어와 고객을 위한 것이다보니 API 호출 비용을 감당하면서까지 광범위한 챗봇을 만들어야 하나 싶기는 합니다. 다만 저희 엔지니어분들의 교육 측면에서, 제니퍼 쿠버네티스 말고 그냥 ‘쿠버네티스’ 매뉴얼을 크롤링해서 추가하는 식으로 딥한 IT지식을 전달할 수 있게끔 디벨롭하는것은 어떨까 하는 아이디에이션은 있습니다. ‘제니퍼를 더 잘 쓸 수 있도록 돕는다’는 목적에 맞게요.
2023년 12월 챗봇 서비스 시작 이후, 지금까지 챗봇은 어떤 개선 과정을 거쳤나요?
초기에 어떤 오류나 어려움이 존재했다면 그게 무엇인지, 어떤 방식으로 극복했는지 궁금합니다.
지난했습니다 😅 초기에는 챗봇이 잘 대답하지 못하는 질문이 수십개였어요. 여전히 조금 남아 있구요. 이슈가 되는 질문들을 하나하나 검색을 잘 하도록 알고리즘을 개선하거나 매뉴얼을 인식하기 쉽게 수정하는 등의 방식으로 해결했어요. 먼저 크게 성능이 향상되었던 순간은 아무래도 GPT 3.5 -> 4 -> 4o로 버전이 업그레이드 될 때였습니다. 검색에 사용하는 임베딩 모델도 오픈AI 것을 사용하는데, 버전 업그레이드에 따른 성능 향상이 컸습니다.
이런 외부적인 영향도 컸지만, 사실 이런 외부적인 것만 가지고는 만족스러운 결과가 나오지 않았어요. 그래서 계속해서 검색 기능 향상과 매뉴얼 보강을 하고 있습니다. 언어모델 버전 업그레이드 만큼의 대폭적인 변화가 있지는 않지만, 결국 챗봇 이용자들은 우리의 매뉴얼을 찾기 위해 이용하시는 것이다보니, 생각보다 크리티컬한 질문들이 직접 수정한 범위에서 나오는 것을 보면서, 아직까지는 이런 작업이 필요하다고 느끼고 있습니다.
내,외부적인 개선이 모두 반영되었네요.
챗봇에는 보통 어떤 질문이 가장 많이 들어오나요? 질문은 꾸준히 들어오는지, 꾸준히 들어온다면 질문의 양상에 변화가 있었는지 궁금해요!
먼저, 질문은 꾸준히 들어오고 있습니다. 7월 기준 일 평균 약 27개로 집계되었구요, 지난 1월 질문 유형 분석 결과 ‘OO가 뭐야?’, ‘이거 왜 안돼?’ 이 두가지가 가장 많았습니다. 이 유형은 최근까지도 계속해서 들어오고 있는데, 중간에 릴리즈 노트 문서를 추가하게 되면서 최근에는 버전에 관련한 질문도 많이 하고 계십니다. ‘고객사에 JDK가 xx버전인데, 제니퍼 버전 몇을 깔아야 해?’ 같은 양상입니다.
제니퍼는 설치형 제품인데 챗봇은 SaaS형으로 만든 이유가 있나요?
제니퍼 챗봇이 GPT를 이용하고 있어서 그렇습니다. 오픈AI는 외부 인터넷 망에 있고, 우리가 그것에 접속할 수 있어야 하기 때문에 SaaS 형태로 만들게 되었습니다. 그리고 고객분들의 폐쇄망 안으로 들어가기가 힘들다는 한계도 있습니다.
그렇다면 모바일 버전도 존재하나요?
모바일에 최적화된 웹 버전이 있습니다. 챗봇 이용자 디바이스별 사용량 분석 결과 데스크탑이 가장 높기는 하지만 모바일로도 꾸준히 사용해 주고 계십니다. 모바일 버전은 프론트엔드 개발자 Alvin이 만들어 주셨는데요, PWA (Progressive Web Apps)라는, 웹이지만 앱처럼 기능하는 기술로 만들어졌어요. 네이티브 앱으로 만들 수도 있지만, 그렇게 하면 고객도 다운로드라는 과정을 한번 더 거쳐야하고, 앱스토어나 플레이스토어의 승인 과정도 필요해져 굳이 그렇게 하지 않고 있어요. 챗봇 이용자들의 접속기록에 따르면 모바일 버전도 꾸준히 이용해 주시고 계십니다.
고객분들이 꾸준히 챗봇을 이용해 주신다고 하셨는데, 혹시 개발 후에 운영진의 관점에서 가시적인 변화나 제품에의 영향이 있나요?
좋은 포인트인데요, 먼저 기술지원팀, R&D팀으로 들어오는 단순 문의가 줄어들었습니다. 그 덕분인건지, 올해 상반기에는 APM 신기능 개발 속도가 유독 빨랐습니다. 단순 문의를 챗봇이 대신 처리해주면서 개발자들이 조금 더 개발에 집중할 수 있는 환경을 만들어 준 것이 아닐까 생각합니다.
또, 고객들이 챗봇에 남긴 질문을 피드백 삼아 제품에 직접적인 변화도 주었습니다. 올해 초 제품의 설정 화면이 리뉴얼된 이후로 챗봇에 원하는 옵션이 어디있는지 위치를 묻는 질문이 늘었습니다. 그걸 보고 제품 내에서 바로 찾을 수 있도록 옵션 검색 기능을 추가했습니다. 챗봇에 묻는 것조차 번거로우실 테니까요. 이런식으로 챗봇은 사용성 개선에 계속해서 도움을 주고 있습니다.
챗봇의 ‘창조주’로서 챗봇이 이런 방향으로 사용되면 좋겠다, 혹은 이렇게 활용하면 도움이 되겠다 싶은 기능이 있을까요?
제니퍼 챗봇은 특별하고 복잡한 기능이 있지는 않고, 보이는 그대로의 심플한 구조입니다. ‘말 잘하는 Ctrl+F’ 라고 보시면 될 것 같아요. 처음 챗봇 개발을 시작할 때의 목적처럼 제니퍼 APM을 잘 쓰기 위한 도구로서의 역할을 다해줬으면 바람입니다.
그리고 질문을 모니터링하다보면 생각지도 못한 질문들이 보이는데요, 개인적으로 계속해서 그런 다양한 질문들이 들어오면 재밌겠다고 생각하고 있습니다. 끝으로, 챗봇을 가장 잘 활용하고 싶다면, ‘내가 어떤 답변이 나오기를 바라는지’를 잘 알고 질문하면 더 좋은 결과가 나올 수 있답니다!
이건 포테님 개인에 대한 질문인데요, 제니퍼 개발자로 챗봇을 만들면서 개발자로서 동기부여가 되는 점, 혹은 개인적으로 얻어가는 점이 있나요?
제가 다루고 있는 기술들이 전부 새로운 기술이다보니, 무엇을 하던지 전부 새롭게 배우는 일이었습니다. 제가 좋아하고 관심 있는 분야의 기술을 써서 만든다는 것이 매우 재미있고 개발자로서 만족스럽습니다. 요즘 하는 일 재미있어? 라는 질문을 들었을 때 자신있게 ‘응 나 되게 재미있어’라고 말할 수 있는것이 정말 좋습니다. 직원들이 자기가 동기부여 되는 일을 즐기며 하기를 바라는 회사의 이념과도 맞아떨어지는 것 같구요.
이제 마지막 질문이에요. 챗봇 대고객 릴리즈 이후의 계획은 어떻게 되나요? 챗봇의 넥스트 스텝이 있다면 말씀해 주세요. 혹은 앞으로 제니퍼에서 AI가 어떤 서비스를 제공할 수 있을까요?
일단 단기적 관점에서는, 앞에서 말씀드렸다시피 제니퍼 쿠버네티스 매뉴얼, 제니퍼 블로그의 아티클들, 혹은 제니퍼가 제공하고있는 오픈API에 관련한 각종 문서들을 추가해 조금 더 다양한 질문에 대답할 수 있게 디벨롭될 수 있습니다. 길게 봤을 때는 기술의 발전에 힘입어 챗봇도 제품과 함께 설치형으로 들어갈 수 있는 상황을 기다리고 있습니다.
사실 제니퍼 제품 곳곳에 이미 AI가 적용되어 있는데요, 상관관계 분석, 시계열 예측, 이상치 탐지, X-view 패턴 분석 등 모두 AI가 하고 있는 일입니다. 이에 더불어, 챗봇 이외에도 성능 데이터를 가지고 질문을 할 수 있는 대화형 분석 기능도 활발히 개발 중입니다. AI의 범주는 생각보다 훨씬 넓고, 제니퍼에의 적용 분야와 가능성은 무궁무진하다고 생각합니다.
챗봇 개발자 인터뷰. 재미있게 읽으셨나요? 읽어주셔서 감사드리며, 이번 인터뷰가 여러분이 제니퍼 챗봇에 대해 이해하시는데 도움이 되었으면 좋겠습니다! 🙇🏻♀️
제니퍼 고객이라면 누구나 제니퍼 챗봇을 사용할 수 있습니다. 아래 링크를 통해 제니퍼 챗봇 서비스를 신청해 주세요. 접속 정보를 보내드립니다.
✅ 가입신청링크 : https://shorturl.at/8gOsN
✅ 문의 : marketing.ko@jennifersoft.com
#JENNIFER AI #제니퍼 #제니퍼 APM #제니퍼소프트 #제니퍼 챗봇 #제니퍼 AI
