고도의 AI의 트레이닝에는 고품질의 학습 데이터를 빼놓을 수 없지만, 그러한 데이터는 급속히 고갈되고 있는 것이 문제가 되고 있는데, NVIDIA가 2024년 6월 14일에, 대규모 언어 모델(LLM)의 트레이닝에 사용하는 합성 데이터의 생성을 염두에 두고 개발되어, 상용 애플리케이션에도 사용할 수 있는 오픈 소스의 AI 모델 「네모트론-4340B」를 발표.
Nemotron-4340B는, 합성 데이터 생성 파이프라인으로 사용할 수 있는 Base 모델, Instruct 모델, Reward 모델의 3가지로 구성되어 있으며, 오픈 소스 학습 프레임워크인 NVIDIA NeMo에서의 동작이나 빠른 추론을 위한 툴의 NVIDIA TensorRT-LLM 라이브러리에서의 사용에 최적화되어 있다.
또한, Nemotron-4340B는 오픈 모델이면서 9조의 토큰과 4000개의 컨텍스트 창을 자랑하며, 50개가 넘는 자연어와 40개 이상의 프로그래밍 언어를 지원하기 때문에, 성능에서 Meta의 Llama3-70B와 Anthropic의 Claude3 Sonnet을 능가해, GPT-4에 필적할 것이라고 IT계 뉴스 사이트인 VentureBeat는 평가.
다음은, Nemotron-4340B를 사용한 합성 데이터 생성 파이프라인으로, 먼저 Nemotron-4340B Instruct 모델이 다양하고 실전적인 합성 데이터를 생성. 그리고 그것을 평가 모델인 Nemotron-4340B Reward가 「유용성」, 「정확성」, 「일관성」, 「복잡성」, 「장성」의 5속성으로 평가하고, 반복적인 개선이나 정확성의 검증을 실시.
Nemotron-4340B Reward는, 보상 모델 순위에서 1위를 획득했고, 이미 Hugging Face에서 공개된 것 외에도, NVIDIA의 공식 사이트(ai.nvidia.com )에서도 곧 접속할 수 있게 된다고 한다.
LMSYS Org의 Chatbot Arena에서 Nemotron-4340B를 언급한 사용자들의 피드백은 압도적으로 좋은 평가이며, 특히 높은 성능과 전문 지식의 양을 칭찬하는 목소리가 많이 나오고 있다.
VentureBeat는, "NVIDIA는 LLM을 훈련하는 합성 데이터 생성에 혁명을 일으킬 'Nemotron-4340B' 출시로 밀리지도 않고 AI 혁신 리더로서의 입지를 다시 한번 확고히 했다"고 말하고 있다.