온디바이스 AI란?

1,990년대 중반에 시작된 월드 와이드 웹(WWW)의 덕분으로 클라우드(Cloud)로 불리우는 커다란 규모의 원격 데이터 센터 컴퓨팅 시대를 맞이하게 되었습니다. 이러한 클라우드(Cloud) 시스템은 과학적인 연구와 모델링, 설계, 시뮬레이션 과 현재 전세계의 많은 관심을 받고 있는 생성형(Generative) AI 로의 발전을 이루게 되었습니다. 하지만, 이러한 데이터센터의 구축과 운영에는 많은 자금이 소요가 되기 때문에, 엣지에 있는 스마트기기에 클라우드 계산 기능(생성형(Generative) AI)을 옮겨주는 검토가 필요하게 되었는데, 바로 이것이 온디바이스(On Device) AI 개념입니다.

온디바이스 AI는 기존의 챗GPT가 외부의 서버에 명령을 전달하면 해당 서버에서 대용량의 데이타를 처리한후 다시 네트웍을 통해 사용자에게 결과를 전달하는 방식과는 달리, 여러가지의 스마트기기에서 자체적으로 데이터를 입력받아, 자체칩에 내장된 AI CPU가 연산을 수행한 후  바로 사용자에게 결과를 알려주는 방식의 AI입니다. 네트웍을 통한 정보의 이동이 없으므로 인터넷의 연결이 필요가 없고 처리속도도 빠르며 개인정보나 보안데이터의 외부우출에 대한 우려도 줄일 수 있는 장점이 있습니다.

온디바이스 AI가 주는 장점 5가지

1. AI를 기반으로 한 개인정보 보호

개인의 정보를 클라우드에 저장하는 것이 아니라 개인 스마트기기에서 관리하므로 사용자의 개인 정보보호에 도움이 됩니다.

2. AI 성능

스마트기기에서 생성형 AI를 실행하게 되면 네트웍과 클라우드 서버가 발생시키는 지연시간을 줄일 수 있어 고성능과 안정성을 추구하게 됩니다. 이러한 처리 지연시간과 더불어 스마트기기 자체의 핵심칩들의 연산능력도 계속해서 비약적으로 발전을 하고 있어 온디바이스 AI의 성능을 높일 수 있습니다.

3. AI의 개인화

온디바이스 AI는 훨씬 강화된 개인정보보 능력과 더불어 스마트기기에서 생성형 AI에 대한 경험을 개인화 할 수 있습니다. 사용자 개인의 고유 음성, 표현방식, 피트니스, 의료 데이터 등이 여기에 해당될 수 있습니다.

4. AI 사용료의 절감

스마트기기에서 생성형 AI를 직접 실행하게 되면, 클라우드의 컴퓨팅 계산량에 대한 부담을 덜어줄 수 있어, 비용절감에 도움을 주게 됩니다. 생성형 AI를 실행하는데 소용되는 서버와 운영 비용을 고심하던 클라우드 공급업체는 서비스 자체를 유료화 하게 시작하였고 챗GPT를 개발한 Open AI사도 경우에도 GPT-4로 넘어오면서 유료화 버젼을 내놓게 되었습니다.

5. 클라우드 기반의 AI의 에너지 절감

대규모의 생성형 AI 모델의 추론 처리에는 GPU(그래픽 처리 장치) 와 같은 여러 AI 가속장치가 필요하게 되며, 많이 연관될 수록 서버의 사용전력량이 급격히 증가하게 되므로 클라우드 제공사의 운영비용도 같이 증가하게 됩니다. 따라서 엣지에 있는 스마트기기 자체에서 AI 모델에서 필요한 계산을 하게 되면, 엄청난 에너지 절감을 이룰 수 있게 됩니다.

온디바이스 AI가 대중화 되기 위한 2가지 요소

스마트폰과 메타버스, 확장현실 헤드셋(XR headset) 그리고 PC와 같은 기기의 Chipset과 메모리의 성능을 향상시켜 주는 것입니다. 생성형 AI 모델이 정확한 결과를 계산하는데 필요한 매개변수(파라미터)의 수를 줄여주는 것이 두번 째 요소입니다.

삼성과 퀄컴의 온디바이스 AI 전략적 제휴

퀄컴(Qualcomm)은 Snapdragon Summit 2023에서 온디바이스 AI를 탑재한 스냅드래곤8 3세대 칩을 공개하였습니다. 이에 따라 삼성전자는 스냅드래곤8 3세대 칩을 자사폰에 탑재하기 위해 퀄컴과 협업을 하고 있는 것으로 판단되며, 2024년 1월 미국 새너제이(캘리포니아 주) 언팩행사에서 온디바이스 AI 를 탑재한 모델로 갤럭시 S24를 발표할 것으로 보입니다. 퀄컴의 스냅드래곤8 3세대 칩에 탑재된 헥사곤 NPU는 100억개 이상의 매개변수를 지원하며, 초당 20개의 토큰이 가능하며 멀티모달 기능도 처음으로 채택되었습니다. 그리고 전작 대비 속도는 98%, 효율은 40% 증가 하였습니다.

또한 스냅드래곤8 3세대의 카메라 성능을 구현하기 위해 삼성전자의 2억화소 아이소셀 HP3를 이용하며 사진의 배경화면을 교체하거나 완벽한 어둠속에서 영상과 사진촬영(나이트 비전)이 가능하게 합니다.

애플의 스마트폰 시장에서의 아이폰 15의 질주가 계속 되면서 삼성전자의 전세계 스마트폰 생산량 1위의 지위를 위협받은 상황에서 온디바이스 AI로 특화된 갤럭시 S24 모델을 출시함으로써 플래그십 스마트폰에서의 두 자릿수 성장율을 달성하고 애플에 대한 우위를 점하려는 고심이 엿보입니다.

삼성전자의 온디바이스(On Device) AI를 위한 새로운 캐시카우(LLW IO D램)

각종 스마트기기에서 온디바이스 AI가 잘 동작하려면 기존 제품보다 칩들이 속도는 더 빠르고 전력은 적게 소모하는 저전력 고성능 반도체가 필요합니다. 현재 AI 서버의 빠른 연산을 위해 기존의 D램을 수직으로 적층한 HBM 메모리가 큰 소요를 얻고 있지만, 스마트기기에 탑재하기에는 가격이 비싸기에 시간이 좀 더 필요해 보입니다. 다른 한가지는 삼성전자의 D램 기술력을 그대로 이용하여 온디바이스 AI에 특화된 LLW(Low Latency Wide: 저지연 와이드) IO D램을 2,024년 양산목표로 개발중이며 2,024년 갤럭시 S24 모델에 탑재할 것으로 보입니다.

이 제품은 기존 모바일 D램보다 대역폭이 상당히 넓어 연산에 사용되는 데이터를 실시간으로 처리하는데 장점이 있습니다. 따라서 온디바이스 AI가 스마트기기에 탑재가 많이 될 수록 LLW IO D램의 수요도 폭발적으로 증가할 것으로 보입니다.