잠바모델1 트랜스포머를 넘어 MoE와 SSM까지, 미래 AI의 방향은? | AGI 구현 위한 요구 컴퓨팅 량 너무 높아 | MoE, Mamba, Jamba 등 AI 아키텍처 등장 https://www.youtube.com/watch?v=NSt259rpsKM 트랜스포머를 넘어 MoE와 SSM까지, 미래 AI의 방향은 어디로?**"Attention is all you need"**라는 말과 함께 트랜스포머 모델이 등장한 지도 벌써 7년이 흘렀습니다. 트랜스포머는 텍스트, 오디오, 비디오 등 다양한 애플리케이션에 활용되며 AI의 패러다임을 바꿨습니다. 하지만 트랜스포머가 모든 것을 해결할 수 있는 모델은 아닙니다. 계산량, 전력 소모, 메모리 사용량 문제 등 여러 한계점이 존재하기 때문입니다.오늘은 트랜스포머의 대안으로 떠오르는 MOE(Mixture of Experts), 그리고 **SSM(State Space Models)**에 대해 알아보겠습니다. 이들은 기존 AI 아키텍처의 한계.. 2024. 11. 28. 이전 1 다음 반응형
