Aion Instruct 2.3B, 엣지 내장 AI와 Prompt API 정리
마이크로소프트가 11월 19일 Aion Instruct 2.3B를 엣지 내장 모델로 정식 출시했다. MIT 라이선스 오픈웨이트, Prompt API 오리진 트라이얼, Decisions API 프리뷰까지 개발자가 지금 쓸 수 있는 조건을 정리했다.

Q. 내 웹사이트에서 클라우드 API 없이 AI 기능을 돌릴 수 있나요? 네, 조건이 맞으면 됩니다. 마이크로소프트가 2026년 11월 19일 Aion Instruct 2.3B를 엣지 내장 모델로 출시했고, Prompt API 오리진 트라이얼로 내 사이트에서 테스트할 수 있습니다. 단, 지원 언어 8개에 한국어는 없고 오리진 트라이얼 등록이 필요합니다.
⚠️ 정확도 가드레일: 이 글은 2026년 11월 20일 기준이다. 출시일·동작 방식·스펙·벤치마크는 Edge 공식 블로그(11월 19일)와 Hugging Face 모델 카드를 직접 확인했고, 파일 크기는 Hugging Face API로 확인했다. 한국에서의 Prompt API 동작과 한국어 품질은 공식 발표가 없어 미확인이다.
30초 요약
- 11월 19일 Aion Instruct 2.3B가 엣지 내장 모델로 출시됐고, Phi-4-mini를 대체한다.
- 모델은 MIT 라이선스 오픈웨이트다. 약 2.29B 파라미터, 컨텍스트 32,768토큰, Hugging Face에서 받을 수 있다.
- Prompt API 오리진 트라이얼이 열려 내 사이트에서 실제 사용자에게 테스트할 수 있다. 이전에는 Canary·Dev에서만 됐다.
- Decisions API는 개발자 프리뷰다. 글을 만들지 않고 예/아니오·객관식·점수 질문에 확률과 신뢰도를 돌려준다.
- 주의할 점은 지원 언어 8개에 한국어가 없다는 것이다.
Aion Instruct, 엣지의 새 내장 모델이 되다
Aion Instruct는 마이크로소프트 Windows Applied Sciences Group의 소형 언어 모델(SLM)이다. 엣지 블로그는 "Phi보다 작고 빠르며, 더 많은 기기에서 돌아가면서도 텍스트 생성·요약·지시 이행·구조화 출력에서는 비슷한 품질"이라고 설명했다. 모델은 사이트나 기능이 처음 필요로 할 때만 내려받고, 엣지 설정에서 온디바이스 AI를 끄면 제거되고 이후 다운로드도 멈춘다.

마이크로소프트가 내세우는 그림은 하이브리드 인텔리전스다. 기기에서 될 일은 기기에서 처리하고, 더 강력한 추론이 필요할 때만 클라우드로 넘긴다. 모델 카드에 따르면 더 최적화된 버전이 콘텐츠 중재 모델과 함께 2027년 1월 말 Windows OS SLM이 된다. 개발자 프리뷰 Aion-1.0-Instruct에 초기 피드백을 반영해 다듬은 버전이다.
모델 카드로 본 성능 — 지시 이행은 강하고 지식은 약하다
평가표에 이 모델의 성격이 드러난다. 지시 이행(IFEval) 83.90점과 초등 수학(GSM8K) 74.91점은 2.3B급으로는 강하지만, 지식(MMLU) 55.15점과 고급 지식(MMLU-Pro) 33.35점은 프런티어와 비교할 수준이 아니다. (lm-evaluation-harness, LLM 심판 GPT-4o)

모델 카드가 적어 둔 한계도 분명하다. 2.3B 모델은 세부 사항을 놓치거나 사실과 다르게 말할 수 있고, 복잡한 다단계 추론은 어렵다. 세계 지식에서 뛰어나도록 학습되지 않았으니 내 문서 요약처럼 근거가 주어진 작업에 쓰는 게 맞다. 프롬프트 인젝션 저항성도 개선 과제다. 다국어 비중은 약 6%이고, 한국어는 지원 언어 8개에 없다. 품질은 직접 테스트해야 한다.
내려받는 크기 — 원본 4.58GB, WebGPU용 1.29GB
가중치는 두 가지 형태다. 원본 BF16 model.safetensors 약 4.58GB, WebGPU용 INT4 ONNX 빌드 model.onnx.data 약 1.29GB다. 두 크기 모두 Hugging Face API의 실제 파일 목록으로 확인했다.

스펙은 약 2.29B 파라미터(입출력 임베딩 공유), 28개 레이어, 은닉 2048, 컨텍스트 32,768토큰, 어휘 200,029개, bfloat16, 지식 마감 2025년 12월이다. 어텐션은 21개 슬라이딩 윈도우 레이어(윈도우 2048)와 7개 전체 어텐션 레이어를 섞은 구조고, 도구 호출도 지원한다. Transformers로 쓸 때는 커스텀 코드가 필요해 trust_remote_code=True를 켜야 한다. llama.cpp·Ollama 지원 여부는 모델 카드에 없어 미확인이다.
Prompt API 오리진 트라이얼 — 내 사이트에서 바로 테스트한다
Prompt API는 브라우저 안에서 Aion 같은 소형 모델을 호출하는 API다. 지금까지는 Edge Canary·Dev 채널의 개발자 프리뷰에서만 쓸 수 있었는데, 이번 오리진 트라이얼로 실제 운영 사이트에서 엣지 사용자를 대상으로 테스트할 수 있게 됐다. 오리진 트라이얼에 등록하고 개발자 문서와 플레이그라운드 샘플로 동작을 확인하는 순서다.
온디바이스 API가 실무에서 의미 있는 경우는 분명하다. 요약·교정·분류처럼 짧고 반복적인 텍스트 작업, 서버 왕복 없이 바로 답해야 하는 UI 보조, 사용자 입력이 서버로 나가면 안 되는 경우다. 긴 문서 추론, 최신 지식, 복잡한 다단계 작업은 클라우드 모델이 맞다. 내 기능이 어느 쪽인지 먼저 가르는 게 순서다. 맥에서 앱을 직접 조종하는 방식은 제미나이 맥 Computer Use 가이드와 비교해 보라.
Decisions API — 글 생성 없이 답만 받는 실험적 API
Decisions API는 Aion Instruct으로 돌아가는 실험적 API로, 지금은 Edge Canary·Dev에서 개발자 프리뷰만 제공한다. 글자를 생성하지 않고 텍스트에 대한 질문을 한 번의 패스로 답한다. 질문은 예/아니오, 객관식, 점수 매기기 세 가지이고, 결과는 선택된 답과 확률, 신뢰도 값이다.

엣지 블로그가 든 예시는 상품 리뷰 분류다. "헤드폰은 마음에 드는데 상자가 찌그러져서 왔어요. 교체받을 수 있나요?"라는 리뷰에 주제(품질·배송·가격), 만족도(1~5점), 답변 필요 여부(예/아니오)를 한 번에 묻는다. 생성형 호출보다 빠르고, 답이 구조화돼 정렬·라우팅·랭킹에 바로 쓸 수 있다. 콘텐츠 분류, 문의 라우팅, 실시간 점수 매기기가 대표 용도다. 단, API와 구현 모두 바뀔 수 있는 실험 단계라 운영 기능에 묶기 전 Canary·Dev에서 프로토타입으로 검증해야 한다.
한국 개발자가 지금 할 일
한국 개발자 입장에서 실용도는 세 갈래다. Prompt API 오리진 트라이얼은 지금 신청해 내 사이트에서 테스트할 수 있다. 엣지 사용자가 있는 서비스라면 요약·교정 같은 가벼운 기능부터 붙여 보는 게 맞다. 모델 가중치는 MIT 라이선스라 Hugging Face에서 바로 내려받아 로컬에서 돌려볼 수 있다. 문서 요약 품질을 재는 데는 4.58GB 원본보다 1.29GB INT4 빌드가 가볍다. 한국어는 공식 지원이 아니니 붙이기 전 품질 테스트가 먼저다.
엣지 버전 조건과 한국에서의 Prompt API 동작 여부는 공식 블로그에 없어 미확인이라, 오리진 트라이얼 등록 페이지에서 직접 확인해야 한다. Windows 내장은 2027년 1월 말이다.
토리스의 판단
브라우저 안에서 AI 기능을 붙이고 싶은 개발자라면 Prompt API 오리진 트라이얼부터 신청하는 게 맞다. 모델은 2.3B의 한계가 분명해 "작은 일을 기기에서"라는 범위 안에서만 가치가 있다.
가장 큰 이유는 데이터가 기기에 머무른다는 점이다. 서버로 보내기 꺼려지는 입력이라면 온디바이스가 정답에 가깝다. 반대로 지식이 필요한 답, 긴 추론, 한국어 품질이 핵심인 기능이라면 Aion은 아직 답이 아니다. 한국어 미지원은 붙이기 전 가장 먼저 확인할 조건이다.
지금 할 일은 두 가지다. 내 서비스에 "기기에 머물러도 되는 짧은 텍스트 작업"이 있는지 고르고, 오리진 트라이얼로 엣지 사용자 환경에서 돌려본다. 가중치는 MIT라 실험 비용이 거의 없다. 온디바이스 AI를 제품 기능으로 붙이려면 토리스 스튜디오에서 같이 설계할 수 있다.
출처
광고
YOUTUBE · TORIS STUDIO