مدل ۲.۸ تریلیون پارامتری Moonshot AI با پنجره زمینه یک میلیون توکنی
شرکت Moonshot AI از مدل جدید خانواده Kimi با نام Kimi K3 رونمایی کرده است؛ مدلی که با ۲.۸ تریلیون پارامتر، یک میلیون توکن پنجره زمینه و معماری مبتنی بر Mixture of Experts، در رده بزرگترین مدلهای هوش مصنوعی معرفیشده قرار میگیرد.
Kimi K3 برای طیف گستردهای از کاربردهای پیشرفته، از کدنویسی طولانیمدت و کار با پروژههای نرمافزاری پیچیده گرفته تا استدلال و انجام وظایف دانشی، طراحی شده است. Moonshot AI همچنین میگوید K3 نخستین مدل متنباز در کلاس مدلهای سهتریلیون پارامتری است.
با این حال، بخش مهمی از این ادعاها هنوز به نتایج مستقل و انتشار جزئیات فنی کامل نیاز دارند. این شرکت اعلام کرده است که وزنهای کامل Kimi K3 تا ۲۷ ژوئیه ۲۰۲۶ منتشر خواهند شد و گزارش فنی مدل نیز جزئیات بیشتری درباره معماری، فرآیند آموزش و ارزیابی آن ارائه خواهد کرد.
Moonshot AI مدل Kimi K3 را معرفی کرد
Kimi K3 پرچمدار جدید خانواده مدلهای Kimi است و از همان ابتدا با تمرکز بر مقیاس بزرگ و انجام وظایف پیچیده معرفی شده است. این مدل علاوه بر قابلیتهای متنی و استدلالی، از درک محتوای بصری نیز پشتیبانی میکند و میتواند در سناریوهایی که متن، کد و تصویر در کنار یکدیگر قرار میگیرند، مورد استفاده قرار گیرد.
یکی از مهمترین ویژگیهای K3، پنجره زمینه یک میلیون توکنی است. چنین ظرفیتی به مدل اجازه میدهد حجم بسیار بزرگی از اطلاعات را در یک فرایند کاری در اختیار داشته باشد؛ قابلیتی که برای تحلیل اسناد طولانی، کار با مخازن کد بزرگ و اجرای وظایف چندمرحلهای اهمیت ویژهای دارد.
Moonshot AI در حال حاضر در حال همکاری با شرکای حوزه استنتاج و توسعهدهندگان اکوسیستم متنباز است تا جزئیات فنی و زیرساختی مدل برای عرضه گسترده آماده شود.
Kimi K3 با ۲.۸ تریلیون پارامتر چه جایگاهی دارد؟
Kimi K3 با ۲.۸ تریلیون پارامتر یکی از بزرگترین مدلهایی است که تاکنون معرفی شده است. Moonshot AI آن را نخستین مدل متنباز در کلاس سهتریلیون پارامتری معرفی میکند.
البته این ادعا نیازمند یک نکته مهم است. «متنباز» در حوزه مدلهای هوش مصنوعی میتواند معنای متفاوتی با انتشار صرف وزنهای مدل داشته باشد و مجوز دقیق Kimi K3 در اطلاعات فعلی مشخص نشده است. بنابراین برای قضاوت دقیق درباره میزان متنباز بودن مدل، باید تا انتشار وزنها و جزئیات مجوز آن منتظر ماند.
Moonshot AI همچنین ادعا میکند مدلهای Kimi در ۹ ماه از ۱۲ ماه گذشته، از ژوئیه ۲۰۲۵ تا ژوئیه ۲۰۲۶، از نظر مقیاس در صدر مدلهای متنباز قرار داشتهاند. این ادعا نیز باید بهعنوان موضع خود شرکت در نظر گرفته شود و برای ارزیابی مستقل آن به دادههای قابل مقایسه درباره مدلهای رقیب نیاز است.
معماری Kimi K3؛ ترکیبی از KDA، Attention Residuals و MoE
بخش مهمی از تفاوت Kimi K3 با نسلهای قبلی، به معماری آن مربوط میشود. این مدل از Kimi Delta Attention یا KDA استفاده میکند؛ سازوکاری که Moonshot AI آن را نوعی معماری ترکیبی مبتنی بر Linear Attention معرفی کرده است.
در کنار آن، Attention Residuals یا AttnRes نیز در ساختار مدل به کار گرفته شده است. هدف این تغییرات، بهبود جریان اطلاعات در توالیهای بسیار طولانی و مدلهایی با عمق بیشتر عنوان شده است.
Kimi K3 همچنین از معماری Mixture of Experts یا MoE بهره میبرد. در این رویکرد، همه بخشهای مدل برای پردازش هر ورودی بهطور همزمان فعال نمیشوند و تنها تعدادی از متخصصان یا Expertها وارد فرایند محاسبه میشوند. به این ترتیب میتوان مدلی با تعداد پارامتر بسیار بالا داشت، بدون اینکه هزینه محاسباتی هر درخواست به اندازه فعالسازی تمام پارامترها افزایش پیدا کند.
در K3، چارچوب Stable LatentMoE از میان ۸۹۶ متخصص، ۱۶ متخصص را فعال میکند. Moonshot AI میگوید ترکیب این ساختار با تغییرات معماری، روشهای آموزش و بهبود دادههای آموزشی، باعث شده است Kimi K3 نسبت به Kimi K2 حدود ۲.۵ برابر بهرهوری مقیاسپذیری بیشتری داشته باشد.
این عدد یکی از مهمترین ادعاهای فنی شرکت درباره مدل جدید است، اما برای ارزیابی دقیق آن باید منتظر انتشار گزارش فنی و دادههای قابل بررسی بود. ضمن اینکه «بهرهوری مقیاسپذیری» با عملکرد نهایی مدل یکسان نیست و صرفاً از روی تعداد پارامترها نمیتوان درباره برتری یک مدل نتیجهگیری کرد.
Kimi K3 برای کدنویسی و وظایف طولانیمدت طراحی شده است
یکی از حوزههایی که Moonshot AI روی آن تأکید دارد، کدنویسی در پروژههای طولانی و پیچیده است.
بر اساس توضیحات شرکت، Kimi K3 میتواند با نظارت انسانی محدود، وظایف مهندسی نرمافزار را برای مدت طولانی دنبال کند، با codebaseهای بزرگ کار کند و ابزارهای ترمینال را هماهنگ کند. هدف این است که مدل از یک دستیار صرفاً پاسخگو فراتر برود و بتواند بخشی از یک فرایند مهندسی چندمرحلهای را مدیریت کند.
K3 همچنین برای وظایفی طراحی شده که در آنها کدنویسی با درک بصری ترکیب میشود. برای نمونه، مدل میتواند از اسکرینشاتها و بازخوردهای تصویری برای بهبود فرایندهایی در توسعه بازی، مهندسی فرانتاند و طراحیهای CAD استفاده کند.
البته این موارد در حال حاضر عمدتاً بر اساس توصیف و ادعاهای Moonshot AI مطرح شدهاند و برای سنجش واقعی توانایی مدل باید نتایج بنچمارکها و آزمایشهای مستقل منتشر شود.
تمرکز Kimi K3 بر کارهای دانشی و ایجنتهای هوش مصنوعی
Moonshot AI بخش دیگری از قابلیتهای K3 را به انجام کارهای دانشی اختصاص داده است. منظور از این دسته، وظایفی است که فراتر از تولید یک پاسخ ساده هستند و معمولاً به جمعآوری اطلاعات، تحلیل، استدلال و اجرای چند مرحله متوالی نیاز دارند.
این شرکت میگوید Kimi K3 در کنار بنچمارکهای عمومی، در ارزیابیهای داخلی خود نیز عملکرد بهتری نشان داده است. این ارزیابیها بر اساس الگوهای تکرارشونده و چالشهایی طراحی شدهاند که در تعامل واقعی کاربران با ایجنتهای هوش مصنوعی دیده میشوند.
با این حال، باید میان ارزیابی داخلی یک شرکت و نتایج مستقل تفاوت قائل شد. تا زمانی که دادههای کامل این آزمایشها منتشر نشوند، نمیتوان ادعای برتری K3 در گردشکارهای تولیدی را بهعنوان یک نتیجه قطعی در نظر گرفت.
یک میلیون توکن کانتکست؛ مزیت مهم Kimi K3 برای پروژههای بزرگ
پنجره زمینه یک میلیون توکنی از دیگر ویژگیهای برجسته Kimi K3 است.
به زبان ساده، پنجره زمینه مشخص میکند مدل چه میزان اطلاعات را میتواند در یک فرایند کاری در اختیار داشته باشد. هرچه این ظرفیت بزرگتر باشد، مدل میتواند با اسناد طولانیتر، حجم بیشتری از کد و تاریخچه گستردهتری از یک تعامل کار کند.
برای توسعهدهندگان، چنین ظرفیتی میتواند در تحلیل پروژههای نرمافزاری بزرگ، بررسی مجموعه اسناد گسترده یا ساخت ایجنتهایی که در طول یک فرایند طولانی به اطلاعات قبلی نیاز دارند، کاربرد داشته باشد.
Kimi K3 همچنین از قابلیتهای بصری پشتیبانی میکند. طبق مستندات Moonshot AI، مدل میتواند محتوای تصویری و ویدئویی را درک کند و از قابلیتهایی مانند ورودی چندرسانهای، استریم و فراخوانی ابزار پشتیبانی میکند.
در بخش Vision، تصاویر میتوانند بهصورت Base64 یا از طریق فایلهای آپلودشده در سرویس Moonshot در اختیار مدل قرار بگیرند. استفاده مستقیم از URL عمومی تصویر در حال حاضر پشتیبانی نمیشود.
Kimi K3 همیشه در حالت استدلال کار میکند
Kimi K3 در دسته مدلهای Thinking قرار میگیرد و برخلاف برخی مدلها، حالت استدلال آن همیشه فعال است.
در API این مدل، میزان تلاش برای استدلال از طریق پارامتر reasoning_effort تنظیم میشود. در حال حاضر تنها مقدار پشتیبانیشده برای این پارامتر max است و Moonshot AI اعلام کرده که سطوح بیشتری در آینده اضافه خواهند شد.
این طراحی به این معناست که توسعهدهندگان در نسخه فعلی نمیتوانند برای وظایف ساده، مدل را به یک سطح پایینتر از استدلال تغییر دهند. در مستندات شرکت آمده است که سطوح پایینتر، در صورت عرضه، میتوانند برای وظایفی مانند دستهبندی، بازنویسی و پرسشوپاسخهای ساده مناسبتر باشند و مصرف توکن و زمان پاسخ را کاهش دهند.
این بخش اما فعلاً یک قابلیت آینده است، نه ویژگی موجود K3.
دسترسی توسعهدهندگان به Kimi K3
Kimi K3 از طریق API شرکت Moonshot AI در دسترس توسعهدهندگان قرار میگیرد و امکان استفاده از الگوهای سازگار با OpenAI SDK را فراهم میکند.
این مدل از مجموعهای از قابلیتهای توسعهدهندهمحور پشتیبانی میکند، از جمله:
- فراخوانی ابزارها یا Tool Calling
- بارگذاری پویا و Dynamic Tool Loading
- خروجی ساختاریافته بر اساس JSON Schema
- Streaming
- Partial Mode
- کش خودکار کانتکست
K3 همچنین برای استفاده در مکالمات چندمرحلهای و گردشکارهای مبتنی بر ابزار طراحی شده است. در این سناریوها، توسعهدهندگان باید پیام کامل بازگشتی از مدل را در درخواستهای بعدی حفظ کنند.
یکی از محدودیتهای فعلی API نیز مربوط به Web Search است. Moonshot AI اعلام کرده این قابلیت در حال بهروزرسانی است و در کوتاهمدت استفاده از آن را برای گردشکارهای تولیدی توصیه نمیکند.
Kimi K3 در برابر Kimi K2؛ تمرکز بر مقیاس و بهرهوری
مهمترین تفاوت K3 با K2 را میتوان در سه محور دید: مقیاس، معماری و بهرهوری محاسباتی.
Kimi K3 با ۲.۸ تریلیون پارامتر، جهش بزرگی در مقیاس مدل محسوب میشود. در سطح معماری نیز KDA و Attention Residuals در کنار ساختار پراکندهتر MoE قرار گرفتهاند.
Moonshot AI معتقد است این تغییرات باعث شدهاند K3 بتواند از توان محاسباتی موجود مؤثرتر استفاده کند و در مقایسه با K2 به حدود ۲.۵ برابر بهرهوری مقیاسپذیری دست پیدا کند.
با این حال، برای اینکه مشخص شود این افزایش مقیاس و تغییرات معماری در عمل چه اثری بر کیفیت پاسخها، هزینه استنتاج و عملکرد مدل دارند، باید تا انتشار گزارش فنی و نتایج ارزیابیهای مستقل صبر کرد.
Kimi K3 چه زمانی منتشر میشود؟
Moonshot AI اعلام کرده است که وزنهای کامل Kimi K3 تا ۲۷ ژوئیه ۲۰۲۶ منتشر خواهند شد.
این شرکت همچنین قصد دارد در گزارش فنی K3 اطلاعات بیشتری درباره معماری، روش آموزش و نتایج ارزیابی مدل ارائه کند. بنچمارکهای کامل و مطالعات موردی نیز قرار است جزئیات بیشتری درباره عملکرد مدل در اختیار کاربران قرار دهند.
انتشار این اطلاعات اهمیت زیادی دارد؛ زیرا در حال حاضر بخش قابل توجهی از تصویر ارائهشده درباره K3 از مستندات و ادعاهای خود Moonshot AI میآید.
چه چیزهایی درباره Kimi K3 هنوز مشخص نیست؟
با وجود مقیاس چشمگیر Kimi K3، چند پرسش کلیدی همچنان باقی مانده است.
نخست، باید دید مجوز دقیق مدل و شرایط استفاده از وزنهای آن چه خواهد بود. عنوان «متنباز» بهتنهایی برای مشخص کردن میزان آزادی استفاده، تغییر و توزیع یک مدل کافی نیست.
دوم، عملکرد واقعی K3 در مقایسه با مدلهای رقیب هنوز به ارزیابی مستقل نیاز دارد. تعداد پارامترها و معماری بزرگتر، بهتنهایی تضمین نمیکنند که مدل در همه وظایف عملکرد بهتری داشته باشد.
سوم، ادعای افزایش ۲.۵ برابری بهرهوری نسبت به K2 باید با انتشار جزئیات فنی و دادههای قابل بررسی روشنتر شود.
در نهایت، باید دید یک مدل ۲.۸ تریلیون پارامتری با معماری بسیار بزرگ، در دنیای واقعی چه هزینهای برای استنتاج خواهد داشت و آیا مزیتهای آن میتواند هزینه زیرساختی چنین مقیاسی را توجیه کند یا نه.
در حال حاضر، Kimi K3 را میتوان یکی از جاهطلبانهترین تلاشهای Moonshot AI برای افزایش مقیاس مدلهای هوش مصنوعی دانست. ترکیب ۲.۸ تریلیون پارامتر، پنجره زمینه یک میلیون توکنی، معماری MoE با فعالسازی تنک و قابلیتهای استدلال و بینایی، این مدل را به عرضهای مهم در فضای مدلهای بزرگ تبدیل کرده است. اما قضاوت نهایی درباره جایگاه K3 در رقابت مدلهای پیشرو، به انتشار وزنهای کامل، گزارش فنی و مهمتر از همه، نتایج ارزیابیهای مستقل موکول خواهد بود.
منبع: https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
