Blog

دیپ‌سیک موتور استنتاج production خودش را متن‌باز کرد: DeepInfer

DeepSeek چارچوب DeepInfer را با لایسنس Apache 2.0 منتشر کرد؛ موتوری که سرویس‌های خودش با آن اجرا می‌شوند، با کرنل‌های بهینه، Expert Parallel و پشتیبانی از Blackwell و Huawei Ascend.

22 Oct 2026 · 2 min read · DeepSeek · DeepInfer · هوش مصنوعی · استنتاج LLM · متن‌باز · MoE · GPU

دیپ‌سیک موتور استنتاج production خودش را متن‌باز کرد: DeepInfer

دیپ‌سیک موتور استنتاجی را که سرویس‌های production خودش روی آن اجرا می‌شود، با نام DeepInfer و لایسنس Apache 2.0 متن‌باز کرد. این پروژه در هکرنیوز بیش از ۲۳۰۰ امتیاز گرفت و مخزنش در چند روز نزدیک ۲۰ هزار ستاره خورده است. یعنی فقط مدل را منتشر نکرده‌اند، بخش مهمی از زیرساخت سرو کردنش را هم بیرون داده‌اند.

معماری سرویس استنتاج DeepSeek با DeepInfer
معماری کلی سرویس: جداسازی Prefill و Decode، لودبالانسر Expert-Parallel و ذخیره‌سازی KV Cache روی 3FS. منبع: مخزن DeepInfer در گیت‌هاب

چه چیزی منتشر شده؟

  • مدل پشتیبانی‌شده: فعلاً فقط DeepSeek-V4.1-Flash.
  • کرنل‌های بهینه: FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect و کرنل‌های TileLang.
  • موازی‌سازی: Data Parallel برای Attention، Context Parallel متوازن، و Expert Parallel برای MoE همراه با EPLB.
  • رمزگشایی سریع‌تر: DSpark با توکن‌های پیش‌نویس (draft) و verification که بر اساس confidence زمان‌بندی می‌شود.
  • زمان‌بندی ناهمگام: زمان‌بندی batch روی CPU هم‌زمان با اجرای GPU انجام می‌شود.
  • خروجی قطعی: batch-invariant inference و sampling قطعی (فقط روی NVIDIA)، به‌علاوهٔ structured output با Regex، JSON Schema و EBNF.
  • سخت‌افزار: GPUهای NVIDIA SM100 (نسل Blackwell) و NPUهای Huawei Ascend 950.

نکتهٔ مهم: این نسخه فقط استنتاج آفلاین را پوشش می‌دهد. سیستم KV Cache، جداسازی کامل Prefill و Decode و لودبالانسینگ بین replicaها در این انتشار نیست. پس هنوز یک سرویس کامل و آماده نیست؛ بیشتر موتور اصلی است. خود دیپ‌سیک هم نوشته که DeepInfer در اصل روی vLLM ساخته شده و از SGLang و TensorRT-LLM هم الهام گرفته است.

اعداد بنچمارک

طبق نمودارهای خود مخزن، Prefill روی ۴ GPU با batchهای بزرگ به حدود ۹۰ هزار توکن ورودی در ثانیه به ازای هر GPU می‌رسد. در Decode روی ۶۴ GPU، حدود ۲۶ هزار توکن خروجی در ثانیه به ازای هر GPU به دست آمده؛ آن هم در حالی که هر کاربر حدود ۱۰۰ توکن در ثانیه می‌گیرد.

نمودار Prefill در DeepInfer
Prefill: توان پردازش ورودی در برابر تأخیر برای DeepSeek V4.1 Flash. منبع: DeepInfer
نمودار Decode در DeepInfer
Decode: توان خروجی هر GPU در برابر سرعت هر کاربر روی ۶۴ GPU. منبع: DeepInfer
مقایسه EP64 و EP8 در Decode
مقایسهٔ Expert Parallel گسترده (EP64) با EP8: هرچه expertها روی GPUهای بیشتری پخش شوند، توان خروجی و سرعت کاربر هر دو بهتر می‌شود. منبع: DeepInfer

نظر من

به نظرم این از خود انتشار مدل مهم‌تر است. وزن‌های باز وقتی واقعاً به درد می‌خورند که بشود آن‌ها را ارزان و سریع سرو کرد، و دیپ‌سیک حالا دقیقاً همان بخش سخت را باز کرده است. مقایسهٔ EP64 و EP8 هم خلاصهٔ کل داستان MoE است: هرچه expertها را روی GPUهای بیشتری پخش کنی، سود بیشتری می‌گیری.

البته واقع‌بین باشیم: SM100 و Ascend 950 سخت‌افزار خانگی یا حتی استارتاپی نیستند. این پروژه بیشتر برای ارائه‌دهنده‌های بزرگ و تیم‌های زیرساخت جذاب است تا کسی که می‌خواهد روی یک کارت گرافیک مدل اجرا کند. پشتیبانی رسمی از Ascend هم نشان می‌دهد دیپ‌سیک جدی دنبال کم کردن وابستگی به انویدیاست. برای مهندس‌های زیرساخت، کد این مخزن یک کلاس درس رایگان است.

منابع: مخزن DeepInfer در گیت‌هاب، بحث هکرنیوز

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000