پست دیپ‌سیک (DeepSeek) فریم‌ورک اختصاصی خودش برای Inference به اسم DeepInfer رو Open Source کرده! این فریم‌ورک برای اجرای مد…

دیپ‌سیک (DeepSeek) فریم‌ورک اختصاصی خودش برای Inference به اسم DeepInfer رو Open Source کرده! این فریم‌ورک برای اجرای مدل DeepSeek-V4.1-Flash در مقیاس بالا طراحی شده و کمک می‌کنه مدل‌ها با Throughput بالاتر و Latency کمتر اجرا بشن. دیپ‌سیک با انتشار زیرساختی که خودش در محیط عملیاتی استفاده می‌کنه، می‌خواد به Developerها کمک کنه هزینه‌های Compute رو کاهش بدن، انرژی کمتری مصرف کنن و اجرای مدل‌های AI رو کم‌هزینه‌تر کنن. ‏DeepInfer قابلیت‌های مختلفی داره؛ از جمله Kernelهای بهینه، Inference Engine سریع، Distributed Inference و Speculative Decoding. قابلیت‌هایی مثل SWA Bounded Replay و Structured Outputs هم توی این پروژه قرار دارن. علاوه بر این، قراره کدهای مربوط به Inference مدل‌های آینده‌ی DeepSeek و بهینه‌سازی‌های جدید هم به همین پروژه اضافه بشن. 🔗 لینک ریپو DeepInfer دیپ‌سیک فقط به DeepInfer بسنده نکرده و کامپوننت deepseek-recipe رو هم Open Source کرده. این کامپوننت وظیفه‌ی Token Encoding و Decoding رو بر عهده داره و با منطق پردازشی Official DeepSeek API هماهنگه؛ بنابراین Developerها می‌تونن همون رفتار API رسمی رو در زیرساخت خودشون هم پیاده‌سازی کنن. 🔗 لینک ریپو deepseek-recipe @reza_jafari_ai