Blog

llama.cpp روی PS5: کنسول سونی سرور مدل زبانی خانه شد

پروژه‌ی متن‌باز PS5LM با llama.cpp و بک‌اند Vulkan، روی PS5 جیلبریک‌شده مدل‌های GGUF را روی GPU کنسول اجرا می‌کند و API سازگار با OpenAI و Anthropic را به کل شبکه‌ی خانه می‌دهد؛ Qwen 27B با حدود ۲۰ توکن در ثانیه.

17 Oct 2026 · 3 min read · llama.cpp · PS5 · هوش مصنوعی · مدل زبانی محلی · Vulkan · متن‌باز · Qwen

llama.cpp روی PS5: کنسول سونی سرور مدل زبانی خانه شد

یک پروژه‌ی متن‌باز به اسم PS5LM این روزها صدر Hacker News است: llama.cpp را روی یک PS5 جیلبریک‌شده اجرا می‌کند، مدل زبانی را روی GPU خود کنسول بالا می‌آورد و آن را به‌صورت یک سرور مدل خصوصی در اختیار همه‌ی دستگاه‌های شبکه‌ی خانه می‌گذارد؛ بدون PC، بدون کلود و بدون اکانت.

صفحه‌ی اصلی PS5LM با مدل Qwen3.8 27B در حال تولید ۲۰٫۷ توکن در ثانیه
صفحه‌ی اصلی PS5LM روی تلویزیون: Qwen3.8 27B با سرعت حدود ۲۰ توکن در ثانیه و درخواست‌هایی که از لپ‌تاپ می‌رسد — منبع: github.com/cobanov/PS5LM

چطور کار می‌کند؟

قلب ماجرا بک‌اند Vulkan در llama.cpp است. پروژه‌ی PS5_Vulkan درایور RADV (درایور متن‌باز Mesa برای GPUهای AMD) را روی کنسول پورت کرده، پس llama.cpp تقریباً بدون تغییر روی GPU با معماری RDNA 2 اجرا می‌شود. از حافظه‌ی مشترک کنسول حدود ۱۱٫۴ گیگابایت برای وزن‌های مدل و کانتکست در دسترس است و هر معماری و کوانتیزیشنی که llama.cpp بشناسد (فایل‌های GGUF) بارگذاری می‌شود.

اعداد اعلام‌شده روی PS5 Slim:

  • Qwen 3.5 0.8B (Q4_K_M): حدود ۲۰۷ توکن در ثانیه
  • Qwen 3.5 9B (Q4_K_M): حدود ۵۵ توکن در ثانیه
  • Qwen 3.8 27B (UD-Q2_K_XL): حدود ۲۰ توکن در ثانیه با کانتکست ۶۴ هزار توکنی
بخش مدل‌های پیشنهادی PS5LM
فهرست مدل‌های پیشنهادی که روی خود کنسول اندازه‌گیری شده‌اند و مستقیم از Hugging Face دانلود می‌شوند — منبع: github.com/cobanov/PS5LM

API سازگار با OpenAI و Anthropic

کنسول روی پورت 8081 هم /v1/chat/completions سازگار با OpenAI را جواب می‌دهد و هم /v1/messages سازگار با Anthropic؛ یعنی می‌شود Claude Code، opencode یا Codex را مستقیم به PS5 وصل کرد. یک صفحه‌ی چت تحت وب هم دارد و هر درخواست، به‌صورت زنده روی تلویزیون نمایش داده می‌شود: کدام دستگاه پرسید، چه پرسید و جواب در حال نوشته شدن.

صفحه‌ی API در PS5LM با endpointهای OpenAI و Anthropic
صفحه‌ی API: آدرس پایه، endpointها و تنظیم ANTHROPIC_BASE_URL برای Claude Code — منبع: github.com/cobanov/PS5LM

جزئیات جالب دیگری هم دارد: یک «برنامه‌ریز» که هر GGUF را می‌خواند و طولانی‌ترین کانتکست ممکن را با حافظه‌ی آزاد تنظیم می‌کند، پشتیبانی از مدل‌های تصویری مثل Gemma 4 و MiniCPM-V، و یک داشبورد که دما، توان مصرفی و بار GPU و CPU را نمودار می‌کند.

داشبورد دما و توان مصرفی کنسول در PS5LM
صفحه‌ی Console: دما، توان (حدود ۸۰ وات زیر بار) و مصرف GPU در دو دقیقه‌ی اخیر — منبع: github.com/cobanov/PS5LM

برای اجرا، کنسول باید روی فریم‌ور ۷٫۰۰ تا ۱۳٫۶۰ و جیلبریک‌شده باشد و چند payload مثل etaHEN و kstuff-lite رویش بارگذاری شود. پروژه با مجوز GPL-3.0 منتشر شده و می‌گوید هیچ فایل SDK، کلید یا فریم‌ور سونی در مخزن نیست.

نظر من

به نظرم این پروژه بیشتر از یک «هک بامزه» است. PS5 در عمل یک APU قدرتمند AMD با حدود ۱۶ گیگابایت حافظه‌ی یکپارچه و پهنای باند بالاست؛ دقیقاً همان چیزی که اجرای محلی مدل‌ها لازم دارد. این‌که با یک درایور متن‌باز Vulkan و llama.cpp بدون تغییر، یک مدل ۲۷ میلیاردی با ۲۰ توکن در ثانیه روی کنسولی که زیر تلویزیون خاک می‌خورد بالا بیاید، نشان می‌دهد Vulkan چطور دارد به «لایه‌ی مشترک» اجرای هوش مصنوعی روی هر سخت‌افزاری تبدیل می‌شود.

البته واقع‌بین باشیم: جیلبریک یعنی ریسک بن شدن، فریم‌ور قدیمی و دردسر. برای کار جدی هنوز یک مک یا یک کارت گرافیک معمولی منطقی‌تر است. ولی پیام اصلی روشن است: مدل‌های متن‌باز و ابزارهایی مثل llama.cpp آن‌قدر بالغ شده‌اند که «سرور هوش مصنوعی خصوصی در خانه» دیگر ایده‌ی عجیبی نیست؛ و سازگاری با API انتروپیک و OpenAI یعنی ابزارهای کدنویسی‌تان را بدون هیچ تغییری می‌توانید به سخت‌افزار خودتان وصل کنید.

منبع: PS5LM در GitHub · بحث در Hacker News

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000