AltcoinArchitect

يبدو أن kimi-k2 على llamacpp كان يعمل بسرعة ~250-350 رمز/ثانية في البث المباشر بالأمس. اعتقدنا أنه سريع، وقد اعتقد الجميع ذلك. يبدو أنه يمكننا توقع أكثر من 2000 رمز/ثانية مع B200s و vLLM. هذه سرعة أكبر بمقدار 8 أضعاف. سنقوم بإطلاق API للجميع الأسبوع المقبل.
شاهد النسخة الأصلية