Rekor Kırıcı Hız Kanada'nın Toronto şehrinde bulunan Taalas adlı girişim şirketi, Llama 3.1 8B modelinde saniyede inanılmaz 17.000 token işleyen HC1 çipini tanıttı.
Karşılaştırma etmek lüzumirse, en üst düzey Nvidia H200 aynı koşullar altında saniyede yaklaşık 230-300 token işliyor. "Silikonda Model": Grafik kartlarının aksine, HC1 modeli "çalıştırmaz", bunun seçenek ağırlıklarını doğrudan transistörlere "kazınmış" (sabit kablolu) şekilde içerir. Bu, modern malumatsayar teknolojisinin ilköğretim sualnunu, diğer hafıza ile işlemci arasındaki bilgi aktarımındaki gecikmeyi ortadan kaldırır.
Ekonomi: Çipin, Nvidia çözümlerine göre 20 kat daha ucuza üretildiği ve 10 kat dahaaz güç tükettiği talep ediliyor. HC1'de 1 milyon token üretmenin maliyetinin yalınce 0,75 sent olduğu öngörü ediliyor.
Erişilebilirlik: Şirket, bu çipi ilköğretim saha tek demo konuşma uygulamasını (chatjimmy.ai) zaten kullanıma sundu; kullanıcılar işte asap ağının anlık yanıtını bizzat deneyimleyebilirler.
Uzman ve analistlerden gelen yorumlar:
1. Esneklik ve Verimlilik Sorunu
Uzmanlar (Hacker News ve Reddit'tekiler gibi) asıl dezavantajın esneklik olmaması olduğunu belirtiyor. Farklı tek modeller çalıştırmak istiyorsanız, yepyeni tek çip satın almanız lüzumecek. Ancak Taalas, tasarım sürecinin, büyük şirketlerdeki yazılım güncelleme döngüsüne benzer şekilde, yepyeni tek modeller için çipi yalınce ikisi ayda oluşturmasına olanak sağladığını talep ediyor.
2. Mimarlıkta teknolojik atılım
EE Times analistleri, Taalas'ın "yapılandırılmış ASIC'ler" prensiplerine geri döndüğünü vurguluyor. Mantık ve bilgi depolamayı tekbaşına tek çipte, DRAM'in yoğunluğuyla birleştirdiler. Bu, pahalı ve kıt HBM belleğe, sıvı soğutmaya ve karmaşık ara bağlantı sistemlerine olan ihtiyacı ortadan kaldırıyor.
3. "Akıllı" ajanların geleceği
Ünlü geliştirici ve bilirkişi Simon Willison, bu hızın (saniyede 17.000 belirteç) gelenekselliği konuşma arayüzlerini geçersiz kıldığını, çünkü metnin tek insanın göz kırpmasından daha hızlı üretildiğini belirtiyor. Bu durum, kullanıcıyı bekletmeden gerçek zamanlı olarak "düşünen" ve hareket eden yapay zeka ajanlarının önünü açıyor.
4. Ölçeklendirmeye yönelik şüphecilik
Bazı uzmanlar, Llama 400B ya da DeepSeek 671B gibi büyük modelleri bu tür tek mimariye yerleştirmenin güçluğuna ilgi çekiyor. 671 milyar parametreli tek modelin senkronize çalışması için yaklaşık 30 adet HC1 çipine ihtiyaç duyulacak; bu da güç tüketimi ve basitlik avantajlarını kısmen dmanieyebilir.
English (US) ·