Draqon
Aktif Üye
Meta Platforms, kendi geliştirdiği AI hızlandırıcılarının ikinci neslini tanıttı. “Meta Eğitim ve Çıkarım Hızlandırıcısı” (MTIA), Meta'nın Facebook, Instagram ve WhatsApp gibi kendi platformlarında yapay zeka kullanımına yönelik gereksinimlerine özel olarak uyarlanmalıdır. Meta, MTIA'yı, Meta'nın benzersiz iş yükleri için en verimli mimari olarak tanımlıyor ve bunu halihazırda kendi veri merkezlerindeki üretim operasyonlarında kullanıyor.
Reklamcılık
Meta, geçen yıl ilk MTIA neslini zaten sunmuştu ancak görünüşe göre bu AI müdahale hızlandırıcılarını kullanmamıştı. Metas'a göre MTIA v1, bellek ve arayüz bant genişliği açısından gerekli performansa sahip değildi. Meta, ilk yapay zeka hızlandırıcısını geliştirirken edindiği deneyime dayanarak ikinci nesli geliştirdi. İki ay önce Meta Platformlarının bu kendi kendine üretilen yapay zeka işlemcilerini kuracağı bildirilmişti.
Şimdi Meta, bir blog yazısında bu girişim hızlandırıcılar hakkında ayrıntılı bilgi veriyor. Buna göre, ikinci MTIA nesli, çeşitli metaya özgü iş yüklerinde performansı üç katına çıkaran ilk MTIA çipine kıyasla bilgi işlem ve depolama bant genişliklerini iki kattan fazla artırmayı başardı. Ancak bu çiplerin tipik güç tüketimi 3,6 kat artıyor. Yeni MTIA çipleri TSMC'de 5 nanometre prosesi kullanılarak üretilirken, ilk nesil 7 nm teknolojisi kullanılarak üretildi.
64 “çekirdekli” MTIA, 72 AI hızlandırıcıdan oluşan sistemler
Yeni MTIA yongası, her bir PE'nin kendi belleğine (384 Kbayt önbellek) sahip olduğu ve yonganın kendisinin de 256 Mbayt ek belleğe sahip olduğu toplam 64 işlemci öğesinden (PE) oluşur. Ayrıca sistemin ana belleği olarak 128 GB'a kadar LPDDR5 bulunmaktadır. MTIA v1 ile karşılaştırıldığında ana bellek ve çip üzerindeki bellek iki katına, PE dahili belleği ise üç katına çıkarıldı. Ayrıca çipin saat frekansı neredeyse yüzde 70 oranında artırıldı ve artık dördüncü nesil yerine beşinci nesil PCI Express, harici bant genişliğini iki katına çıkaran bir arayüz olarak destekleniyor. Meta, AMD veya Nvidia'nın AI hızlandırıcılarıyla karşılaştırma yapmıyor.
MTIA AI hızlandırıcı kartı
(Resim: Meta)
MTIA çipleri, veri merkezinde Meta tarafından geliştirilen ve 72'ye kadar AI hızlandırıcıdan oluşan bir raf sisteminde kullanılıyor. Her biri iki MTIA çipine sahip on iki karttan oluşan üç kasa vardır. Meta'ya göre böyle bir konfigürasyon, saat hızlarının ilk nesilde 800 MHz'den şimdi 1,35 GHz'e çıkarılmasına olanak tanıyor. Bu aynı zamanda güç tüketimini çip başına 25 watt'tan 90 watt'a çıkarır. AI güç tüketimini tahmin etmek zordur ancak Nvidia'nın H100 ve AMD'nin MI300X'i sırasıyla kart başına 700 ve 750 watt için tasarlanmıştır.
Optimum bir eklenti olarak kendi AI çiplerine sahip olun
Meta, kendi yapay zeka hızlandırıcılarının, örneğin Facebook ve Instagram'da kullanıcılara bireysel kullanıma dayalı olarak uygun öneriler verilebilmesini sağlayan sıralama ve öneri modellerini verimli bir şekilde çalıştırmasını bekliyor. Meta'ya göre halihazırda üretimde olan yeni MTIA nesli, daha yoğun yapay zeka iş yüklerine de olanak tanıyor.
ayrıca oku
Daha fazla göster
daha az göster
Meta, AI hesaplamaları için sunucu GPU'ları satın almak üzere, çoğunlukla H100 ile AMD ve Intel'e hakim olan Nvidia'ya çok büyük meblağlar ödese de, kendi AI hızlandırıcıları bu GPU'ların yerini almayı değil, onları tamamlamayı amaçlıyor. Meta, bunun yapay zeka iş yükleri için performans ve verimliliğin en uygun karışımını temsil ettiğine inanıyor.
(fds)
Haberin Sonu
Reklamcılık
Meta, geçen yıl ilk MTIA neslini zaten sunmuştu ancak görünüşe göre bu AI müdahale hızlandırıcılarını kullanmamıştı. Metas'a göre MTIA v1, bellek ve arayüz bant genişliği açısından gerekli performansa sahip değildi. Meta, ilk yapay zeka hızlandırıcısını geliştirirken edindiği deneyime dayanarak ikinci nesli geliştirdi. İki ay önce Meta Platformlarının bu kendi kendine üretilen yapay zeka işlemcilerini kuracağı bildirilmişti.
Şimdi Meta, bir blog yazısında bu girişim hızlandırıcılar hakkında ayrıntılı bilgi veriyor. Buna göre, ikinci MTIA nesli, çeşitli metaya özgü iş yüklerinde performansı üç katına çıkaran ilk MTIA çipine kıyasla bilgi işlem ve depolama bant genişliklerini iki kattan fazla artırmayı başardı. Ancak bu çiplerin tipik güç tüketimi 3,6 kat artıyor. Yeni MTIA çipleri TSMC'de 5 nanometre prosesi kullanılarak üretilirken, ilk nesil 7 nm teknolojisi kullanılarak üretildi.
64 “çekirdekli” MTIA, 72 AI hızlandırıcıdan oluşan sistemler
Yeni MTIA yongası, her bir PE'nin kendi belleğine (384 Kbayt önbellek) sahip olduğu ve yonganın kendisinin de 256 Mbayt ek belleğe sahip olduğu toplam 64 işlemci öğesinden (PE) oluşur. Ayrıca sistemin ana belleği olarak 128 GB'a kadar LPDDR5 bulunmaktadır. MTIA v1 ile karşılaştırıldığında ana bellek ve çip üzerindeki bellek iki katına, PE dahili belleği ise üç katına çıkarıldı. Ayrıca çipin saat frekansı neredeyse yüzde 70 oranında artırıldı ve artık dördüncü nesil yerine beşinci nesil PCI Express, harici bant genişliğini iki katına çıkaran bir arayüz olarak destekleniyor. Meta, AMD veya Nvidia'nın AI hızlandırıcılarıyla karşılaştırma yapmıyor.
MTIA AI hızlandırıcı kartı
(Resim: Meta)
MTIA çipleri, veri merkezinde Meta tarafından geliştirilen ve 72'ye kadar AI hızlandırıcıdan oluşan bir raf sisteminde kullanılıyor. Her biri iki MTIA çipine sahip on iki karttan oluşan üç kasa vardır. Meta'ya göre böyle bir konfigürasyon, saat hızlarının ilk nesilde 800 MHz'den şimdi 1,35 GHz'e çıkarılmasına olanak tanıyor. Bu aynı zamanda güç tüketimini çip başına 25 watt'tan 90 watt'a çıkarır. AI güç tüketimini tahmin etmek zordur ancak Nvidia'nın H100 ve AMD'nin MI300X'i sırasıyla kart başına 700 ve 750 watt için tasarlanmıştır.
Optimum bir eklenti olarak kendi AI çiplerine sahip olun
Meta, kendi yapay zeka hızlandırıcılarının, örneğin Facebook ve Instagram'da kullanıcılara bireysel kullanıma dayalı olarak uygun öneriler verilebilmesini sağlayan sıralama ve öneri modellerini verimli bir şekilde çalıştırmasını bekliyor. Meta'ya göre halihazırda üretimde olan yeni MTIA nesli, daha yoğun yapay zeka iş yüklerine de olanak tanıyor.
ayrıca oku
Daha fazla göster
daha az göster
Meta, AI hesaplamaları için sunucu GPU'ları satın almak üzere, çoğunlukla H100 ile AMD ve Intel'e hakim olan Nvidia'ya çok büyük meblağlar ödese de, kendi AI hızlandırıcıları bu GPU'ların yerini almayı değil, onları tamamlamayı amaçlıyor. Meta, bunun yapay zeka iş yükleri için performans ve verimliliğin en uygun karışımını temsil ettiğine inanıyor.
(fds)
Haberin Sonu