Microsoft, Phi-3 Mini dil modelini tanıtıyor: küçük ama güçlü!Yalnızca 3,8 milyar parametreye sahip mütevazı bir SLM, ancak üst düzey eğitimi sayesinde daha büyük LLM'lere dayanma kapasitesine sahiptir.
Son aylarda çoğunlukla Yüksek Lisans (LLM) oldu (Büyük Dil Modeli) ChatGPT veya Gemini gibi çözümlerle ön planda olanlardır. Ancak bu devlerin bir kusuru var: çok sayıda parametreye sahip dev yapıları; bunları yerel olarak yönetmek bir zorluktur. Böylece devlerinin gölgesinde yapay zeka için daha mütevazı dil modelleri gelişiyor; mantıksal olarak SLM olarak adlandırılırlar, çünkü Küçük Dil Modelleri. Bu genç sürgünler arasında Google'dan Gemma 2B ve 7B, Anthropic'ten Claude 3 Haiku ve hatta Meta'dan Llama 3 8B gibi türlere rastlıyoruz. Microsoft yakın zamanda yeni bir tane yayınladı: Phi-3 Mini.
Phi-3 Mini, üçlünün ilk temsilcisi
Phi-3 Mini, üç tohumlu dizinin halka açık ilk temsilcisidir; önümüzdeki aylarda beklenen diğer ikisi ise Phi-3 Small ve Phi-3 Medium'dur. Parametre sayısı açısından bu modeller sırasıyla 3,8 milyar, 7 milyar ve 14 milyar toprak gerektirmektedir. Ayrıca 3 rakamından da anlayacağınız üzere emsalleri de oldu: Phi-1 ve Phi-2, geçen Aralık ayında ilk kez görücüye çıktı.
Küçük boyutuna rağmen Phi-3 Mini verimsiz değildir. Microsoft, iki kat daha büyük modellere göre daha iyi performans sunduğunu iddia ediyor. Meslektaşlarımıza hitaben yapılan açıklamada SınırMicrosoft Azure Yapay Zeka Platformu başkan yardımcısı Eric Boyd şunu ekliyor: “Phi-3 Mini, GPT-3.5 gibi Yüksek Lisanslar kadar verimli ancak daha küçük bir formatta”.
SLM ve LLM © Microsoft
LLM kullanılarak eğitilmiş bir SLM
Tahmin edebileceğiniz gibi bir SLM modelinin verimli olabilmesi için çok iyi eğitilmiş olması gerekir. LLM'ler internette toplanan büyük miktarda veri yoluyla toplanırken, bir SML için bu tür bir toplama konuyla ilgili değildir. Sonuç olarak Microsoft ekipleri Phi-3 Mini'nin eğitimi konusunda farklı bir yaklaşım benimsedi. “Ham web verileri üzerinde eğitim almak yerine neden çok yüksek kaliteli veriler aramıyorsunuz? »Üretken yapay zeka araştırmalarından sorumlu Microsoft başkan yardımcısı Sébastien Bubeck bunu özetliyor.
Ancak şirketin belirttiği gibi, eğer “Yüksek kaliteli bilgiyi düşük kaliteli bilgiden ayırmak insan için zor değil” (tartışmalı bir iddia), aksi kanıtlanıncaya kadar herhangi bir muhakeme kapasitesi olmayan bir veri süpürgesi olan dil modeli için durum çok daha fazladır. Bununla birlikte, ilgili bilgilerin seçiminin yanı sıra ön sıralamayı gerçekleştirmek için Microsoft bir Yüksek Lisans (LLM) kullandı. Şirkete göre Phi-3 Mini'nin mükemmelliğini açıklayan yeni tür bir eğitmen.
“Mevcut nesil büyük dil modellerinin gücü, sentetik veri üretme açısından gerçekten daha önce sahip olmadığımız bir araç”Microsoft Research AI Frontiers Lab'ı yöneten Ece Kamar'ın altını çiziyor. Temel olarak, bilgisinin ilk kısmını ikincisine damıtan Epinal usta ve öğrenci imajına dair bir şeyler buluyoruz.
Aslında küçük yapay zeka modellerinin çalıştırılması büyük modellere göre daha ucuzdur ve her şeyden önce donanımın mevcut durumunda yerel kullanımı kolaylaştırır.
Microsoft tarafından açıklanan spesifikasyon şu şekildedir: Şirket, SLM'nin çevrimdışı çalışabilme yeteneği nedeniyle daha fazla sayıda insanın AI'yı şimdiye kadar mümkün olmayan bir şekilde kullanabileceğini yazıyor. Ve her şeyin birbirine bağlı olduğu bir çağda, sunucular üzerinden güçlü bir chatbot istemek aşılamaz gibi görünse de, aslında bu, nispeten gelişmiş bir ağ altyapısına sahip bir ülkede yaşayan bir şehir sakininin yorumu: Redmond firması sadece durumdan bahsediyor. hücresel hizmetlerden yoksun kırsal alanlar; daha spesifik olarak, mahsulünü denetleyen ve bir yaprak veya dalda hastalık belirtileri bulan bir çiftçinin, görsel kapasiteye sahip bir SLM kullanarak söz konusu mahsulün fotoğrafını çekebilen ve böylece ürün hakkında anında öneriler alabilen bir çiftçi örneği. parazitlerin veya hastalıkların nasıl tedavi edileceği – tanı ve tedavi muhtemelen doğrudan Bayer tarafından belirlenmektedir, ancak bu başka bir tartışmadır.
Microsoft Yapay Zekadan Sorumlu Başkan Yardımcısı Luis Vargas, ideal bir dünyayı tasvir ediyor. “Dünyanın iyi bir ağa sahip olmayan bir yerindeyseniz yine de cihazınızdaki yapay zeka deneyimlerinden yararlanabileceksiniz”; bu SLM sayesinde oldu. Ey sevinç!
Microsoft
Son aylarda çoğunlukla Yüksek Lisans (LLM) oldu (Büyük Dil Modeli) ChatGPT veya Gemini gibi çözümlerle ön planda olanlardır. Ancak bu devlerin bir kusuru var: çok sayıda parametreye sahip dev yapıları; bunları yerel olarak yönetmek bir zorluktur. Böylece devlerinin gölgesinde yapay zeka için daha mütevazı dil modelleri gelişiyor; mantıksal olarak SLM olarak adlandırılırlar, çünkü Küçük Dil Modelleri. Bu genç sürgünler arasında Google'dan Gemma 2B ve 7B, Anthropic'ten Claude 3 Haiku ve hatta Meta'dan Llama 3 8B gibi türlere rastlıyoruz. Microsoft yakın zamanda yeni bir tane yayınladı: Phi-3 Mini.
Phi-3 Mini, üçlünün ilk temsilcisi
Phi-3 Mini, üç tohumlu dizinin halka açık ilk temsilcisidir; önümüzdeki aylarda beklenen diğer ikisi ise Phi-3 Small ve Phi-3 Medium'dur. Parametre sayısı açısından bu modeller sırasıyla 3,8 milyar, 7 milyar ve 14 milyar toprak gerektirmektedir. Ayrıca 3 rakamından da anlayacağınız üzere emsalleri de oldu: Phi-1 ve Phi-2, geçen Aralık ayında ilk kez görücüye çıktı.
Küçük boyutuna rağmen Phi-3 Mini verimsiz değildir. Microsoft, iki kat daha büyük modellere göre daha iyi performans sunduğunu iddia ediyor. Meslektaşlarımıza hitaben yapılan açıklamada SınırMicrosoft Azure Yapay Zeka Platformu başkan yardımcısı Eric Boyd şunu ekliyor: “Phi-3 Mini, GPT-3.5 gibi Yüksek Lisanslar kadar verimli ancak daha küçük bir formatta”.
SLM ve LLM © Microsoft
LLM kullanılarak eğitilmiş bir SLM
Tahmin edebileceğiniz gibi bir SLM modelinin verimli olabilmesi için çok iyi eğitilmiş olması gerekir. LLM'ler internette toplanan büyük miktarda veri yoluyla toplanırken, bir SML için bu tür bir toplama konuyla ilgili değildir. Sonuç olarak Microsoft ekipleri Phi-3 Mini'nin eğitimi konusunda farklı bir yaklaşım benimsedi. “Ham web verileri üzerinde eğitim almak yerine neden çok yüksek kaliteli veriler aramıyorsunuz? »Üretken yapay zeka araştırmalarından sorumlu Microsoft başkan yardımcısı Sébastien Bubeck bunu özetliyor.
Ancak şirketin belirttiği gibi, eğer “Yüksek kaliteli bilgiyi düşük kaliteli bilgiden ayırmak insan için zor değil” (tartışmalı bir iddia), aksi kanıtlanıncaya kadar herhangi bir muhakeme kapasitesi olmayan bir veri süpürgesi olan dil modeli için durum çok daha fazladır. Bununla birlikte, ilgili bilgilerin seçiminin yanı sıra ön sıralamayı gerçekleştirmek için Microsoft bir Yüksek Lisans (LLM) kullandı. Şirkete göre Phi-3 Mini'nin mükemmelliğini açıklayan yeni tür bir eğitmen.
“Mevcut nesil büyük dil modellerinin gücü, sentetik veri üretme açısından gerçekten daha önce sahip olmadığımız bir araç”Microsoft Research AI Frontiers Lab'ı yöneten Ece Kamar'ın altını çiziyor. Temel olarak, bilgisinin ilk kısmını ikincisine damıtan Epinal usta ve öğrenci imajına dair bir şeyler buluyoruz.
Aslında küçük yapay zeka modellerinin çalıştırılması büyük modellere göre daha ucuzdur ve her şeyden önce donanımın mevcut durumunda yerel kullanımı kolaylaştırır.
Microsoft tarafından açıklanan spesifikasyon şu şekildedir: Şirket, SLM'nin çevrimdışı çalışabilme yeteneği nedeniyle daha fazla sayıda insanın AI'yı şimdiye kadar mümkün olmayan bir şekilde kullanabileceğini yazıyor. Ve her şeyin birbirine bağlı olduğu bir çağda, sunucular üzerinden güçlü bir chatbot istemek aşılamaz gibi görünse de, aslında bu, nispeten gelişmiş bir ağ altyapısına sahip bir ülkede yaşayan bir şehir sakininin yorumu: Redmond firması sadece durumdan bahsediyor. hücresel hizmetlerden yoksun kırsal alanlar; daha spesifik olarak, mahsulünü denetleyen ve bir yaprak veya dalda hastalık belirtileri bulan bir çiftçinin, görsel kapasiteye sahip bir SLM kullanarak söz konusu mahsulün fotoğrafını çekebilen ve böylece ürün hakkında anında öneriler alabilen bir çiftçi örneği. parazitlerin veya hastalıkların nasıl tedavi edileceği – tanı ve tedavi muhtemelen doğrudan Bayer tarafından belirlenmektedir, ancak bu başka bir tartışmadır.
Microsoft Yapay Zekadan Sorumlu Başkan Yardımcısı Luis Vargas, ideal bir dünyayı tasvir ediyor. “Dünyanın iyi bir ağa sahip olmayan bir yerindeyseniz yine de cihazınızdaki yapay zeka deneyimlerinden yararlanabileceksiniz”; bu SLM sayesinde oldu. Ey sevinç!
Kaynak :01net'ten gelen hiçbir haberi kaçırmamak için bizi Google Haberler ve WhatsApp'tan takip edin.
Microsoft