Volevo comunicarvi che ho rilasciato un’interfaccia per la gestione di due piccoli modelli che possono girare anche sullo smartphone. Attualmente il 4B lavora molto bene (ma serve un telefono di fascia alta), ho qualche problema con il 1.7B e in cui non risesco a tenerlo stabile con reasoning attivo, ma dovrei riuscire a sopperire con un deep fine tuning che mi sta magiando molto tempo e potenza di elaborazione (il mio nemico non è il loss, ma la qualità e la varietà degli esempi e saranno circa 130.000!!). Sto usando un 32B come teacher per poi distillare sui piccolini. Appena il dataset sarà pronto (circa 10gg) spero di migliorara anche il 1.7B, senza nessun LoRa come invece ha adesso Siate spietati come al solito!😘 https://nothumanallowed.com/local submitted by /u/Key-Outcome-2927
Originally posted by u/Key-Outcome-2927 on r/ArtificialInteligence
You must log in or # to comment.