اینتل از فرمت جدید BFLOAT16 گوگل در پردازنده‌هایش استفاده می‌کند

کمپانی اینتل، جهت افزایش حداقل 1.7 برابری سرعت پردازنده‌هایش قصد دارد از فرمت BFLOAT16 گوگل استفاده کند.

یکی از سنگین‌ترین وظایف پردازشی در مراکز داده، آموزش شبکه‌‌های عصبی عمیق است که به دلیل برخوردار بودن از شبیه‌سازی‌های علم فیزیک که از محاسبات کامپیوتری با توان بالا (HPC) استفاده می‌کنند، به منابع محاسباتی بسیار زیادی احتیاج دارد. البته یادگیری شبکه‌های عصبی عمیق به منابع سخت‌افزاری مختلفی نیز احتیاج دارد. درواقع نیاز به منابع سخت‌افزاری مختلف در زمینه شبکه‌های عصبی عمیق با فرمت‌های عددی رابطه مستقیم دارد. مدل‌های یادگیری عمیق برپایه فرمت FP32 و همچنین F16 است در حالی که محاسبات کامپیوتری با توان بالا برپایه فرمت FP64 و البته کمی فرمت FP32 است. اما می‌توان گفت که شبکه‌های عصبی عمیق که بر پایه فرمت FP32 و همچنین F16 هستند از توان عملیاتی داده‌ای دو برابری نسبت به محاسبات کامپیوتری با توان بالا (HPC) برخوردار هستند.

درواقع از ممیز شناور از 30 سال پیش تاکنون برای محاسبات علمی استفاده می‌شود. بخش مانتیس عددی اکثر فضای داده را به خود اختصاص می‌دهد چراکه در فرمت‌های IEEE بیت‌های قابل توجهی دارد. بنابراین معادل 23 بیت در فرمت FP32، 52 بیت در فرمت FP64 و 10 بیت در فرمت FP16 است. مسئول آزمایشگاه محاسبات موازی اینتل، پرادیپ دابی در این زمینه گفته است که یادگیری شبکه‌های عصبی عمیق با دقت پایین‌تر عملکرد بهتری خواهد داشت چراکه در یادگیری عمیق نیازی به دقت بالا نداریم. درواقع مفهوم این حرف که به نظر کمی پیچیده و گیج‌کننده می‌آید، طراحی کردن مدلی است که بتواند محدوده قابل توجهی از احتمالات را دربرگیرد. البته این تمام قضیه نیست چراکه به محدوده عددی کافی هم نیاز است تا مدلی که طراحی می‌کنید بتواند محدوده‌ای از احتمالات را شامل شود. این قاعده دقیقا برعکس اصل فرمت‌های ممیز شناور IEEE است.

از این‌رو کمپانی گوگل، فرمت جدید BFLOAT16  را طراحی کرده است که به ممیز شناور مغزی 16 بیتی معروف است. البته کمپانی گوگل از این فرمت جدید خود در نسل سوم واحدهای پردازش تنسور یا همان TPU استفاده کرده است. این فرمت تا حدی بی‌نظیر است که توانسته نظر برندهای زیادی به ویژه برند اینتل را به خود جلب کند. از این‌رو است که کمپانی اینتل قصد دارد از فرمت جدید BFLOAT16  گوگل در ساختار پردازنده‌های آینده کوپرلیک زئون خود استفاده کند. البته استفاده اینتل از این فرمت تنها به پردازنده‌های مذکور محدود نمی‌شود بلکه قرار است در مدل ابتدایی پردازنده شبکه عصبی نروانا نیز مورد استفاده قرار بگیرد.

اگر بخواهیم به زبان ساده فرمتBFLOAT16  گوگل را توضیح کنیم باید بگوییم که این فرمت از یک مانتیس 7 بیتی و یک توان 8 بیتی برخوردار است که درواقع براساس همان فرمت FP32 است. متخصصان و کارشناسان کمپانی اینتل تاکنون برای چندین بار این فرمت را مورد آزمایش و بررسی قرار دادند و درنهایت تصمیم گرفتند از آن برای آموزش AlexNet ،ResNet-50 ،DC-GAN ،SR-GAN  ،Baidu DeepSpeech2 و GNMT نیز استفاده کنند. علاوه‌بر این، اینتل با استفاده از فرمتBFLOAT16  گوگل در پردازنده‌هایش سرعت آن‌ها را تا 1.7 برابر افزایش خواهد داد که برای یادگیری شبکه عصبی فوق‌العاده است.