تکنیک‌های فشرده‌سازی مدل از پژوهش به تولید یادگیری ماشین کوچک رسید

یادگیری ماشین کوچک — اجرای استنتاج شبکه عصبی روی میکروکنترلرهایی با چند کیلوبایت حافظه، توان میلی‌واتی و بدون سیستم‌عامل — به‌طور فزاینده‌ای به سه تکنیک فشرده‌سازی وابسته است که با هم به کار می‌روند: کوانتیزه‌سازی، هرس و تقطیر دانش، در کنار سکوهای کم‌هزینه میکروکنترلری.

این سه قابل جایگزینی با یکدیگر نیستند و همین نکته وقتی پشت سر هم فهرست می‌شوند گم می‌شود. کوانتیزه‌سازی دقت عددی را کاهش می‌دهد، معمولاً از ممیز شناور ۳۲ بیتی به صحیح ۸ بیتی، که حافظه را حدود یک‌چهارم می‌کند و معمولاً استنتاج را تندتر می‌کند چون محاسبات صحیح با این هسته‌ها سازگارتر است. هرس وزن‌ها یا کانال‌هایی را که سهم اندکی دارند حذف می‌کند. تقطیر مدلی کوچک را آموزش می‌دهد تا از مدلی بزرگ‌تر تقلید کند و اغلب نتیجه بهتری از آموزش مستقیم همان معماری کوچک می‌دهد، چون توزیع خروجی مدل بزرگ اطلاعاتی حمل می‌کند که برچسب‌ها ندارند.

آنچه این را به موضوعی تولیدی تبدیل کرده نه پژوهشی، این است که محدودیت دیگر دقت نیست بلکه استقرار است. تکنیک‌ها کار می‌کنند؛ دشواری آنجاست که هر کدام با دیگری و با سخت‌افزار مقصد به شکلی تعامل می‌کنند که پیش‌بینی‌اش دشوار است، پس نتیجه باید روی خود دستگاه اندازه‌گیری شود نه برآورد. مدلی که روی ایستگاه کاری به هدف دقت می‌رسد اما در حافظه فعال‌سازی قطعه مورد نظر جا نمی‌شود، راهی رایج و پرهزینه برای کشف دیرهنگام همین موضوع است.