ترجمه مقاله SRNN: شبکه عصبی خود تنظیم کننده

دانلود ترجمه مقاله SRNN: شبکه عصبی خود تنظیم کننده

در 28 صفحه قابل ویرایش با فرمت ورد به همراه متن اصلی مقاله

SRNN: Self-Regularized Neural Network

ترجمه چکیده مقاله SRNN: شبکه عصبی خود تنظیم کننده

در این اثر، تقویت توانایی مشخصه و متمایز کننده شبکه عصبی عمیق را به وسیله تقلیل مساله اضافه برازش (اضافه انطباق) بیان کردیم. اغلب آثار قبلی به مساله یادگیری شبکه عصبی به وسیله بهینه سازی یک یا بیش از یکی از توابع هدف با روشهای تنظیم سازی موجود (از جمله از قلم افتادگی، افت وزن، یکپارچگی تصادفی، افزایش داده ها و غیره) پرداخته اند و ما می گوییم این رویکردها برای بهبود بیشتر عملکرد طبقه بندی شبکه عصبی به واسطه عدم بکارگیری مناسب علم آموخته خودشان دشوار هستند.

در این مقاله استراتژی خود تنظیم کننده را برای یادگیری شبکه عصبی به نام شبکه عصبی خود تنظیم کننده (SRNN) معرفی کردیم. دریافت شهودی نهفته پشت SRNN این است که اهداف نرم نمونه- روش شبکه عصبی از پتانسیل خارج ساختن شبکه عصبی خودشان از بهینگی محلی برخوردارند و مهمتر از این شبکه عصبی اولیه است که رای اولین بار به وسیله بهینه سازی یک یا بیش از یکی از توابع هدف با برچسب های واقعی زمینه از پیش آموزش داده شد.

سپس به تدریج اهداف نرم نمونه- روش را استخراج کردیم تا بتوانیم همبستگی یا شباهت بین دسته های پیش بینی شده بدست آمده از شبکه ی عصبی خودشان را نشان دهیم.

پارامترهای شبکه عصبی بیشتر برای برازش اهداف نرم نمونه روش شان بروزرسانی شدند. این شیوه یادگیری خود تنظیم سازی تابع هدف را به وسیله یکپارچگی اهداف نرم نمونه- روش شبکه عصبی و برچسب واقعی زمینه آموزش نمونه ها به حداقل میرساند (کمینه می سازد).

3 مشخصه در این SRNN وجود دارد که بصورت خلاصه و کوتاه توضیح شدند و عبارتنداز: (1) استخراج علم آموخته از یک شبکه عصبی به تدریج سپس تصحیح وتقویت این بخش از علم آموخته که نتیجه آن تولید اهداف نرم- نمونه- روش بود (2) بهینه سازی منظم پارامترهای این شبکه عصبی با اهداف نرم نمونه- روش شان 3- تقویت توانایی مشخصه شبکه عصبی با استراتژی خود تنظیم سازی، آزمایشات فراوانی روی 4 مجموعه داده عمومی یعنی CIFAR-100, CIFAR-10-MIT,Caltech101 انجام شد و اثربخشی SRNN پینشهادی را برای طبقه بندی تصویر به خوبی به اثبات رساند.

کلیدواژه ها: یادگیری خود تنظیم کننده، اهداف نرم نمونه- روش، شبکه عصبی، طبقه بندی تصویر.

فهرست مطالب مقاله شبکه عصبی خود تنظیم کننده

• مقدمه
• اثر مرتبط
• شبکه عصبی خود تنظیم کننده (SRNN)
• پیش آموزش شبکه
• استخراج علم
• یادگیری SRNN
• آزمایشات
• تنظیمات آزمایشی
• مقایسه عملکرد
• تحلیل الگوریتم
• نتیجه گیری

فهرست شکل های مقاله شبکه عصبی خود تنظیم کننده

• تصویر 1: توضیح انواع مختلف علم، برای علم نوع یک، ویژگی نقشه های لایه حلقوی توانست شکل جسم را در تصویر اصلی تا اندازه ای توصیف کند. علم نوع 2 که از لایه ماکزیم نرم استخراج شد به توزیع احتمالات دسته بر می گردد و متریک شباهت به دسته هایی را تعریف می کند که برای یادگیری مدل بهتر بکار رفته اند. مثلا مدل CNN تصویر 1 گربه را با احتمال بودن تصویر یک سگ می گیرد ولی بازهم از احتمال اینکه تصویر یک کشتی باشد خیلی دور است.
• تصویر 2: مرور شبکه عصبی خود تنظیم کننده پیشنهادی (SRNN) طبق ساختار و معماری یک شبکه عصبی (یعنی شبکه عصبی حلقوی CNN) به تدریج علم آموخته را از شبکه عصبی خودش استخراج کردیم. سپس بطور مکرر پارامترهای شبکه عصبی را با این علم آموخته بهینه ساختیم و آن را فرآیند یادگیری خود تنظیم کننده نامیدیم. با تقویت توانایی مشخصه شبکه عصبی طبق این استراتژی خود تنظیم سازی، نتایج طبقه بندی نهایی را به وسیله SRNN پیشنهادی مان بدست آوردیم.
• تصویر 3: کانال ارتباطی یادگیری فرآیند SRNN از 3 قطعه اصلی (پیش آموزش شبکه، استخراج علم و یادگیری SRNN) تشکیل شده است و نهایتا خروجی های شبکه عصبی بهینه شده را تولید می کند. یک شبکه با حالتهای مختلف به 3 رنگ متفاوت نشان داده شد. برای دیدن بهتر همه تصاویر در این مقاله لطفا فایل پی دی اف رنگی اصلی را نگاه کنید. علم آموخته از NN: برای همه نمونه های آموزش برچسب دار (اولین ستون تصویر 4) را یاد بگیریم که از پیش آموزش داده شد و دارای قابلیت مشخصه قطعی بود. علم آموخته می تواند نگاشت شکل لایه های حلقوی، بردارهای شبکه لایه تمام متصل و نتایج پیش بینی شده  و غیره باشد و زمان محاسبه یادگیری علم از NN با پیش آموزش شبکه عصبی مرتبط است.
• تصویر 4: فرآیند استخراچ یک شبکه عصبی (NN) هرستون به انواع مختلفی از اطلاعات برای نمونه های آموزش از جمله نمونه های آموزش برچسب دار، علم آموخته NN علم تصحیح شده نمونه- روش و اهداف نرم نمونه- روش بر می گردد.
• جدول 1: خطاهای طبقه بندی CIFAR-10 روشهای گوناگون
• جدول 2: خطاهای طبقه بندی CIFAR-100 روشهای گوناگون
• جدول 3: عملکرد طبقه بندی caltech101 روشهای گوناگون
• جدول 4: عملکرد طبقه بندی MIT-Indoor روشهای گوناگون
• جدول 5: خطاهای طبقه بندی روشهای گوناگون روی مجموعه دادههای Image Net
• تصویر 5: تصاویر آزمایش نمونه از CIFAR-10 این تصاویر به وسیله Sparse CNN به غلط طبقه بندی شدند ولی با ساختار یکسان Sparse CNN در چارچوب SRNN پیشنهادی مان به درستی طبقه بندی شدند (Sparse CNN+SRNN) و دو نام برچسب وجود دارد که در زیر هر تصویر علامتگذاری شدند و یکی از آنها در دسته غلط Sparse CNN قرار گرفته و دیگری در دسته درست Sparse CNN+SRNN قرار گرفته است.