فرآیند گاوسی شبکه عصبی - ویکی‌پدیا، دانشنامهٔ آزاد

این مقاله دقیق، کامل و صحیح ترجمه نشده و نیازمند ترجمه به فارسی است. کل یا بخشی از این مقاله به زبانی به‌جز زبان فارسی نوشته شده‌است. اگر مقصود ارائهٔ مقاله برای مخاطبان آن زبان است، باید در نسخه‌ای از ویکی‌پدیا به همان زبان نوشته شود (فهرست ویکی‌پدیاها را ببینید). در غیر این صورت، خواهشمند است ترجمهٔ این مقاله را با توجه به متن اصلی و با رعایت سیاست ویرایش، دستور خط فارسی و برابر سازی به زبان فارسی بهبود دهید و سپس این الگو را از بالای صفحه بردارید. همچنین برای بحث‌های مرتبط، مدخل این مقاله در فهرست صفحه‌های نیازمند ترجمه به فارسی را ببینید. اگر این مقاله به زبان فارسی بازنویسی نشود، تا دو هفتهٔ دیگر نامزد حذف می‌شود و/یا به نسخهٔ زبانی مرتبط ویکی‌پدیا منتقل خواهد شد. اگر شما اخیراً این مقاله را به‌عنوان صفحهٔ نیازمند ترجمه برچسب زده‌اید، لطفاً عبارت {{جا:نیاز به ترجمه|صفحه=فرآیند گاوسی شبکه عصبی |زبان=نامشخص |نظر= }} ~~~~ را به پایین این بخش از فهرست صفحه‌های نیازمند ترجمه به فارسی بیفزایید. لطفاً {{جا:هبک-ترجمه به فارسی|1=فرآیند گاوسی شبکه عصبی}} ~~~~ را نیز در صفحهٔ بحث نگارنده قرار دهید.

این مقاله نیازمند ویکی‌سازی است. لطفاً با توجه به راهنمای ویرایش و شیوه‌نامه، محتوای آن را بهبود بخشید.

شبکه‌های بیزی ابزار مدل‌سازی برای تخصیص احتمالات به رویدادها و در نتیجه مشخص کردن احتمال درستی یا نادرستی در پیش‌بینی‌های یک مدل هستند. یادگیری عمیق و شبکه‌های عصبی رویکردهایی هستند که در یادگیری ماشین برای ساخت مدل‌های محاسباتی استفاده می‌شوند که از داده‌های آموزشی یادمی‌گیرند و با داده‌های تست ارزیابی می‌شوند. شبکه‌های عصبی بیزی این دو رشته را ادغام می‌کنند. آنها نوعی شبکه عصبی هستند که پارامترها و پیش‌بینی‌های آنها هر دو احتمالاتی هستند.^[۱] در حالی که شبکه‌های عصبی معمولی اغلب پیش‌بینی‌های قطعی بعنی صفر و یک دارند،^[۲] شبکه‌های عصبی بیزی می‌توانند با دقت بیشتری و به صورت غیر قطعی احتمال درست بودن پیش‌بینی‌هایشان را ارزیابی کنند.

فرآیندهای گاوسی شبکه عصبی (NNGPs) تا حدی معادل شبکه‌های عصبی بیزی هستند،^{[۳][۴][۵][۶][۷][۸][۹]} و یک شکل بسته ارائه می‌کنند. روشی برای ارزیابی شبکه‌های عصبی بیزی آنها یک توزیع احتمال فرایند گاوسی هستند که توزیع بر روی پیش‌بینی‌های انجام شده توسط شبکه عصبی بیزی مربوطه را توصیف می‌کند. محاسبات در شبکه‌های عصبی مصنوعی معمولاً در لایه‌های متوالی نورون‌های مصنوعی سازماندهی می‌شوند. به تعداد نورون‌های یک لایه، عرض لایه می‌گویند. هم‌ارزی بین NNGPها و شبکه‌های عصبی بیزی زمانی اتفاق می‌افتد که لایه‌ها در شبکه عصبی بیزی بی‌نهایت گسترده شوند (شکل را ببینید). این محدودیت عرض بزرگ مورد توجه عملی است، زیرا شبکه‌های عصبی با عرض محدود معمولاً با افزایش عرض لایه عملکرد بهتری دارند.^{[۱۰][۱۱][۷][۱۲]}

NNGP همچنین در زمینه‌های دیگر ظاهر می‌شود: توزیع را بر روی پیش‌بینی‌های انجام شده توسط شبکه‌های غیر بیزی پس از مقداردهی اولیه رندوم پارامترهای این شبکه‌ها، توصیف می‌کند، اما این اتفاق قبل از یادگیری شبکه رخ می‌دهد. به عنوان یک اصطلاح در هسته مماس عصبی معادلات پیش‌بینی ظاهر می‌شود. از شبکه گاوسی در انتشار اطلاعات عمیق استفاده می‌شود تا مشخص شود که آیا هایپرپارامترها و معماری‌ها قابلیت بادگیری دارند یا خیر.^[۱۳] این به محدودیت‌های تعداد نورون‌های شبکه‌های عصبی مربوط می‌شود.

یک تصویر کارتونی[ویرایش]

هر تنظیم پارامترهای یک شبکه عصبی ${\displaystyle \theta }$ مربوط به یک تابع خاص است که توسط شبکه عصبی محاسبه می‌شود. توزیع ابتدایی ${\displaystyle p(\theta )}$ روی پارامترهای شبکه عصبی مربوط به یک توزیع بر روی توابع محاسبه شده توسط شبکه است. از آنجایی که شبکه‌های عصبی بی‌نهایت گسترده هستند، این توزیع بر روی توابع برای بسیاری از معماری‌ها به یک فرایند گاوسی همگرا می‌شود.

شکل سمت راست خروجی‌های یک بعدی را ترسیم می‌کند ${\displaystyle z^{L}(\cdot ;\theta )}$ یک شبکه عصبی برای دو ورودی ${\displaystyle x}$ و ${\displaystyle x^{*}}$ در برابر یکدیگر نقاط سیاه تابع محاسبه شده توسط شبکه عصبی روی این ورودی‌ها را برای ترسیم تصادفی پارامترها از ${\displaystyle p(\theta )}$ . خطوط قرمز، خطوط همسان احتمال برای توزیع مشترک بر روی خروجی‌های شبکه یعنی ${\displaystyle z^{L}(x;\theta )}$ و ${\displaystyle z^{L}(x^{*};\theta )}$ هستند که از توزیع ${\displaystyle p(\theta )}$ القا شده‌است. . این توزیع در فضای تابع مربوط به توزیع ${\displaystyle p(\theta )}$ در فضای پارامتر است، و نقاط سیاه نمونه‌هایی از این توزیع هستند. برای شبکه‌های عصبی بی‌نهایت گسترده، از آنجایی که توزیع روی توابع محاسبه شده توسط شبکه عصبی یک فرایند گاوسی است، توزیع مشترک بر روی خروجی‌های یک شبکه گاوسی چند متغیره برای هر مجموعه متناهی از ورودی‌های شبکه است.

نماد استفاده شده در این بخش مانند نماد استفاده شده در زیر برای به دست آوردن مطابقت بین NNGPها و شبکه‌های کاملاً همبند است و جزئیات بیشتر نیز قابل مشاهده است..

معماری‌هایی که با NNGP مطابقت دارند[ویرایش]

نشان داده شده‌است که هم‌ارزی بین شبکه‌های عصبی بیزینی با پهنای بی‌نهایت و NNGP برای: شبکه‌های کاملاً متصل^[۳] و عمیق^[۵][۶] برقرار است، زیرا تعداد واحدها در هر لایه به بی‌نهایت می‌رسد. شبکه‌های عصبی کانولوشن به عنوان تعداد کانال‌ها تا بی‌نهایت گرفته می‌شود.^[۷][۸] شبکه‌های ترانسفورماتور به عنوان تعداد سر توجه به بی‌نهایت گرفته می‌شود.^[۱۴] شبکه‌های تکراری به عنوان تعداد واحدها تا بی‌نهایت گرفته می‌شود.^[۹] در واقع، این تناظر NNGP تقریباً برای هر معماری صادق است: به‌طور کلی، اگر یک معماری را بتوان صرفاً از طریق ضرب ماتریس و غیرخطی‌های هماهنگی بیان کرد (یعنی یک برنامه تانسور)، آنگاه دارای یک GP با عرض نامحدود است.^[۹] این به‌طور خاص شامل تمام شبکه‌های عصبی پیش‌خور یا بازگشتی متشکل از پرسپترون چندلایه، شبکه‌های عصبی بازگشتی (مثلاً LSTMs، درنا)، (دوم یا نمودار) پیچیدگی، تجمع، جست و خیز اتصال، توجه، عادی دسته ای، و / یا لایه عادی.

معماری‌های خاصی را می‌توان طوری تغییر داد که به شبکه‌های عصبی بیزی نامتناهی اجازه دهد که NNGP با هسته‌های ترکیب شده از طریق عملیات افزایشی و ضربی تولید کنند.^[۱۵]

مکاتبات بین یک شبکه کاملاً متصل بی‌نهایت گسترده و یک فرایند گاوسی[ویرایش]

این بخش در مورد تطابق بین شبکه‌های عصبی گسترده و فرآیندهای گاوسی برای مورد خاص یک معماری کاملاً متصل گسترش می‌یابد. این یک طرح اثباتی ارائه می‌دهد که نشان می‌دهد چرا مکاتبات برقرار است، و شکل عملکرد خاص NNGP را برای شبکه‌های کاملاً متصل معرفی می‌کند. طرح اثبات نزدیک به رویکرد نواک و همکاران است..^[۷]

یک شبکه عصبی مصنوعی کاملاً متصل با ورودی‌ها را در نظر بگیرید ${\displaystyle x}$ ، مولفه‌های ${\displaystyle \theta }$ متشکل از وزنه‌ها ${\displaystyle W^{l}}$ و تعصبات ${\displaystyle b^{l}}$ برای هر لایه ${\displaystyle l}$ در شبکه، پیش فعال سازی (پیش غیرخطی) ${\displaystyle z^{l}}$ ، فعال سازی (پس از غیرخطی بودن) ${\displaystyle y^{l}}$ ، غیرخطی نقطه ای ${\displaystyle \phi (\cdot )}$ و عرض لایه‌ها ${\displaystyle n^{l}}$ . برای سادگی، عرض ${\displaystyle n^{L+1}}$ از بردار بازخوانی ${\displaystyle z^{L}}$ 1 در نظر گرفته شده‌است. پارامترهای این شبکه دارای توزیع قبلی هستند ${\displaystyle p(\theta )}$ ، که از یک گاوسی همسانگرد برای هر وزن و بایاس تشکیل شده‌است، با واریانس وزن‌ها به صورت معکوس با عرض لایه. این شبکه در شکل سمت راست نشان داده شده‌است و با مجموعه معادلات زیر توضیح داده شده‌است:

${\displaystyle {\begin{aligned}x&\equiv {\text{input}}\\y^{l}(x)&=\left\{{\begin{array}{lcl}x&&l=0\\\phi \left(z^{l-1}(x)\right)&&l>0\end{array}}\right.\\z_{i}^{l}(x)&=\sum _{j}W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {\mathcal {N}}\left(0,{\frac {\sigma _{w}^{2}}{n^{l}}}\right)\\b_{i}^{l}&\sim {\mathcal {N}}\left(0,\sigma _{b}^{2}\right)\\\phi (\cdot )&\equiv {\text{nonlinearity}}\\y^{l}(x),z^{l-1}(x)&\in \mathbb {R} ^{n^{l}\times 1}\\n^{L+1}&=1\\\theta &=\left\{W^{0},b^{0},\dots ,W^{L},b^{L}\right\}\end{aligned}}}$

${\displaystyle z^{l}|y^{l}}$ یک فرایند گاوسی است[ویرایش]

ابتدا مشاهده می‌کنیم که پیش فعال سازی‌ها ${\displaystyle z^{l}}$ توسط یک فرایند گاوسی مشروط به فعال سازی‌های قبلی توصیف می‌شوند ${\displaystyle y^{l}}$ . این نتیجه حتی در عرض محدود نیز برقرار است. هر پیش فعال سازی ${\displaystyle z_{i}^{l}}$ یک مجموع وزنی از متغیرهای تصادفی گاوسی است که مربوط به اوزان است ${\displaystyle W_{ij}^{l}}$ و تعصبات ${\displaystyle b_{i}^{l}}$ ، که در آن ضرایب هر یک از آن متغیرهای گاوسی، فعال سازی‌های قبلی هستند ${\displaystyle y_{j}^{l}}$ . از آنجایی که آنها مجموع وزنی از گاوسیان با میانگین صفر هستند ${\displaystyle z_{i}^{l}}$ خودشان گاوسیان صفر میانگین هستند (مشروط به ضرایب ${\displaystyle y_{j}^{l}}$). از آنجا که ${\displaystyle z^{l}}$ به‌طور مشترک برای هر مجموعه ای از گاوسی هستند ${\displaystyle y^{l}}$ ، آنها توسط یک فرایند گاوسی مشروط به فعال سازی‌های قبلی توصیف می‌شوند ${\displaystyle y^{l}}$ . کوواریانس یا هسته این فرایند گاوسی به وزن و واریانس بایاس بستگی دارد ${\displaystyle \sigma _{w}^{2}}$ و ${\displaystyle \sigma _{b}^{2}}$ و همچنین ماتریس لحظه دوم ${\displaystyle K^{l}}$ از فعال سازی‌های قبلی ${\displaystyle y^{l}}$.

${\displaystyle {\begin{aligned}z_{i}^{l}\mid y^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}y_{i}^{l}(x)y_{i}^{l}(x')\end{aligned}}}$

تأثیر ترازو وزن ${\displaystyle \sigma _{w}^{2}}$ این است که سهم به ماتریس کوواریانس را مجدداً مقیاس بندی کنیم ${\displaystyle K^{l}}$ ، در حالی که سوگیری برای همه ورودی‌ها مشترک است و غیره ${\displaystyle \sigma _{b}^{2}}$ را می‌سازد ${\displaystyle z_{i}^{l}}$ برای نقاط داده مختلف شبیه تر است و ماتریس کوواریانس را بیشتر شبیه به یک ماتریس ثابت می‌کند.

${\displaystyle z^{l}|K^{l}}$ یک فرایند گاوسی است[ویرایش]

پیش فعال سازی‌ها ${\displaystyle z^{l}}$ فقط به ${\displaystyle y^{l}}$ از طریق ماتریس لحظه دوم آن ${\displaystyle K^{l}}$ وابسته است. به همین دلیل می‌توان گفت که ${\displaystyle z^{l}}$ یک فرایند گاوسی شرطی روی ${\displaystyle K^{l}}$ است، نه روی ${\displaystyle y^{l}}$.

${\displaystyle {\begin{aligned}z_{i}^{l}\mid K^{l}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l}+\sigma _{b}^{2}\right).\end{aligned}}}$

به عنوان عرض لایه ${\displaystyle n^{l}\rightarrow \infty }$ ، ${\displaystyle K^{l}\mid K^{l-1}}$ قطعی می‌شود[ویرایش]

همان‌طور که قبلاً تعریف شد، ${\displaystyle K^{l}}$ ماتریس لحظه دوم از ${\displaystyle y^{l}}$ . از آنجا که ${\displaystyle y^{l}}$ بردار فعال سازی پس از اعمال غیرخطی است ${\displaystyle \phi }$ ، می‌توان آن را جایگزین کرد ${\displaystyle \phi \left(z^{l-1}\right)}$ ، و در نتیجه یک معادله اصلاح شده بیان می‌کند ${\displaystyle K^{l}}$ برای ${\displaystyle l>0}$ به لحاظ ${\displaystyle z^{l-1}}$ ،

${\displaystyle {\begin{aligned}K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _{i}\phi \left(z_{i}^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x')\right).\end{aligned}}}$

ما قبلاً تعیین کرده‌ایم که ${\displaystyle z^{l-1}|K^{l-1}}$ یک فرایند گاوسی است. این یعنی مجموعی که ${\displaystyle K^{l}}$ را تعریف می‌کند، میانگین ${\displaystyle n^{l}}$ نمونه ای از یک فرایند گاوسی است که خود تابعی از ${\displaystyle K^{l-1}}$ است.

${\displaystyle {\begin{aligned}\left\{z_{i}^{l-1}(x),z_{i}^{l-1}(x')\right\}&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l-1}+\sigma _{b}^{2}\right).\end{aligned}}}$

به عنوان عرض لایه ${\displaystyle n^{l}}$ به بی‌نهایت می‌رود، این میانگین به پایان می‌رسد ${\displaystyle n^{l}}$ نمونه‌هایی از فرایند گاوسی را می‌توان با یک انتگرال بر روی فرایند گاوسی جایگزین کرد:

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}(x,x')&=\int dzdz'\phi (z)\phi (z'){\mathcal {N}}\left(\left[{\begin{array}{c}z\\z'\end{array}}\right];0,\sigma _{w}^{2}\left[{\begin{array}{cc}K^{l-1}(x,x)&K^{l-1}(x,x')\\K^{l-1}(x',x)&K^{l-1}(x',x')\end{array}}\right]+\sigma _{b}^{2}\right)\end{aligned}}}$

بنابراین، در محدوده عرض نامحدود ماتریس لحظه دوم ${\displaystyle K^{l}}$ برای هر جفت ورودی ${\displaystyle x}$ و ${\displaystyle x'}$ را می‌توان به عنوان یک انتگرال بر روی یک گاوسی ۲ بعدی، از حاصل ضرب بیان کرد ${\displaystyle \phi (z)}$ و ${\displaystyle \phi (z')}$ . تعدادی از موقعیت‌ها وجود دارد که در آن این به صورت تحلیلی حل شده‌است، مانند زمانی که ${\displaystyle \phi (\cdot )}$ یک تابع غیرخطی ReLU ,^[۱۶] ELU, GELU، یا خطا.^[۴] حتی زمانی که نمی‌توان آن را به صورت تحلیلی حل کرد، از آنجایی که یک انتگرال ۲ بعدی است، به‌طور کلی می‌توان آن را به صورت عددی به‌طور مؤثر محاسبه کرد.^[۵] این انتگرال قطعی است، بنابراین ${\displaystyle K^{l}|K^{l-1}}$ قطعی است. برای کوتاه نویسی یک تابع تعریف می‌کنیم ${\displaystyle F}$ ، که مربوط به محاسبه این انتگرال ۲ بعدی برای همه جفت ورودی‌ها و نقشه‌ها است ${\displaystyle K^{l-1}}$ به ${\displaystyle K^{l}}$ ،

${\displaystyle {\begin{aligned}\lim _{n^{l}\rightarrow \infty }K^{l}&=F\left(K^{l-1}\right).\end{aligned}}}$

${\displaystyle z^{L}\mid x}$ یک NNGP است[ویرایش]

با اعمال این مشاهده به صورت بازگشتی که ${\displaystyle K^{l}\mid K^{l-1}}$ وقتی ${\displaystyle n^{l}\rightarrow \infty }$، قطعی است، ${\displaystyle K^{L}}$ را می‌توان به عنوان یک تابع قطعی ${\displaystyle K^{0}}$ در نظر گرفت،

${\displaystyle {\begin{aligned}\lim _{\min \left(n^{1},\dots ,n^{L}\right)\rightarrow \infty }K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L}\left(K^{0}\right),\end{aligned}}}$

جایی که ${\displaystyle F^{L}}$ نشان دهنده اعمال تابعی است ${\displaystyle F}$ به صورت متوالی ${\displaystyle L}$ بار. با ترکیب این عبارت با مشاهدات بعدی که لایه ورودی ماتریس گشتاور دوم است ${\displaystyle K^{0}(x,x')={\frac {1}{n^{0}}}\sum _{i}x_{i}x'_{i}}$ تابع قطعی ورودی است ${\displaystyle x}$ ، و آن ${\displaystyle z^{L}|K^{L}}$ یک فرایند گاوسی است، خروجی شبکه عصبی را می‌توان به عنوان یک فرایند گاوسی بر حسب ورودی آن بیان کرد،

${\displaystyle {\begin{aligned}z_{i}^{L}(x)&\sim {\mathcal {GP}}\left(0,\sigma _{w}^{2}F^{L}\left(K^{0}\right)+\sigma _{b}^{2}\right).\end{aligned}}}$

کتابخانه‌های نرم‌افزاری[ویرایش]

Neural Tangents یک کتابخانه رایگان و منبع باز پایتون است که برای محاسبه و انجام استنتاج با NNGP و هسته مماس عصبی مربوط به معماری‌های مختلف ANN رایج استفاده می‌شود.^[۱۷]

منابع[ویرایش]