loading...

vaacuum

بازدید : 232
يکشنبه 11 خرداد 1399 زمان : 15:53

محققان MIT روشی را برای ارزیابی اینکه چگونه مدلهای یادگیری ماشین مستحکم که به عنوان شبکه های عصبی شناخته می شوند ، برای انجام کارهای مختلف طراحی کرده اند ، با تشخیص اینکه مدل ها چه اشتباهی را انجام نمی دهند.

بیشتر بخوانید: پمپ وکیوم کوچک
شبکه های عصبی Convolutional (CNNs) برای پردازش و طبقه بندی تصاویر برای دید رایانه ای و بسیاری کارهای دیگر طراحی شده اند. اما تغییراتی جزئی که برای چشم انسان غیرقابل نفوذ است - مثلاً چند پیکسل تیره تر در یک تصویر - ممکن است باعث شود CNN طبقه بندی کاملاً متفاوتی ایجاد کند. چنین تغییراتی به عنوان "نمونه های مخالف" شناخته می شوند. بررسی تأثیر نمونه های مخالف در شبکه های عصبی می تواند محققان را در تعیین چگونگی آسیب پذیری مدل های آنها در برابر ورودی های غیر منتظره در دنیای واقعی یاری دهد.

به عنوان مثال ، اتومبیل های بدون راننده می توانند از CNN ها برای پردازش ورودی بصری استفاده کرده و پاسخ مناسبی را تولید کنند. اگر ماشین به یک علامت توقف نزدیک شود ، این علامت را تشخیص می دهد و متوقف می شود. اما یک مقاله 2018 نشان داد که قرار دادن یک برچسب سیاه و سفید بر روی علامت توقف می تواند در حقیقت CNN یك ماشین بدون راننده را فریب دهد تا این علامت را اشتباه سوق دهد ، كه این به طور بالقوه می تواند باعث شود كه به هیچ وجه متوقف نشود.

با این حال ، هیچ راهی برای ارزیابی کامل مقاومت انعطاف پذیر شبکه عصبی به نمونه های مخالف برای همه ورودی های آزمایشی وجود ندارد. در مقاله ای که این هفته در کنفرانس بین المللی نمایندگی های یادگیری ارائه می دهند ، محققان تکنیکی را توصیف می کنند که برای هر نوع ورودی ، مثالی مخالف را پیدا می کند یا تضمین می کند که همه ورودی های آشفته - که هنوز هم شبیه به اصلی هستند - به درستی طبقه بندی می شوند. . با انجام این کار ، اندازه گیری استحکام شبکه برای یک کار خاص انجام می شود.

تکنیک های مشابه ارزیابی وجود دارد ، اما قادر به مقیاس شبکه های عصبی پیچیده تر نیست. در مقایسه با این روشها ، تکنیک محققان سه مرتبه بزرگتر را اجرا می کند و می تواند تا CNN های پیچیده تری مقیاس کند.

محققان استحکام CNN طراحی شده برای طبقه بندی تصاویر در مجموعه داده های MNIST از ارقام دستنویس را ارزیابی کردند ، که شامل 60،000 تصویر آموزش و 10،000 تصویر تست است. محققان دریافتند که حدود 4 درصد از ورودی های آزمایش را می توان کمی ایجاد کرد تا نمونه هایی از طرف مخالف ایجاد شود که منجر به ایجاد یک طبقه بندی نادرست می شود.



وینسنت Tjeng ، نویسنده اول ، فارغ التحصیل آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) می گوید: "نمونه های مخالف ، یک شبکه عصبی را در اشتباهات اشتباه می کنند." وی گفت: "برای ورودی مشخص ، می خواهیم تعیین كنیم كه آیا اختلالات كوچك ایجاد شده است كه باعث می شود یك شبكه عصبی نسبت به آنچه معمولاً تولید می كند ، به شدت متفاوت باشد." حداقل یک مثال مخالف مشابه با ورودی یا تضمین کننده وجود هیچ کدام برای آن ورودی. "

کاین شیائو و Russ Tedrake ، یک محقق CSAIL و استاد گروه مهندسی برق و علوم رایانه (EECS) ، عضو پیوستن به Tjeng روی کاغذ هستند.

CNN ها تصاویر را از طریق بسیاری از لایه های محاسباتی حاوی واحد هایی به نام نورون ها پردازش می کنند. برای CNN هایی که تصاویر را طبقه بندی می کنند ، لایه نهایی شامل یک نورون برای هر گروه است. CNN تصویری را بر اساس نورون با بالاترین مقدار خروجی طبقه بندی می کند. یک CNN را در نظر بگیرید که برای طبقه بندی تصاویر به دو دسته "گربه" یا "سگ" طراحی شده است. اگر تصویری از گربه را پردازش کند ، مقدار نورون طبقه بندی شده "گربه" باید بیشتر باشد. یک مثال مخالف وقتی اتفاق می افتد که تغییر جزئی در آن تصویر باعث می شود ارزش نورون طبقه بندی شده "سگ" بیشتر شود.

تکنیک محققان تمام تغییرات ممکن در هر پیکسل تصویر را بررسی می کند. اصولاً ، اگر CNN طبقه بندی صحیح ("گربه") را به هر تصویر اصلاح شده اختصاص دهد ، هیچ نمونه مخالفی برای آن تصویر وجود ندارد.

پشت این تکنیک یک نسخه اصلاح شده از "برنامه نویسی با عدد صحیح" است ، یک روش بهینه سازی که در آن برخی از متغیرها محدود به عدد صحیح هستند. در اصل ، برنامه نویسی با عدد صحیح مخلوط برای یافتن حداکثر برخی از عملکردهای هدف ، با توجه به محدودیت های خاص روی متغیرها ، استفاده می شود و می تواند برای ارزیابی قدرت استحکام شبکه های عصبی پیچیده طراحی شود.

محققان محدودیت هایی را برای اجازه می دهند تا هر پیکسل در هر تصویر ورودی تا برخی از مقادیر روشن یا تیره شود. با توجه به محدودیت ها ، تصویر اصلاح شده همچنان بسیار شبیه به تصویر ورودی اصلی است ، به این معنی که CNN نباید فریب خورده باشد. برنامه نویسی عدد صحیح برای یافتن کوچکترین اصلاح ممکن در پیکسل ها استفاده می شود که به طور بالقوه می تواند باعث طبقه بندی نادرست شود.

ایده این است که افزایش سرعت پیکسل ها می تواند باعث افزایش ارزش طبقه بندی نادرست شود. به عنوان مثال ، اگر تصویر گربه به CNN طبقه بندی شده حیوانات خانگی تغذیه می شد ، الگوریتم پیکسل ها را آشفته می کند تا ببیند آیا می تواند ارزش نورون مربوط به "سگ" را بالاتر از "گربه" قرار دهد.

اگر الگوریتم موفقیت آمیز باشد ، حداقل یک نمونه مخالف برای تصویر ورودی پیدا کرده است. این الگوریتم می تواند پیکسل پیکربندی را ادامه دهد تا حداقل اصلاحاتی را که برای ایجاد طبقه بندی نادرست ایجاد شده ، پیدا کند. حداقل اصلاح بزرگتر - که به آن "حداقل اعوجاج مخالف" گفته می شود - شبکه مقاومت بیشتری نسبت به نمونه های مخالف دارد. اگرچه ، اگر طبقه بندی صحیح نورون برای همه ترکیبات مختلف پیکسلهای تغییر یافته آتش گرفته شود ، الگوریتم می تواند تضمین کند که تصویر هیچ نمونه مثبتی ندارد.

Tjeng می گوید: "با توجه به یک تصویر ورودی ، می خواهیم بدانیم که آیا می توانیم آن را به شکلی اصلاح کنیم که باعث طبقه بندی نادرست شود." "اگر نتوانیم ، تضمین می كنیم كه در كل فضا از تغییرات مجاز جستجو كردیم ، و فهمیدیم كه هیچ نسخه آشفته ای از تصویر اصلی وجود ندارد كه طبقه بندی شده باشد."

در پایان ، این درصدی ایجاد می کند که تعداد تصاویر ورودی حداقل دارای یک نمونه مخالف هستند و تضمین می کند که بقیه هیچ نمونه مخالفی ندارند. Tjeng می گوید ، در دنیای واقعی ، سلول های عصبی عصبی زیادی دارند و با ده ها طبقه بندی مختلف ، به مجموعه داده های گسترده آموزش می دهند ، بنابراین مقیاس پذیری این روش بسیار مهم است.

وی می گوید: "در سراسر شبکه های مختلف که برای کارهای مختلف طراحی شده اند ، مهم است که CNN ها در مقابل نمونه های مخالف مقاوم باشند." "هرچه کسری از نمونه های آزمایشی بزرگتر باشد ، جایی که می توان اثبات کرد که هیچ نمونه مخالفی در آن وجود ندارد ، در صورت قرار گرفتن در معرض ورودیهای آشفته ، شبکه باید بهتر عمل کند."

ماتیاس هاین ، استاد ریاضیات و علوم رایانه در دانشگاه سارلند ، که درگیر این مطالعه نبود ، اما می تواند تکنیک را امتحان کند ، می گوید: "محدودیت های لازم برای استحکام بسیار مهم است زیرا تقریبا همه مکانیسم های دفاعی [سنتی] ممکن است دوباره شکسته شوند." "ما از چارچوب تأیید دقیق استفاده کردیم تا نشان دهیم که شبکه های ما واقعاً قوی هستند ... [و] همچنین امکان بررسی آنها را در مقایسه با آموزش عادی امکان پذیر کرد."

محققان MIT روشی را برای ارزیابی اینکه چگونه مدلهای یادگیری ماشین مستحکم که به عنوان شبکه های عصبی شناخته می شوند ، برای انجام کارهای مختلف طراحی کرده اند ، با تشخیص اینکه مدل ها چه اشتباهی را انجام نمی دهند.

بیشتر بخوانید: پمپ وکیوم کوچک
شبکه های عصبی Convolutional (CNNs) برای پردازش و طبقه بندی تصاویر برای دید رایانه ای و بسیاری کارهای دیگر طراحی شده اند. اما تغییراتی جزئی که برای چشم انسان غیرقابل نفوذ است - مثلاً چند پیکسل تیره تر در یک تصویر - ممکن است باعث شود CNN طبقه بندی کاملاً متفاوتی ایجاد کند. چنین تغییراتی به عنوان "نمونه های مخالف" شناخته می شوند. بررسی تأثیر نمونه های مخالف در شبکه های عصبی می تواند محققان را در تعیین چگونگی آسیب پذیری مدل های آنها در برابر ورودی های غیر منتظره در دنیای واقعی یاری دهد.

به عنوان مثال ، اتومبیل های بدون راننده می توانند از CNN ها برای پردازش ورودی بصری استفاده کرده و پاسخ مناسبی را تولید کنند. اگر ماشین به یک علامت توقف نزدیک شود ، این علامت را تشخیص می دهد و متوقف می شود. اما یک مقاله 2018 نشان داد که قرار دادن یک برچسب سیاه و سفید بر روی علامت توقف می تواند در حقیقت CNN یك ماشین بدون راننده را فریب دهد تا این علامت را اشتباه سوق دهد ، كه این به طور بالقوه می تواند باعث شود كه به هیچ وجه متوقف نشود.

با این حال ، هیچ راهی برای ارزیابی کامل مقاومت انعطاف پذیر شبکه عصبی به نمونه های مخالف برای همه ورودی های آزمایشی وجود ندارد. در مقاله ای که این هفته در کنفرانس بین المللی نمایندگی های یادگیری ارائه می دهند ، محققان تکنیکی را توصیف می کنند که برای هر نوع ورودی ، مثالی مخالف را پیدا می کند یا تضمین می کند که همه ورودی های آشفته - که هنوز هم شبیه به اصلی هستند - به درستی طبقه بندی می شوند. . با انجام این کار ، اندازه گیری استحکام شبکه برای یک کار خاص انجام می شود.

تکنیک های مشابه ارزیابی وجود دارد ، اما قادر به مقیاس شبکه های عصبی پیچیده تر نیست. در مقایسه با این روشها ، تکنیک محققان سه مرتبه بزرگتر را اجرا می کند و می تواند تا CNN های پیچیده تری مقیاس کند.

محققان استحکام CNN طراحی شده برای طبقه بندی تصاویر در مجموعه داده های MNIST از ارقام دستنویس را ارزیابی کردند ، که شامل 60،000 تصویر آموزش و 10،000 تصویر تست است. محققان دریافتند که حدود 4 درصد از ورودی های آزمایش را می توان کمی ایجاد کرد تا نمونه هایی از طرف مخالف ایجاد شود که منجر به ایجاد یک طبقه بندی نادرست می شود.



وینسنت Tjeng ، نویسنده اول ، فارغ التحصیل آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) می گوید: "نمونه های مخالف ، یک شبکه عصبی را در اشتباهات اشتباه می کنند." وی گفت: "برای ورودی مشخص ، می خواهیم تعیین كنیم كه آیا اختلالات كوچك ایجاد شده است كه باعث می شود یك شبكه عصبی نسبت به آنچه معمولاً تولید می كند ، به شدت متفاوت باشد." حداقل یک مثال مخالف مشابه با ورودی یا تضمین کننده وجود هیچ کدام برای آن ورودی. "

کاین شیائو و Russ Tedrake ، یک محقق CSAIL و استاد گروه مهندسی برق و علوم رایانه (EECS) ، عضو پیوستن به Tjeng روی کاغذ هستند.

CNN ها تصاویر را از طریق بسیاری از لایه های محاسباتی حاوی واحد هایی به نام نورون ها پردازش می کنند. برای CNN هایی که تصاویر را طبقه بندی می کنند ، لایه نهایی شامل یک نورون برای هر گروه است. CNN تصویری را بر اساس نورون با بالاترین مقدار خروجی طبقه بندی می کند. یک CNN را در نظر بگیرید که برای طبقه بندی تصاویر به دو دسته "گربه" یا "سگ" طراحی شده است. اگر تصویری از گربه را پردازش کند ، مقدار نورون طبقه بندی شده "گربه" باید بیشتر باشد. یک مثال مخالف وقتی اتفاق می افتد که تغییر جزئی در آن تصویر باعث می شود ارزش نورون طبقه بندی شده "سگ" بیشتر شود.

تکنیک محققان تمام تغییرات ممکن در هر پیکسل تصویر را بررسی می کند. اصولاً ، اگر CNN طبقه بندی صحیح ("گربه") را به هر تصویر اصلاح شده اختصاص دهد ، هیچ نمونه مخالفی برای آن تصویر وجود ندارد.

پشت این تکنیک یک نسخه اصلاح شده از "برنامه نویسی با عدد صحیح" است ، یک روش بهینه سازی که در آن برخی از متغیرها محدود به عدد صحیح هستند. در اصل ، برنامه نویسی با عدد صحیح مخلوط برای یافتن حداکثر برخی از عملکردهای هدف ، با توجه به محدودیت های خاص روی متغیرها ، استفاده می شود و می تواند برای ارزیابی قدرت استحکام شبکه های عصبی پیچیده طراحی شود.

محققان محدودیت هایی را برای اجازه می دهند تا هر پیکسل در هر تصویر ورودی تا برخی از مقادیر روشن یا تیره شود. با توجه به محدودیت ها ، تصویر اصلاح شده همچنان بسیار شبیه به تصویر ورودی اصلی است ، به این معنی که CNN نباید فریب خورده باشد. برنامه نویسی عدد صحیح برای یافتن کوچکترین اصلاح ممکن در پیکسل ها استفاده می شود که به طور بالقوه می تواند باعث طبقه بندی نادرست شود.

ایده این است که افزایش سرعت پیکسل ها می تواند باعث افزایش ارزش طبقه بندی نادرست شود. به عنوان مثال ، اگر تصویر گربه به CNN طبقه بندی شده حیوانات خانگی تغذیه می شد ، الگوریتم پیکسل ها را آشفته می کند تا ببیند آیا می تواند ارزش نورون مربوط به "سگ" را بالاتر از "گربه" قرار دهد.

اگر الگوریتم موفقیت آمیز باشد ، حداقل یک نمونه مخالف برای تصویر ورودی پیدا کرده است. این الگوریتم می تواند پیکسل پیکربندی را ادامه دهد تا حداقل اصلاحاتی را که برای ایجاد طبقه بندی نادرست ایجاد شده ، پیدا کند. حداقل اصلاح بزرگتر - که به آن "حداقل اعوجاج مخالف" گفته می شود - شبکه مقاومت بیشتری نسبت به نمونه های مخالف دارد. اگرچه ، اگر طبقه بندی صحیح نورون برای همه ترکیبات مختلف پیکسلهای تغییر یافته آتش گرفته شود ، الگوریتم می تواند تضمین کند که تصویر هیچ نمونه مثبتی ندارد.

Tjeng می گوید: "با توجه به یک تصویر ورودی ، می خواهیم بدانیم که آیا می توانیم آن را به شکلی اصلاح کنیم که باعث طبقه بندی نادرست شود." "اگر نتوانیم ، تضمین می كنیم كه در كل فضا از تغییرات مجاز جستجو كردیم ، و فهمیدیم كه هیچ نسخه آشفته ای از تصویر اصلی وجود ندارد كه طبقه بندی شده باشد."

در پایان ، این درصدی ایجاد می کند که تعداد تصاویر ورودی حداقل دارای یک نمونه مخالف هستند و تضمین می کند که بقیه هیچ نمونه مخالفی ندارند. Tjeng می گوید ، در دنیای واقعی ، سلول های عصبی عصبی زیادی دارند و با ده ها طبقه بندی مختلف ، به مجموعه داده های گسترده آموزش می دهند ، بنابراین مقیاس پذیری این روش بسیار مهم است.

وی می گوید: "در سراسر شبکه های مختلف که برای کارهای مختلف طراحی شده اند ، مهم است که CNN ها در مقابل نمونه های مخالف مقاوم باشند." "هرچه کسری از نمونه های آزمایشی بزرگتر باشد ، جایی که می توان اثبات کرد که هیچ نمونه مخالفی در آن وجود ندارد ، در صورت قرار گرفتن در معرض ورودیهای آشفته ، شبکه باید بهتر عمل کند."

ماتیاس هاین ، استاد ریاضیات و علوم رایانه در دانشگاه سارلند ، که درگیر این مطالعه نبود ، اما می تواند تکنیک را امتحان کند ، می گوید: "محدودیت های لازم برای استحکام بسیار مهم است زیرا تقریبا همه مکانیسم های دفاعی [سنتی] ممکن است دوباره شکسته شوند." "ما از چارچوب تأیید دقیق استفاده کردیم تا نشان دهیم که شبکه های ما واقعاً قوی هستند ... [و] همچنین امکان بررسی آنها را در مقایسه با آموزش عادی امکان پذیر کرد."

نظرات این مطلب

تعداد صفحات : 0

درباره ما
موضوعات
لینک دوستان
آمار سایت
  • کل مطالب : 18
  • کل نظرات : 0
  • افراد آنلاین : 1
  • تعداد اعضا : 0
  • بازدید امروز : 1
  • بازدید کننده امروز : 1
  • باردید دیروز : 1
  • بازدید کننده دیروز : 0
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 4
  • بازدید ماه : 7
  • بازدید سال : 9
  • بازدید کلی : 5017
  • <
    پیوندهای روزانه
    آرشیو
    اطلاعات کاربری
    نام کاربری :
    رمز عبور :
  • فراموشی رمز عبور؟
  • خبر نامه


    معرفی وبلاگ به یک دوست


    ایمیل شما :

    ایمیل دوست شما :



    کدهای اختصاصی