از آنجا که اصطلاحات "یادگیری ماشین" به محبوبیت خود ادامه می دهد ، صنایع بیشتری برای پاسخ به سؤالات مهم از جمله زمینه های پرمحتوا مانند مراقبت های بهداشتی ، مالی و عدالت کیفری به الگوریتم های رایانه می روند. در حالی که این روند می تواند منجر به پیشرفت های اساسی در این قلمروها شود ، همچنین وقتی الگوریتم یادگیری ماشین یک اصطلاح "جعبه سیاه" است می تواند منجر به مشکلات اساسی شود.
جعبه سیاه یک برنامه یادگیری ماشینی پمپ وکیوم خلاء است که چگونگی نتیجه گیری خود را توضیح نمی دهد ، یا به این دلیل که درک یک انسان بسیار پیچیده است یا به دلیل اینکه کار درونی آن اختصاصی است. در پاسخ به نگرانی هایی مبنی بر اینکه ممکن است این نوع مدل ها شامل کارهای داخلی ناعادلانه - از جمله نژاد پرستی - روند رو به رشد دیگری ایجاد مدل های اضافی برای "توضیح" این جعبه های سیاه باشد.
در یک سرمقاله جدید که در Nature Machine Intelligence منتشر شده است ، سینتیا رودین ، استادیار علوم کامپیوتر ، مهندسی برق و کامپیوتر ، ریاضیات و علوم آماری در دانشگاه دوک ، استدلال می کند که مدل های جعبه سیاه باید برای تصمیم گیری های پر مخاطره رها شوند. او می گوید ، حتی وقتی مدل های به اصطلاح توضیحی ایجاد می شوند ، تصمیم گیرندگان باید مدل های قابل تفسیر را انتخاب کنند که کاملاً شفاف بوده و به راحتی توسط کاربران آن قابل درک است.
مدل های قابل توضیح اشتباه است
مدلهای یادگیری ماشینی "قابل توضیح" در تلاش برای درک آنچه در داخل جعبه سیاه اتفاق می افتد ساخته شده است. اگر بتواند همان نتایج را به دست آورد ، مردم تصور می کنند این یک بازنمایی دقیق است.
اما اینطور نیست.
الگوریتم های قابل توضیح توضیحاتی را ارائه می دهند که نادرست هستند و در غیر این صورت ، کارهای داخلی پیچیده جعبه سیاه غیر ضروری خواهد بود. در حالی که یک مدل توضیحی ممکن است نتایج مشابه یا حتی دقیق را به الگوریتم جعبه سیاه سیاه تولید کند ، راهی وجود ندارد که بدانیم از پارامترهای مشابه استفاده می کند یا خیر.
رودین می گوید: "اگر یک دهم توضیحات اشتباه است ، نمی توانید به توضیحات اعتماد کنید ، بنابراین نمی توانید به جعبه سیاه اصلی اعتماد کنید." "اگر ما به طور مشخص نمی توانیم بدانیم که آیا توضیحات ما صحیح است ، نمی توانیم بدانیم که آیا به توضیحات یا مدل اصلی اعتماد داریم."
بیشتر برابر بهتر نیست
افراد معمولاً فرض می کنند که فقط به دلیل پیچیده بودن الگوریتم یادگیری ماشین ، دقیق تر از یک الگوی ساده است. اما این عقیده بی اساس است.
به عنوان مثال ، رودین و همكاران اولی آنجلینو ، مارگو سلتزر ، نیكلاس لاروس استون و دانیل آلابی یك الگوی قابل تفسیر ساده برای عود كیفیت مبتنی بر تنها سن ، جنس و سوابق قبلی ایجاد كرده اند. نه تنها از سه قانون ساده پیروی می کند که هر کس می تواند آن را درک کند ، بلکه احتمال دستگیری های آینده را نیز پیش بینی می کند و همچنین برنامه جنجالی "COMPAS" ، که به طور گسترده در سیستم دادگستری ایالات متحده به کار رفته است. و علاوه بر اینکه جعبه سیاه است که بسیاری از آنها مظنون به تعصب نژادپرستانه هستند ، COMPAS از بیش از 130 قطعه اطلاعات برای تهیه پیش بینی های خود استفاده می کند ، که این یک مشکل اساسی در مورد خودش است.
رودین می گوید: "اگر افرادی که وارد این داده ها می شوند ، فقط یک درصد از خطا را تایپوگرافی کنند ، پس از هر 2 نظرسنجی به طور میانگین بیش از 1 حداقل یک اشتباه خواهد داشت." "به علاوه ، یک مدل جعبه سیاه بسیار پیچیده ممکن است بدون این که کسی متوجه آن شود نقص داشته باشد ، زیرا رفع عیب آن دشوار است."
مثال Propublica
ProPublica به تازگی الگوریتم جعبه سیاه recidivism COMPAS را به تعصب نژادی متهم کرده است زیرا آنها یک مدل قابل توضیح بر اساس نژاد ایجاد کرده اند که تولید کننده نتایج COMPAS است. اما از آنجا که فشارهای اجتماعی یک سیستم عدالت کیفری ایجاد کرده اند که تاریخ و سن جنایی با نژاد در هر مجموعه داده با هم مرتبط هستند ، جعبه سیاه COMPAS واقعی ممکن است فقط به دو متغیر اول تکیه کند. اما پس از آن دوباره ، می تواند همانطور که ProPublica ادعا می کند ، از نژاد به عنوان عاملی استفاده کند. مشکل این است که گفتن آن غیرممکن است زیرا COMPAS یک جعبه سیاه اختصاصی است که هیچ کس جز صاحبان آن نمی تواند به آن بپردازد.
رودین همچنین به چندین نمونه مشکل ساز معاصر دیگر اشاره می کند. جعبه سیاه اختصاصی BreezoMeter به کاربران در کالیفرنیا گفت که کیفیت هوا مطابق با چندین مدل دیگر کیفیت هوا کاملاً خوب است. یک مدل یادگیری ماشینی که برای خواندن اشعه ایکس طراحی شده بود ، بر روی کلمه "قابل حمل" در یک تصویر با اشعه ایکس انتخاب می شد و نوع تجهیزات اشعه ایکس را به جای محتوای پزشکی تصویر نشان می داد ، و بنابراین نتیجه گیری های بد را گزارش می داد.
رودین می گوید: "در استفاده از مدل های جعبه سیاه برای تصمیم گیری های بسیار زیاد تضاد مسئولیت وجود دارد. شرکت هایی که از این مدل ها سود می برند ، لزوماً مسئول کیفیت پیش بینی های فردی نیستند." وی ادامه داد: "یک زندانی که به دلیل خطای وارد شده در یک ریسک بیش از حد پیچیده ، حکم بیش از حد طولانی را تحمل می کند ، ممکن است سالها متحمل شود ، در حالی که شرکتی که این مدل را ساخته ، از پیچیدگی و مناسب بودن آن سود می برد. به این معنا ، طراحان مدل مشوق نیستند. در طراحی ، عملکرد و سهولت استفاده از آن دقت کنید. اینها همان نوع مشکلاتی است که بر آژانس های رتبه بندی اعتباری تأثیرگذار است که در سال 2008 قیمت وام ارائه داده اند. "
رودین می گوید: "من امیدوارم که مردم در مدل های قابل توضیح خطرات را درک کنند و به هیچ وجه به جعبه های سیاه احتیاج ندارند. آنها می توانند از مدل هایی استفاده کنند که کاملاً قابل تفسیر باشند." "من می خواهم سیستمی را ببینم که در آن هیچ الگوریتمی از جعبه سیاه برای تصمیمی با ریسک بالا استفاده نشود ، مگر اینکه الگوی تفسیری دقیقاً دقیقی وجود نداشته باشد. من در بسیاری از برنامه های مختلف کار کرده ام: مراقبت های پزشکی ، انرژی ، ریسک اعتباری ، عود مجرمانه ، دید رایانه — و من هیچ وقت برنامه ای پیدا نکردم که جعبه سیاه در واقع مورد نیاز باشد. "
از آنجا که اصطلاحات "یادگیری ماشین" به محبوبیت خود ادامه می دهد ، صنایع بیشتری برای پاسخ به سؤالات مهم از جمله زمینه های پرمحتوا مانند مراقبت های بهداشتی ، مالی و عدالت کیفری به الگوریتم های رایانه می روند. در حالی که این روند می تواند منجر به پیشرفت های اساسی در این قلمروها شود ، همچنین وقتی الگوریتم یادگیری ماشین یک اصطلاح "جعبه سیاه" است می تواند منجر به مشکلات اساسی شود.
جعبه سیاه یک برنامه یادگیری ماشینی پمپ وکیوم خلاء است که چگونگی نتیجه گیری خود را توضیح نمی دهد ، یا به این دلیل که درک یک انسان بسیار پیچیده است یا به دلیل اینکه کار درونی آن اختصاصی است. در پاسخ به نگرانی هایی مبنی بر اینکه ممکن است این نوع مدل ها شامل کارهای داخلی ناعادلانه - از جمله نژاد پرستی - روند رو به رشد دیگری ایجاد مدل های اضافی برای "توضیح" این جعبه های سیاه باشد.
در یک سرمقاله جدید که در Nature Machine Intelligence منتشر شده است ، سینتیا رودین ، استادیار علوم کامپیوتر ، مهندسی برق و کامپیوتر ، ریاضیات و علوم آماری در دانشگاه دوک ، استدلال می کند که مدل های جعبه سیاه باید برای تصمیم گیری های پر مخاطره رها شوند. او می گوید ، حتی وقتی مدل های به اصطلاح توضیحی ایجاد می شوند ، تصمیم گیرندگان باید مدل های قابل تفسیر را انتخاب کنند که کاملاً شفاف بوده و به راحتی توسط کاربران آن قابل درک است.
مدل های قابل توضیح اشتباه است
مدلهای یادگیری ماشینی "قابل توضیح" در تلاش برای درک آنچه در داخل جعبه سیاه اتفاق می افتد ساخته شده است. اگر بتواند همان نتایج را به دست آورد ، مردم تصور می کنند این یک بازنمایی دقیق است.
اما اینطور نیست.
الگوریتم های قابل توضیح توضیحاتی را ارائه می دهند که نادرست هستند و در غیر این صورت ، کارهای داخلی پیچیده جعبه سیاه غیر ضروری خواهد بود. در حالی که یک مدل توضیحی ممکن است نتایج مشابه یا حتی دقیق را به الگوریتم جعبه سیاه سیاه تولید کند ، راهی وجود ندارد که بدانیم از پارامترهای مشابه استفاده می کند یا خیر.
رودین می گوید: "اگر یک دهم توضیحات اشتباه است ، نمی توانید به توضیحات اعتماد کنید ، بنابراین نمی توانید به جعبه سیاه اصلی اعتماد کنید." "اگر ما به طور مشخص نمی توانیم بدانیم که آیا توضیحات ما صحیح است ، نمی توانیم بدانیم که آیا به توضیحات یا مدل اصلی اعتماد داریم."
بیشتر برابر بهتر نیست
افراد معمولاً فرض می کنند که فقط به دلیل پیچیده بودن الگوریتم یادگیری ماشین ، دقیق تر از یک الگوی ساده است. اما این عقیده بی اساس است.
به عنوان مثال ، رودین و همكاران اولی آنجلینو ، مارگو سلتزر ، نیكلاس لاروس استون و دانیل آلابی یك الگوی قابل تفسیر ساده برای عود كیفیت مبتنی بر تنها سن ، جنس و سوابق قبلی ایجاد كرده اند. نه تنها از سه قانون ساده پیروی می کند که هر کس می تواند آن را درک کند ، بلکه احتمال دستگیری های آینده را نیز پیش بینی می کند و همچنین برنامه جنجالی "COMPAS" ، که به طور گسترده در سیستم دادگستری ایالات متحده به کار رفته است. و علاوه بر اینکه جعبه سیاه است که بسیاری از آنها مظنون به تعصب نژادپرستانه هستند ، COMPAS از بیش از 130 قطعه اطلاعات برای تهیه پیش بینی های خود استفاده می کند ، که این یک مشکل اساسی در مورد خودش است.
رودین می گوید: "اگر افرادی که وارد این داده ها می شوند ، فقط یک درصد از خطا را تایپوگرافی کنند ، پس از هر 2 نظرسنجی به طور میانگین بیش از 1 حداقل یک اشتباه خواهد داشت." "به علاوه ، یک مدل جعبه سیاه بسیار پیچیده ممکن است بدون این که کسی متوجه آن شود نقص داشته باشد ، زیرا رفع عیب آن دشوار است."
مثال Propublica
ProPublica به تازگی الگوریتم جعبه سیاه recidivism COMPAS را به تعصب نژادی متهم کرده است زیرا آنها یک مدل قابل توضیح بر اساس نژاد ایجاد کرده اند که تولید کننده نتایج COMPAS است. اما از آنجا که فشارهای اجتماعی یک سیستم عدالت کیفری ایجاد کرده اند که تاریخ و سن جنایی با نژاد در هر مجموعه داده با هم مرتبط هستند ، جعبه سیاه COMPAS واقعی ممکن است فقط به دو متغیر اول تکیه کند. اما پس از آن دوباره ، می تواند همانطور که ProPublica ادعا می کند ، از نژاد به عنوان عاملی استفاده کند. مشکل این است که گفتن آن غیرممکن است زیرا COMPAS یک جعبه سیاه اختصاصی است که هیچ کس جز صاحبان آن نمی تواند به آن بپردازد.
رودین همچنین به چندین نمونه مشکل ساز معاصر دیگر اشاره می کند. جعبه سیاه اختصاصی BreezoMeter به کاربران در کالیفرنیا گفت که کیفیت هوا مطابق با چندین مدل دیگر کیفیت هوا کاملاً خوب است. یک مدل یادگیری ماشینی که برای خواندن اشعه ایکس طراحی شده بود ، بر روی کلمه "قابل حمل" در یک تصویر با اشعه ایکس انتخاب می شد و نوع تجهیزات اشعه ایکس را به جای محتوای پزشکی تصویر نشان می داد ، و بنابراین نتیجه گیری های بد را گزارش می داد.
رودین می گوید: "در استفاده از مدل های جعبه سیاه برای تصمیم گیری های بسیار زیاد تضاد مسئولیت وجود دارد. شرکت هایی که از این مدل ها سود می برند ، لزوماً مسئول کیفیت پیش بینی های فردی نیستند." وی ادامه داد: "یک زندانی که به دلیل خطای وارد شده در یک ریسک بیش از حد پیچیده ، حکم بیش از حد طولانی را تحمل می کند ، ممکن است سالها متحمل شود ، در حالی که شرکتی که این مدل را ساخته ، از پیچیدگی و مناسب بودن آن سود می برد. به این معنا ، طراحان مدل مشوق نیستند. در طراحی ، عملکرد و سهولت استفاده از آن دقت کنید. اینها همان نوع مشکلاتی است که بر آژانس های رتبه بندی اعتباری تأثیرگذار است که در سال 2008 قیمت وام ارائه داده اند. "
رودین می گوید: "من امیدوارم که مردم در مدل های قابل توضیح خطرات را درک کنند و به هیچ وجه به جعبه های سیاه احتیاج ندارند. آنها می توانند از مدل هایی استفاده کنند که کاملاً قابل تفسیر باشند." "من می خواهم سیستمی را ببینم که در آن هیچ الگوریتمی از جعبه سیاه برای تصمیمی با ریسک بالا استفاده نشود ، مگر اینکه الگوی تفسیری دقیقاً دقیقی وجود نداشته باشد. من در بسیاری از برنامه های مختلف کار کرده ام: مراقبت های پزشکی ، انرژی ، ریسک اعتباری ، عود مجرمانه ، دید رایانه — و من هیچ وقت برنامه ای پیدا نکردم که جعبه سیاه در واقع مورد نیاز باشد. "
استفاده از هوش مصنوعی برای مهندسی خواص مواد