جنگل تصادفی

جنگل تصادفی یا جنگل‌های تصمیم تصادفی (به انگلیسی: Random forest) یک روش یادگیری گروهی برای دسته‌بندی، رگرسیون می‌باشد، که بر اساس ساختاری متشکل از شمار بسیاری درخت تصمیم، بر روی زمان آموزش و خروجی کلاس‌ها (کلاس‌بندی) یا برای پیش‌بینی‌های هر درخت به شکل مجزا، کار می‌کنند. جنگل‌های تصادفی برای درختان تصمیم که در مجموعهٔ آموزشی دچار بیش برازش می‌شوند، مناسب هستند. عملکرد جنگل تصادفی معمولاً بهتر از درخت تصمیم است، اما این بهبود عملکرد تا حدی به نوع داده هم بستگی دارد.

نخستین الگوریتم برای جنگل‌های تصمیم تصادفی را «تین کم هو» با بهره‌گیری از روش زیرفضاهای تصادفی پدیدآورد. نسخه‌های بعدی آن توسط لیو بریمن ارتقا یافت.

پیشینه

پژوهش‌های «بریمن» روی کار «امیت و گمن» اثر گذاشت، کسانی که پژوهش براساس دسته تصادفی که نود را تقسیم می‌کند (در مبحث بزرگ شدن تک درخت) ارائه کردند در این روش، پیش از این که هر درخت یا هر گره را جاسازی کنند، جنگلی از درختان بزرگ می‌شود و گزینش از بین گونه‌ای از درختان که برای گزینش تصادفی زیرفضاهایی از داده آموزش دیده‌اند، صورت می‌گیرد. در پایان ایده بهبود بخشیدن به گره‌های تصادفی (که انتخاب هر گره به شکل تصادفی بوده) به جای بهبودی قطعی توسط «دیتریش» بیان شد دستاوردهای دربارهٔ جنگل تصادفی نخستین بار به دست «لئو بریمن» مقاله شد.

این مقاله روش‌هایی از چگونگی ساخت جنگل بدون کنترل درخت‌ها با بهره‌گیری از CART را بیان می‌کند که با متد بگینگ و بهبودی نود تصادفی ترکیب شده‌است. به علاوه، این مقاله بسیاری از نتایج اولیه به دست آمده که شناخته شده بودند و چه آن‌هایی که به چاپ رسیده بودند را ترکیب می‌کرد که این ترکیبات پایه و اساس تمرینات امروزی جنگل‌های تصادفی را شامل می‌شود این الگوریتم توسط «لئو بریمن و عادل کالچر» توسعه یافت که جنگل تصادفی نیز جزو دستاوردهای ایشان بود ایده بگینگ برای ساخت مجموعه‌ای از درخت‌های تصمیم و انتخاب تصادفی نخست توسط «هو» و سپس «امیت و گمان» کامل شد. این تمرینات امروزی عبارتند از:

1. بهره گرفتن از نقص خارج از کیسه برای تعمیم نقص‌های سازماندهی
2. اهمیت اندازه‌گیری گونه‌ها و تنوع از طریق جایگشت

همچنین این گزارش نخستین فرجام تئوری برای جنگل‌هایی که از راه نقص سازماندهی تعمیم یافته بودند را بیان می‌کند که بستگی به قدرت درخت‌ها و ارتباط آن‌ها دارد.

الگوریتم

مقدمات: آموزش درخت تصمیم

مقالهٔ اصلی: یادگیری درخت تصمیم

درخت تصمیم روش مشهوری برای انواع مختلفی از وظایف یادگیری ماشین به حساب می‌آید. با این حال در بسیاری موارد دقیق نیستند.

در کل، معمولاً درخت تصمیمی که بیش از حد عمیق باشد الگوی دقیق نخواهد داشت: دچار بیش برارزش شده، و دارای سوگیری پایین و واریانس بالا می‌باشد. جنگل تصادفی روشی است برای میانگین گیری با هدف کاهش واریانس با استفاده از درخت‌های تصمیم عمیقی که از قسمت‌های مختلف داده آموزشی ایجاد شده باشند. در این روش معمولاً افزایش جزئی سوگیری و از دست رفتن کمی از قابلیت تفسیر اتفاق افتاده اما در کل عملکرد مدل را بسیار افزایش خواهد داد.

به علاوه به کمک انحراف معیار پیش‌بینی‌ها از درخت‌های رگرسیون مستقل می‌توان تخمینی از عدم قطعیت پیش‌بینی داشت:

$\sigma ={\sqrt {\frac {\sum _{b=1}^{B}(f_{b}(x')-{\hat {f}})^{2}}{B-1}}}.$

تعداد نمونه‌ها در فرمول بالا ($B$) یک متغیر آزاد است که معمولاً به کمک روش‌هایی مانند اعتبارسنجی متقابل یا مشاهدهٔ out-of-bag errorها مقدار بهینه را برای فرمول بالا می‌توان به‌دست‌آورد.

bagging

مجموعه داده را با $D$ نمایش می‌دهیم، $D=(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{n},y_{n})$ و $B$ درخت تصادفی با ایجاد $B$ داده جدید از $D$ ایجاد می‌کنیم. مدل نهایی با میانگین گرفتن یا رأی‌گیری بین درختان کار می‌کند. جزئیات این الگوریتم ذیلاً آمده‌است:

برای $B$ تا $b=1$:

• $n$ نمونه با جایگزینی از داده $D$ انتخاب کن و این نمونه‌ها را در مجموعه داده $D_{b}$ قرار بده. از آنجا که نمونه‌گیری با جایگزینی صورت می‌گیرد یک نمونه ممکن است چندین بار انتخاب شود.
• یک درخت تصادفی به اسم $T_{b}$ با $D_{b}$ به روش پایین بساز:
  • هر دفعه برای پیدا کردن بهترین متغیر ابتدا یک تعداد مشخصی از متغیرها را کاملاً به صورت تصادفی انتخاب کن (مثلا $m$ تا، $m$ از قبل به مسئله داده شده‌است، و معمولاً با جذر تعداد متغیرها برابر است) و از میان آن‌ها بهترین متغیر را انتخاب کن.

در مسئله رگرسیون مدل نهائی، میانگین تمامی درخت‌ها است یعنی $F(x)={\frac {1}{B}}\sum _{b=1}^{B}T_{b}(x)$. از طرفی دیگر در مسئله دسته‌بندی یا Classification با رأی‌گیری بین درختان به جواب نهائی می‌رسیم.

این نوع ترکیب مدل‌ها جواب بهتری به ما می‌دهد زیرا گوناگونی و تنوع مدل‌ها را افزایش می‌دهد بدون این که بایاس را افزایش دهد! این بدین معناست که زمانی که پیش‌بینی تکی از یک درخت دارای نویز بالایی درون مجموعه دسته آموزش دیده اش باشد، در میانگین بسیاری از درخت‌ها این نویز وجود نخواهد داشت. به شکل ساده آموزش درختان به صورت تکی می‌تواند درخت‌های در ارتباط قوی تری را ارائه دهد. بوت استرپ کردن نمونه، روشی برای یکپارچه‌تر کردن درخت‌ها با نمایش مجموعه داده‌های آموزش دیده گوناگون است.

از کیسه‌گذاری تا جنگل تصادفی

روندی که گفته شد الگوریتم اصلی بگینگ برای درختان را توصیف می‌کند. جنگل تصادفی تنها یک اختلاف با این طرح کلی دارد: و آن این که از یک الگوریتم یادگیری درخت اصلاح شده‌استفاده می‌کند که در هر تقسیم کاندیدها در فرایند یادگیری، زیر مجموعه‌ای تصادفی از ویژگی‌های آن را پردازش می‌کنند. این پردازش گاهی «کیسه‌گذاری ویژگی» نامیده می‌شود. دلیل انجام این کار این است که ارتباط درخت‌ها در یک نمونه بوت استرپ معمولی را نشان می‌دهد. اگر یک یا چند ویژگی پیش‌بینی‌کننده‌ها، برای متغیر پاسخ (خروجی هدف) بسیار قوی باشد، این ویژگی در بسیاری از درخت‌های B که سبب ارتباط آن‌ها می‌شود، انتخاب خواهد شد. آنالیز چگونگی کارکرد بگینگ و مجموعه دسته‌های تصادفی، کمک می‌کند تا بتوان به دقت‌های با شرایط گوناگون دست یافت که توسط «هو» نیز ارائه شده بودند.

Extra-Trees

برای برداشتن یک گام دیگر در جهت تصادفی‌سازی به مدل درختان بی‌نهایت تصادفی یاExtra-trees می‌رسیم. این مدل نیز مانند جنگل تصادفی از تجمیع تعدادی درخت مستقل استفاده می‌کند اما با دو تفاوت اساسی: اول آنکه هر درخت توسط تمام دادهٔ آموزش (و نه یک نمونهٔ bootstrap) train می‌شود و دوم آنکه در مرحلهٔ split کردن مقدار cut-point از یک توزیع احتمالاتی یکنواخت روی دامنهٔ مقادیر ممکن استفاده می‌شود که این برخلاف روش مرسوم که استفاده از معیارهایی مانند بهرهٔ اطلاعاتی یا ناخالصی جینی برای تعیین عدد cut-point است. تصادفی‌سازی این بخش آموزش را تسریع می‌بخشد.

ویژگان

اهمیت متغیرها

جنگل تصادفی می‌تواند برای رتبه‌بندی اهمیت متغیرها در یک رگرسیون یا مسئلهٔ طبقه‌بندی به کار رود. تکنیکی که در ادامه آمده‌است در مقاله اصلی «بریمن» آورده شده بود و در پکیج R جنگل تصادفی اجرا می‌شود. نخستین گام در اهمیت اندازه‌گیری متغیرها در مجموعه داده‌ها که با ${\mathcal {D}}_{n}=\{(X_{i},Y_{i})\}_{i=1}^{n}$ نمایش می‌دهیم، fit کردن جنگل تصادفی روی داده هاست. در هنگام انجام این فرایند جایگذاری، out-of-bag error برای هر داده ضبط می‌شود و به از آن روی کل جنگل میانگین گرفته می‌شود.

برای اندازه‌گیری اهمیت $j$ امین ویژگی بعد از آموزش، مقدار $j$اُمین ویژگی permuted از میان داده‌های آموزش دیده و out-of-bag error دوباره روی این مجموعه داده محاسبه خواهد شد. اهمیت نمرهٔ $j$اُمین ویژگی برابر است با میانگین این ارورها قبل و بعد از جایگشت روی تمام جنگل. این نمره با انحراف معیار اختلاف‌ها، نرمالایز می‌شود. ویژگی‌هایی که مقادیر بسیاری برای این نمره تولید می‌کنند نسبت به آن ویژگی‌هایی که مقدار کوچکی تولید می‌کنند بسیار با اهمیت تر هستند.

این روش تعیین اهمیت متغیر شامل برخی اشکالات می‌شود. برای داده‌ای که شامل متغیرهای بخش‌بندی شده با سطوح مختلف شماره‌هاست، جنگل تصادفی به این خاصیتشان بر اساس بالا یا پایین بودن سطح بایاس دارد و هرچه سطح بالاتر باشد بیشتر به سمت آنان سوگیری دارد. متدهایی همانند partial permutations و درختان در حال رشد بی‌طرف، می‌تواند برای حل مشکل به کار گرفته شوند. اگر داده شامل گروه‌هایی از ویژگی‌های مرتبط به هم با شبیه‌سازی برای خروجی باشد، در این حالت گروه‌های کوچک نسبت به گروه‌های بزرگ برتری دارند.

رابطه با الگوریتم نزدیکترین همسایه‌ها

ارتباط بین جنگل تصادفی و الگوریتم کی-نزدیک‌ترین همسایه (K-NN) در سال ۲۰۰۲ توسط «لین» و «جو» استخراج شد. به نظر می‌رسد که هردوی آن‌ها می‌توانند به عنوان طرح پروزن‌ترین همسایه نام‌گذاری شوند.

این‌ها مدلهایی برای ساخت داده‌های آموزش دیده {(xi,yi)} هستند که پیش‌بینی‌های تازه y را برای x' با نگاه به همسایگی از نقاط، از طریق تابع وزن به صورت زیر درمی‌آورد:

${\hat {y}}=\sum _{i=1}^{n}W(x_{i},x')\,y_{i}.$

در اینجا $W(x_{i},x')$ وزن غیر منفی از $i$ امین نقطه آموزش دیدهٔ همسایه با نقطهٔ جدید $x'$ است. برای هر $x'$ جمع وزن‌ها باید برابر با یک باشد. تابع‌های وزن در زیر آورده شده‌اند:

۱. در k-NN وزن‌ها $W(x_{i},x')={\frac {1}{k}}$ اگر $x_{i}$ یکی از $k$ نقطهٔ نزدیک به $x'$ باشد و درغیر این صورت صفر.

۲. در درخت $W(x_{i},x')={\frac {1}{k'}}$ اگر $x_{i}$ یکی از $k'$ نقطهٔ نزدیک در برگ یکسان از $x'$ باشد، و در غیر این صورت صفر.

به سبب این که میانگین جنگل مجموعه‌ای از درخت‌های $m$ را با تابع وزن فردی $W_{j}$ پیش‌بینی می‌کند، پیش‌بینی‌هایش به صورت زیر در می‌آید:${\hat {y}}={\frac {1}{m}}\sum _{j=1}^{m}\sum _{i=1}^{n}W_{j}(x_{i},x')\,y_{i}=\sum _{i=1}^{n}\left({\frac {1}{m}}\sum _{j=1}^{m}W_{j}(x_{i},x')\right)\,y_{i}.$این نشان می‌دهد که جنگل تصادفی یک طرح همسایه‌های وزندار است با وزن‌هایی که برابر با میانگین وزن‌های هر درخت هستند. همسایه‌های $x'$ از این دید معادل هستند با نقاط $x_{i}$ که در هر درخت برگ مشترک دارند. همسایه‌های $x'$ به‌طور پیچیده‌ای به ساختار هر درخت و در نتیجه ساختار کل دادهٔ آموزش وابسته است. «لین» و «جو» نشان دادند که شکل همسایگی ای که جنگل تصادفی از آن بهره گرفته‌است با اهمیت محلی هر ویژگی مطابق است.

یادگیری بی‌نظارت با جنگل تصادفی

پیش‌بینی‌کننده‌های جنگل تصادفی به‌طور طبیعی و به عنوان بخشی از فرایند ساختشان به یک معیار عدم تشابه میان مشاهدات تبدیل می‌شوند. می‌توان یک معیار عدم تشابه جنگل تصادفی را به صورت زیر تعریف کرد: ایدهٔ اصلی این است که از یک پیش‌بینی‌کننده جنگل تصادفی استفاده کنیم که میان دادهٔ مشاهده‌شده و دادهٔ مصنوعی که به خوبی تولید شده تمایز بگذارد. منظور از دادهٔ مشاهده شده دادهٔ اصلی و بدون برچسب است و دادهٔ ساختگی نیز از یک توزیع مرجع گرفته می‌شود. یک عدم تشابه جنگل تصادفی می‌تواند به این علت که نسبت به تبدیل‌های یکنوا روی ورودی بدون تغییر است و به خوبی از پس داده‌های با انواع متغیر مختلط برمی‌آید و از لحاظ مشاهدات قوی است مورد توجه باشد. این معیار به سادگی از پس تعداد زیادی متغیر نیمه‌پیوسته برمی‌آید که این موضوع به دلیل ویژگی ذاتی انتخاب متغیرش است. به‌طور مثال معیار Addcl 1 به مشارکت متغیرها بر اساس میزان مستقل بودنشان از دیگر متغیرها وزن می‌دهد. معیار عدم تشابه جنگل تصادفی در کاربردهای گوناگونی به کار رفته‌است.

KeRF

یک نمونهٔ آموزش ${\mathcal {D}}_{n}=\{(\mathbf {X} _{i},Y_{i})\}_{i=1}^{n}$ از متغیرهای جفت مستقل $(\mathbf {X} ,Y)$ که $\operatorname {E} [Y^{2}]<\infty$ روی $[0,1]^{p}\times \mathbb {R}$ مفروض است. می‌خواهیم $Y$ را به کمک تابع رگرسیون $m(\mathbf {x} )=\operatorname {E} [Y\mid \mathbf {X} =\mathbf {x} ]$ پیش‌بینی کنیم. یک جنگل رگرسیون تصادفی را به صورت تجمیعی از $M$ درخت رگرسیون تصادفی در نظر بگیرید. حال اگر مقدار پبشبینی‌شده به ازای نقطهٔ $\mathbf {x}$ را توسط درخت $j$اُم با $m_{n}(\mathbf {x} ,\mathbf {\Theta } _{j})$ نشان دهیم که $\mathbf {\Theta } _{1},\ldots ,\mathbf {\Theta } _{M}$ متغیرهای تصادفی مستقل‌اند که روی توزیع یک متغیر تصادفی $\mathbf {\Theta }$ قرار دارند و از نمونهٔ ${\mathcal {D}}_{n}$ مستقل‌اند. این متغیر تصادفی می‌تواند برای توصیف میزان تصادفی بودنی که از splitها و فرایند نمونه‌گیری تأثیر می‌گیرد باشد. درخت‌ها برای شکل‌دادن تخمین متناهی درخت $m_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{M}}\sum _{j=1}^{M}m_{n}(\mathbf {x} ,\Theta _{j})$ با هم ترکیب می‌شوند. برای درخت‌های رگرسیون داریم $m_{n}=\sum _{i=1}^{n}{\frac {Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})}}{N_{n}(\mathbf {x} ,\Theta _{j})}}$ که$A_{n}(\mathbf {x} ,\Theta _{j})$ سلول دارای $\mathbf {x}$ طراحی شده با میزان تصادفی بودن $\Theta _{j}$ و مجموعه دادهٔ ${\mathcal {D}}_{n}$ و $N_{n}(\mathbf {x} ,\Theta _{j})=\sum _{i=1}^{n}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})}$ است. بری ارتقای روش‌های جنگل تصادفی و بهبود تخمین‌های نادرست اسکورنت KeRF زیر را پیشنهاد داد:

${\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{\sum _{j=1}^{M}N_{n}(\mathbf {x} ,\Theta _{j})}}\sum _{j=1}^{M}\sum _{i=1}^{n}Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})},$

انواع

در انواع دیگری از جنگل‌های تصادفی از مدل‌های دیگری به عنوان تخمین‌گر پایه استفاده می‌شود. به‌طور مثال رگرسیون لوجستیک چندجمله‌ای و دسته‌بند بیز ساده.

مزایا

در میان ابزارهای پشتیبانی تصمیم، درخت تصمیم و دیاگرام تصمیم دارای مزایایی هستند:

1. فهم ساده: هر انسان با اندکی مطالعه و آموزش می‌تواند، طریقه کار با درخت تصمیم را بیاموزد.
2. کار کردن با داده‌های بزرگ و پیچیده: درخت تصمیم در عین سادگی می‌تواند با داده‌های پیچیده به راحتی کار کند و از روی آن‌ها تصمیم بسازد.
3. استفاده مجدد آسان: در صورتی که درخت تصمیم برای یک مسئله ساخته شد، نمونه‌های مختلف از آن مسئله را می‌توان با آن درخت تصمیم محاسبه کرد.
4. قابلیت ترکیب با روش‌های دیگر: نتیجه درخت تصمیم را می‌توان با تکنیک‌های تصمیم‌سازی دیگر ترکیب کرده و نتایج بهتری به‌دست‌آورد.

معایب

با آنکه جنگل‌های تصادفی عموام به دقت بالاتری نسبت به یک درخت تصمیم می‌رسند، اما آن‌ها ویژگی ذاتی قابل‌تفسیر بودن موجود در درخت‌های تصمیم را ندارند. درخت‌های تصمیم در میان گروه نسبتاً کوچکی از مدل‌های یادگیری ماشین هستند که به سادگی تفسیر می‌شوند. تفسیرپذیری یکی از مورداستقبال‌ترین ویژگی‌های یک مدل است. این مدل‌ها به توسعه‌دهندگان این امکان را می‌دهد که از واقع‌گرایانه بودن تصمیماتی که مدل می‌گیرد اطمینان حاصل کنند و همچنین به کاربران اطمینان بیشتری در اعتماد به تصمیمات گرفته‌شده توسط مدل را می‌دهد. به علاوه، در مسائل با متغیرهای categorical متعدد، جنگل تصمیم ممکن است نتواند دقت مدل پایه را افزایش دهد. به‌طور کلی در حالاتی که با افزایش تعداد یک تخمین‌گر نتوان به دقت بهتری رسید استفاده از آن توجیهی ندارد.

مثال ۱

درخت تصمیم در بهینه‌سازی مشارکت اوراق بهادار مورد استفاده قرار گیرد. مثال زیر اوراق بهدار ۷ طرح مختلف را نشان می‌دهد. شرکت ۱۰۰۰۰۰۰۰۰ برای کل سرمایه‌گذاری‌ها دارد. خطوط پر رنگ نشان دهنده بهترین انتخاب است که موارد ۱، ۳، ۵، ۶ و۷ را در بر می‌گیرد و هزینه‌ای برابر ۹۷۵۰۰۰۰ دارد و سودی برابر ۱۶۱۷۵۰۰۰ برای شرکت فراهم می‌کند. مابقی حالات یا سود کمتری دارد یا هزینه بیشتری می‌طلبد.

مثال ۲

در بازی بیست سؤالی، بازیکن باید یک درخت تصمیم در ذهن خود بسازد که به خوبی موارد را از هم جدا کند تا با کمترین سؤال به جواب برسد. در صورتی بازیکن به جواب می‌رسد که درخت ساخته شده بتواند به خوبی موارد را از هم جدا کند.

جستارهای وابسته

• تقویت گرادیان
• جدول تصمیم
• پیچیدگی درخت تصمیم
• آنالیز تصمیم
• درخت
• گراف تصمیم
• شبکه تصمیم
• زنجیره مارکف
• دیاگرام تصمیم

منابع

• Sequential decision making with partially ordered preferences Daniel Kikuti, Fabio Gagliardi Cozman , Ricardo Shirota Filho

پیوند به بیرون

• Decision Tree Web Application
• 5 Myths About Decision Tree Analysis in Litigation
• Decision Tree Analysis mindtools.com
• Decision Analysis open course at George Mason University
• Extensive Decision Tree tutorials and examples بایگانی‌شده در ۳ فوریه ۲۰۱۵ توسط Wayback Machine
• Cha, Sung-Hyuk (2009). "A Genetic Algorithm for Constructing Compact Binary Decision Trees". Journal of Pattern Recognition Research. 4 (1): ۱–۱۳. Archived from the original on 23 May 2017. Retrieved 9 May 2017. {{cite journal}}: External link in |journal= (help); Unknown parameter |coauthors= ignored (|author= suggested) (help)
• Decision Trees in PMML