ایس وی ایم اور لاجسٹک رجعت کے مابین فرق

Difference Between Svm



ایس وی ایم اور لاجسٹک رجعت کے مابین فرق

آگے سے: بیوقوف خرگوش (حملہ)

اس اکاؤنٹ کا دوبارہ پرنٹ شدہ مواد مستقبل میں دیکھنے اور سیکھنے کی سہولت کے لئے ہے۔



2.1 جوہر میں ، اس کے نقصان کا فعل مختلف ہے

لاجسٹک ریگریشن نقصان کی تقریب:
تصویر
سپورٹ ویکٹر مشین کا مقصد کام:
تصویر
ضمیمہ: مختلف کتابوں میں نقصان کے مختلف کام ہوسکتے ہیں جب ان کی وضاحت کی جائے۔



نقصان کے مختلف افعال مختلف مفروضوں کی نمائندگی کرتے ہیں ، جس کا مطلب ہے مختلف درجہ بندی کے اصول ، اور ہر چیز! ! ! آسان الفاظ میں ، لاجسٹک ریگریشن کا طریقہ امکان کے نظریہ پر مبنی ہے ، یہ فرض کرتے ہوئے کہ نمونے کی احتمال 1 ہے سگمائڈ فنکشن کے ذریعہ اس کا اظہار کیا جاسکتا ہے ، اور پھر پیرامیٹر کی قیمت کا تخمینہ زیادہ سے زیادہ امکان کے اندازے کے ذریعہ کیا جاتا ہے۔ تفصیلات کے لئے ، http: //blog.csdn .net / pakko / مضمون / تفصیلات / 37878837 پر دیکھیں۔ ہندسیاتی وقفہ کو زیادہ سے زیادہ بنانے کے اصول پر مبنی سپورٹ ویکٹر مشین ، سب سے بڑے ہندسی وقفہ والی درجہ بندی کی سطح کو زیادہ سے زیادہ درجہ بندی کی سطح کے طور پر سمجھا جاتا ہے۔ تفصیلات کے لئے ، براہ کرم ملاحظہ کریں http://blog.csdn.net/macyang/article/details/38782399



2.2 سپورٹ ویکٹر مشین صرف مقامی حدود کے قریب ہی پوائنٹس پر غور کرتی ہے ، جبکہ لاجسٹک رجعت عالمی سطح پر غور کرتی ہے۔

مذکورہ بالا دو یو آر ایل کے مندرجات کو پڑھنے اور ایل آر اور ایس وی ایم کے اصولوں کے بارے میں گہری تفہیم حاصل کرنے کے بعد ، آپ کو پتہ چل جائے گا کہ نمونہ پوائنٹس جو ایس وی ایم کے فیصلے کی سطح کو متاثر کرتے ہیں ان میں صرف کچھ ساختی معاون ویکٹر ہوتے ہیں۔ جب سپورٹ ویکٹر کے باہر کسی بھی نمونہ نقطہ کے جوڑے کو شامل یا کم کرتے ہو تو درجہ بندی کے فیصلے کی سطح پر کوئی اثر نہیں ہوتا ہے جبکہ ایل آر میں ، ہر نمونہ نقطہ فیصلہ کی سطح کے نتیجے پر اثر پڑے گا۔ بیان کرنے کے لئے مندرجہ ذیل آریھ استعمال کریں:

سپورٹ ویکٹر مشینیں نان سپورٹ ویکٹر کے نمونے تبدیل کرنے سے فیصلے کی سطح میں تبدیلی نہیں آسکتی ہے۔
تصویر

لاجسٹک رجعت میں کسی بھی نمونے کو تبدیل کرنے سے فیصلے کی سطح میں تبدیلی آسکتی ہے۔
تصویر
یہ سمجھو ، شاید آپ پوچھیں گے ، پھر؟ کیا مقصد ہے؟ کیا اس کا کوئی مطلب ہے؟ کیا یہ دونوں الگورتھم استعمال کرنے میں مددگار ہے؟ ایک جملے میں جواب:
مندرجہ بالا وجوہات کی بناء پر ، میں نے یہ سیکھا کہ: لکیری ایس وی ایم براہ راست اعداد و شمار کی تقسیم پر منحصر نہیں ہے ، اور درجہ بندی کا طیارہ ایک طرح کے نقطہ سے متاثر نہیں ہوتا LR تمام اعداد و شمار سے متاثر ہوتا ہے ، اگر اعداد و شمار مضبوطی سے مختلف ہوں تو عدم توازن ، عام طور پر ضرورت ہے پہلے ڈیٹا پر توازن کرنا۔ (http://www.zhihu.com / حوالہ / 26768865/answer/34078149 سے حوالہ دیا گیا)



2.3 جب نائن لائنیر مسائل کو حل کرتے ہیں تو ، سپورٹ ویکٹر مشین ایک دانا فنکشن میکانزم کا استعمال کرتی ہے ، جبکہ LR عام طور پر دانا فنکشن کا طریقہ استعمال نہیں کرتا ہے۔

یہ سوال سمجھنے میں بہت آسان ہے۔ درجہ بندی ماڈل کا نتیجہ فیصلہ کی سطح کا حساب لگانا ہے ، اور ماڈل کی تربیت کا عمل فیصلہ کی سطح کا حساب کتاب کرنا ہے۔ مذکورہ بالا دوسرے فرق کے ذریعہ ، ہم یہ سمجھ سکتے ہیں کہ فیصلہ کی سطح کا حساب لگاتے وقت ، سپورٹ ویکٹر کی نمائندگی کرنے والے صرف چند نمونے SVM الگورتھم میں حساب کتاب میں شامل ہوتے ہیں ، یعنی صرف چند نمونے کو دانا کے حساب میں حصہ لینے کی ضرورت ہوتی ہے (کہ ہے ، کیرنال مشین حل گتانک بہت کم ہے)۔ تاہم ، LR الگورتھم میں ، ہر نمونہ نقطہ کو فیصلہ کی سطح کے حساب کتاب کے عمل میں حصہ لینا ضروری ہے ، یعنی ، اگر ہم LR میں بھی دانا کی تقریب کے اصول کو استعمال کرتے ہیں ، تو ہر نمونہ نقطہ کو لازمی طور پر دانا حساب میں حصہ لینا ہوتا ہے ، جو لاتا ہے۔ کمپیوٹیشنل پیچیدگی کافی زیادہ ہے۔ لہذا ، مخصوص ایپلی کیشنز میں ، LR شاذ و نادر ہی دانا کی تقریب کا طریقہ کار استعمال کرتا ہے۔

2.4 لکیری ایس وی ایم فاصلے کی پیمائش پر منحصر ہوتا ہے جو اعداد و شمار کے ذریعہ اظہار کیا جاتا ہے ، لہذا پہلے اعداد و شمار کو معمول پر لانے کی ضرورت ہے ، اور ایل آر اس سے متاثر نہیں ہوتا ہے۔

(http://www.zhihu.com / حوالہ / 26768865/answer/34078149 سے حوالہ دیا گیا)

ایک امکان پر مبنی اور ایک فاصلے پر مبنی!
لکیری ایس وی ایم بڑی مقدار میں تجارت کرتا ہے

  • ایک بہت بڑا مارجن یہ ہے کہ ان دو اقسام کے مابین کتنا وقفہ پیدا کیا جاسکتا ہے یہ کہا جاسکتا ہے کہ مثبت نمونے باؤنڈری ہوائی جہاز میں بائیں / بائیں سے بائیں ہونا چاہئے (جسے ایک مثبت حد کہا جاتا ہے) ، اور منفی نمونے خلا / 2 سے ہونا چاہئے۔ سڑنے والے طیارے میں دائیں (جسے منفی حد کہا جاتا ہے)) (نیچے دیکھیں)
    تصویر

  • L1 غلطی جرمانہ ، ان تمام نکات کے لئے جو مذکورہ بالا شرائط کو پورا نہیں کرتے ہیں

یہ دیکھا جاسکتا ہے کہ ، ایک ڈیٹا سیٹ دیئے جانے کے بعد ، ایک بار جب لکیری ایس وی ایم حل ہوجائے تو ، تمام ڈیٹا پوائنٹس کو دو قسموں میں درجہ بندی کیا جاسکتا ہے۔
1) ایک قسم ایک نقطہ ہے جو متعلقہ حد کے طیارے سے باہر گرتا ہے اور صحیح درجہ بندی کیا جاتا ہے جیسے مثبت نمونہ جو مثبت حد کے بائیں طرف آتا ہے یا منفی نمونہ جو منفی حد کے دائیں طرف آتا ہے۔
2) دوسرا زمرہ وہ نکات ہیں جو خلاء میں پڑتے ہیں یا غلط طبقے میں ہیں۔
فرض کریں کہ لکیری ایس وی ایم کے ذریعہ ایک ڈیٹا سیٹ حل ہوگیا ہے ، اس ڈیٹا سیٹ میں زیادہ سے زیادہ پوائنٹس شامل کرنے یا اسے حذف کرنے سے دوبارہ حل شدہ لکیری ایس وی ایم ہوائی جہاز کو تبدیل نہیں کیا جائے گا۔ ایل آر سے ممتاز یہی ہے۔ ذیل میں ہم ایل آر کو دیکھ رہے ہیں۔
یہ امر قابل ذکر ہے کہ ایل آر ماڈل کو حل کرنے کے عمل میں ، ہر ایک ڈیٹا پوائنٹ کا درجہ بندی طیارے پر اثر ہوتا ہے ، اور اس کا اثر و رسوخ اس کے فاصلے سے درجہ بندی طیارے تک تیزی سے کم ہوتا جارہا ہے۔ دوسرے الفاظ میں ، ایل آر کا حل خود کوائف کی تقسیم سے متاثر ہوتا ہے۔ عملی ایپلی کیشنز میں ، اگر ڈیٹا کا طول و عرض بہت زیادہ ہے تو ، LR ماڈل پیرامیٹرز کے L1 کو باقاعدہ بنانے میں تعاون کرے گا۔
یہ کہنا کہ لازمی فرق کیا ہے ، یعنی دونوں ماڈل میں ڈیٹا اور پیرامیٹرز کے بارے میں مختلف حساسیت ہے۔ لکیری ایس وی ایم جرمانے اور اعداد و شمار کے اظہار کی جگہ کی پیمائش کے زیادہ گتانک پر زیادہ انحصار کرتا ہے ، اور (باقاعدہ اشیاء کے ساتھ) پیرامیٹرز کے L1 کو باقاعدہ بنانے کے ضرب پر LR زیادہ انحصار کرتا ہے۔ لیکن چونکہ وہ کم و بیش لکیری درجہ بندی کرنے والے ہیں ، در حقیقت ، کم جہتی ڈیٹا سے زیادہ فائدہ اٹھانے کی ان کی صلاحیت نسبتا limited محدود ہے۔ اس کے برعکس ، اعلی جہتی اعداد و شمار کے لئے ، ایل آر کی کارکردگی زیادہ مستحکم ہوگی۔ کیوں؟
کیونکہ لکیری ایس وی ایم ڈیٹا کے اظہار پر فاصلے کی پیمائش پر منحصر ہوتا ہے جب یہ اندازہ کرتے ہو کہ مارجن کتنا وسیع ہے ، دوسرے الفاظ میں ، اگر پیمائش اچھی نہیں ہے (بری طرح سے چھوٹی ہوئی ہے ، تو یہ صورتحال اعلی جہتی اعداد و شمار خاص طور پر اہم ہے)۔ نام نہاد بڑے مارجن بے معنی ہیں۔ اس مسئلے سے مکمل طور پر بچا نہیں جاسکتا ہے یہاں تک کہ اگر ہم دانا چالوں (جیسے گوسیا دانا) کا استعمال کرتے ہیں۔ لہذا ، لکیری ایس وی ایم کو استعمال کرنے سے پہلے ، عام طور پر پہلے اعداد و شمار کو معمول پر لانا ضروری ہوتا ہے ، لیکن ایل آر کو حل کرنے کے دوران (نتائج کو باقاعدہ بنائے بغیر) ضروری یا غیر حساس نہیں ہوتا ہے۔ (http://www.zhihu.com / حوالہ / 26768865/answer/34078149 سے حوالہ دیا گیا)
یہیں بھی ہوں گے: فیچر اسکیلنگ تدریجی نزول کو بہتر بنائے گی۔

اگر اسے معمول پر نہیں لیا جاتا ہے تو ، ہر جہت کی خصوصیات کا دورانیہ بہت مختلف ہوتا ہے ، اور مقصد کا کام 'فلیٹ' ہوگا:
تصویر
(اعداد و شمار میں بیضوی معقول فنکشن کے سموچ کی نمائندگی کرتا ہے ، اور دونوں مربوط محور دو خصوصیات کی نمائندگی کرتے ہیں)
اس طرح ، جب میلان نزول کا مظاہرہ کرتے ہوئے ، تدریجی سمت کم سے کم قیمت کی سمت سے ہٹ جاتی ہے اور بہت سارے راستے لے جاتی ہے۔
اگر معمول بن جائے تو ، مقصد کا کام 'گول' ہے:
تصویر
ہر قدم پر میلان کی سمت بنیادی طور پر کم سے کم قیمت کی طرف اشارہ کرتی ہے ، اور آپ بڑی کامیابی حاصل کرسکتے ہیں۔ (https://www.zhihu.com / سوال / 37129350 سے نقل)

2.5 SVM کے نقصان کی تقریب باقاعدگی کے ساتھ آتی ہے

(1/2 || w || the 2 نقصان کی تقریب میں) ، یہی وجہ ہے کہ SVM ساختی خطرہ کم سے کم الگورتھم ہے! ! ! اور ایل آر کو لازمی طور پر نقصان کی تقریب میں باقاعدہ شرائط کا اضافہ کرنا چاہئے! ! !
میں نے کبھی سمجھا نہیں ہے کہ ایس وی ایم کو ساختی خطرہ کم سے کم الگورتھم کیوں کہا جاتا ہے۔ نام نہاد ساختی رسک کم سے کم ہونے کا مطلب تربیت کی غلطیوں اور ماڈل کی پیچیدگیوں کے مابین توازن تلاش کرنا ہے تاکہ زیادہ مناسب کو روکنے کے لئے اور اس طرح حقیقی غلطی کو کم سے کم کیا جاسکے۔ اگر سنرچناتمک خطرہ کم سے کم کرنے کا مقصد حاصل نہیں کیا جاتا ہے تو ، سب سے عام طریقہ یہ ہے کہ باقاعدہ اشیاء کو شامل کیا جائے۔ میں مندرجہ ذیل بلاگز میں مختلف باقاعدہ عوامل کے اختلافات کا تجزیہ کروں گا ، لہذا میں یہاں زیادہ نہیں جاؤں گا۔ تاہم ، آپ نے پایا کہ SVM کا معقول فنکشن دراصل باقاعدہ اشیاء کے ساتھ آتا ہے! ! ! مذکورہ بالا SVM مقصد کی تقریب پر ایک نظر ڈالیں:

SVM نقصان کی تقریب:
تصویر
لکڑی ہے ، کیا وہ L2 باقاعدہ چیز نہیں ہے؟
یہ بتانے کی ضرورت نہیں ، اگر آپ L1 باقاعدگی اور L2 کی باقاعدگی کو نہیں سمجھتے ہیں تو ، براہ کرم http://www.mamicode.com/info-detail-517504.html دیکھیں۔