lبر خلاف نامش این روش برای دسته بندی مورد استفاده قرار میگیرد نه رگراسیون.
lبرای حالت K = 2 این مدل بسیار ساده بوده و از یک تابع خطی بهره می جوید.
lبردار ورودی بصورت < X1 … Xn > و بردارخروجی Y بولین در نظر گرفته میشود.
lتمام Xi ها از Y مستقل فرض شده و مقدار P(Xi | Y = yk) گوسی در نظر گرفته میشود. N(μik,σi)
lهمچنین توزیع P(Y) بصورت برنولی در نظر گرفته میشود.
مقایسه با رگراسیون خطی
lبرای مدل کردن متغیرهائی که مقادیر محدودی به خود میگیرند بهتر از رگراسیون خطی عمل میکند زیرا مدل خطی هر مقداری را در خروجی تولید میکند درحالی که برای چنین متغیرهائی مقادیر محدودی مورد نیاز است.
lدر رگراسیون خطی مقدار متغیر مورد نظر از ترکیب خطی متغیرهای مستقل بدست می آید در حالیکه در لجستیک رگراسیون از ترکیب خطی تابع logit استفاده میشود.
lدر رگراسیون خطی پارامترها به روش least squares بدست می آیند در حالیکه این روش برای لجستیک رگراسیون فاقد کارائی بوده و از روش maximum likelihood estimation برای پیدا کردن پارامترها استفاده میشود.
مشکلات استفاده از ML
lبه خاطر ماهیت concave بودن تابع l(W) رابطه فوق حتما ماکزیمم global را پیدا خواهد کرد.
lاستفاده از ML می تواند برای داده های جدا پذیر خطی به over fitting شدید منجر شود.
lدلیل این امر این است که راه حل ML وقتی اتفاق می افتد که σ = 0.5 و یا wTφ =0 شده و منجر به بزرگ شدن وزنها میشود.
lاین امر حتی وقتی که تعداد داده ها نسبت به تعداد پارامترها زیاد باشد روی خواهد داد.
Generative Classifiers
lدر اغلب مسایل عملی بدلیل پیچیدگی زیاد و یا وجود عدم قطعیت نمی توان مدل ریاضی مشخصی را بدست آورد. در چنین شرایطی می توان از مدل های احتمالاتی استفاده نمود که در آنها دانش اولیه بصورت تابع چگالی احتمال مدل شده و با مشاهده داده مقدار احتمال ثانویه محاسبه میشود.
lنمونه هائی از مدلهای مولد: