Machine Learning (Makine Öğrenmesi) Sınıflandırıcılar

Üç tür makine öğrenimi yöntemi vardır: denetimli makine öğrenimi(supervised machine learning), denetimsiz makine öğrenimi (unsupervised machine learning) ve pekiştirmeli öğrenme (reinforcement learning). Denetimli öğrenmede, sistemin öğrenmesi için etiketli örnekler vardır. Yeni girdilerin etiketlenmesi için kullanılan, etiketlenmiş örneklerden öğrenilmiş bir sınıflandırıcı oluşturulur. Denetimsiz öğrenmede, verilen giriş verilerinde etiket yoktur. Sistemlerin giriş verilerinden kalıpları algılaması gerekiyor. Bu nedenle, sınıflandırıcıları değerlendirmek için kullanılacak belirgin bir hata ölçüsü yoktur. Pekiştirmeli öğrenme, zaman zaman verilen ödül veya ceza sinyallerinin nasıl tepki verileceğini öğrenmede faydalıdır. Bu öğrenme türü oyun teorisi ve genetik algoritmalar gibi diğer disiplinlerde geniş kullanım alanları bulur. 

Bu yazımda denetimli makine öğrenme algoritmaları hakkında bilgiler vereceğim. Bugün kullanımda olan birçok denetlenen makine öğrenme algoritması (veya sınıflandırıcı) vardır. En popüler olanları Naïve Bayes, Karar Ağaçları ve Lojistik Regresyondur. Bu popüler üç sınıflandırıcıya ek olarak daha basit bir sınıflandırıcı olan ZeroR ve doğal dil işlemede yaygın kullanılan Maksimum Entropy Sınıflandırıcısı (Maximum Entropy Classifier – Maxent) hakkında da bilgi vereceğim. Tüm bu sınıflandırıcılar genellikle doğal dil işlemede (Natural Language Processing – NLP) ve metin madenciliğinde kullanılır. 

Eğitim sırasında, ZeroR özellikleri göz ardı eder ve tahmin için sadece etiketleri kullanır. Her ne kadar tahmin etme kabiliyetine sahip olmasa da, bir sınıflandırıcının sahip olabileceği en düşük tahmin edilebilirliği sağlar. Eğitim verilerindeki etiketler için bir frekans tablosu oluşturarak çalışır ve tahmin oluştururken test verilerinden en yüksek frekansa sahip olan değerleri seçer.

Naïve Bayes sınıflandırıcı Bayes algoritmasını kullanır ve istatistiksel tabanlıdır. Etiketi bulmak için P (etiket | özellikler) Bayes kuralını P (etiket) ve P (özellikler | etiket) cinsinden temsil etmek için kullanır. Aşağıda gösterildiği gibidir:

Özellikler, makine öğrenimi sınıflandırıcısına girdisidir. Metin madenciliği için kelimeler, bigramlar, hatta trigramlar bir özellik olabilir. Sınıflandırma çalışmasını basitleştirmek için, Naive Bayes sınıflandırıcı “naif” bir varsayım da yapar, yani tüm özellikler birbirinden bağımsızdır. Böylece, yukarıdaki denklem şu şekilde yeniden yazılabilir:

f1, f2,… fn’nin her biri bir özelliği gösterir. Naif varsayım asla gerçek olmamasına rağmen, Naïve Bayes sınıflandırma sonuçları oldukça iyi olabilir.

Karar ağacı, iç düğümlerin karar düğümlerini temsil ettiği ve yaprak düğümlerinin atanan etiketleri temsil ettiği bir ağaç yapısına dayanır. Karar düğümleri, özelliklerin değerlerine bakarak hangi hangi dalda ilerlenileceğine karar verir. Bir karar ağacı oluşturmak, karar düğümleri için doğru özellikleri seçmekle başlar ve bu kararı vermede birkaç seçenek bulunur. Bir karar düğümü seçmenin en kolay yolu, mevcut tüm özellikleri göz önünde bulundurmak ve eğitim verilerinin etiketini tahmin etmede hangisinin en doğru olduğunu görmek ve daha sonra bu özelliği kullanmaktır. Bu yol kolay olmasına rağmen etkili değildir. Genel olarak kullanılan ve aynı zamanda daha iyi bir seçim olan diğer yol, girdinin belirli bir özellik kullanılarak bölünmesinden sonra ne kadar daha organize olduğunu ölçmektir. Bunu ölçmek için “entropi” kullanmak etkili bir yöntemdir. Entropi, her bir etiketin olasılığının toplamıdır, aynı etiketin log olasılığını gösterir. Maksimum entropiyi sağlayan özellik, bir karar düğümü olarak seçilir. Maksimum entropi, ilk organize edilmemiş girdiden en organize girdiye ulaşılabilen en yüksek seviyeyi gösterir. Karar ağaçlarının göze çarpan en önemli avantajı, yorumlanması kolay olmasıdır.

Lojistik regresyon, giriş olarak bir özellik seti verildiğinde bir bug raporuna atanması muhtemel bir etiketin olasılığını hesaplar. Bu olasılık için Bernoulli dağılım fonksiyonunu ve girişi dönüştürmek için bir sigmoid fonksiyonunu kullanır.

Denklemde Ber Bernoulli fonksiyonunu temsil eder, sigm sigmoid fonksiyonunu temsil eder, y etikettir, x giriş özelliklerini temsil eder ve w modelin ağırlık vektörüdür. Model parametresi w, eğitim adımında hesaplanır. Tahmin aşamasında, en yüksek olasılığa sahip etiket hata raporuna atanır.

Maxent ayrıca Maksimum Entropy Sınıflandırıcı olarak da adlandırılır. Naïve Bayes’e benzerdir ancak olasılıkları kullanmaktan ziyade sınıflandırma performansını en üst düzeye çıkaracak özellikleri bulmak için arama tekniklerini kullanır. Maxent, girişte maksimum entropiye sahip özellikleri seçer. Maxent, Lojistik Regresyona eşdeğerdir.