Member-only story
Türkçe Doğal Dil İşlemeye Giriş
Düzenli ifadeleri (regex), belirteçleştirmeyi (tokenization), etkisiz kelimeleri (stop words), kelime torbası yöntemini (bag of words), kelime vektörlerini, N-gramı ve kelime anlamı belirsizliğini gidermeyi öğrenelim.
Erişim İçin:
Bu yazıda, doğal dil işlemeyi (NLP) tanımlıyoruz ve tarihsel geçmişini, görevlerini, tekniklerini, zorluklarını ve değerlendirme kriterlerini açıklıyoruz. Düzenli ifadeleri, belirteçleştirmeyi ve etkisiz kelimeleri tanıtıyoruz. Metin verilerinin anlamsal vektör uzayında nasıl temsil edileceğini öğreniyoruz. N-gramları ve bunların dil modellemesinde nasıl kullanılacağını gözden geçiriyoruz. Ayrıca, kelime anlamı belirsizliğini gidermeyi öğreniyoruz.
Doğal Dil İşleme Nedir?
Doğal dil işleme (NLP), bilgisayar bilimi ve dilbilimde kök salmış disiplinler arası bir alandır. NLP, yapay zekanın (YZ) bir parçasıdır ve yapay zeka, bilgisayar biliminin bir alt alanıdır. NLP’deki temel zorluklar, bilgisayarlar tarafından konuşulan ve yazılı insan dilinin işlenmesi ve üretilmesidir. Yazılı insan dilinin işlenmesine doğal dil anlayışı (NLU: Natural Language Understanding) de denir ve insan dilinin üretilmesine doğal dil…
