“Doğal Dil İşleme“ konusundaki gelişmelerin değerlendirilerek eğitim sektöründe kullanılma potansiyeli olan alanların tartışılması amacı ile gerçekleştirilen ve moderatörlüğü Dr. Sevinç TUNALI tarafından üstlenilen Çalıştay’da; “Doğal Dil İşleme“ konulu sunum Başak BULUZ tarafından, “Eğitim Ölçme Değerlendirme - Açık Uçlu Sınavların Değerlendirilmesi“ konulu sunum Bengi BİRGİLİ tarafından yapılmıştır.
Dijital çağda akıllı sistemlerdeki gelişim hızı, dil konusunda da çalışmaları bir hayli artırmıştır. Dil Bilim’den yola çıkan bu çalışmalar, kullanılacak dilin (Türkçe, İngilizce vb.) yapısının incelenmesi (dil bilgisi, fonetik, söz dizilimi, alam bütünlüğü vb.) ile başlar. Ardından Hesaplamalı Dil Bilim[1] (İstatiksel Doğal Dil İşleme) ise dil bilimden aldığı bilgileri istatistiksel analizlere tabi tutarak dili matematiksel ifadeler hâline getirir. Doğal Dil İşleme’de ise; Dil Bilim’den ve Hesaplamalı Dil Bilim’den alınan bilgi, makine öğrenmesi yolu ile bilgisayarların daha insansı (insanı taklit eden) şekilde dilsel işlemler yapabilmesi için kullanılır. Doğal Dil İşleme ( Natural Language Processing / NLP) günümüzde Duygu Analizi, Soru Cevaplama, Bilgi Çıkarımı, Makine Çevirisi, Metin Özetleme, Metin Sınıflandırma gibi birçok farklı alanda kullanılmaya başlanmıştır.
Eğitim ortamlarında kullanılan, “akıllı“ olarak tabir edilen doğal dil işleme yaklaşımlarını incelerken; “öğrenme“ ve “öğretme“ olmak üzere 2 farklı bakış açısını ele almak gerekir. “Öğrenme“ perspektifinde bir şey öğrenme amacı ile eğitim alan kişilere yönelik uygulamaların incelenmesi gerekirken; “Öğretme“ noktasında ise bir şeyin öğretilmesi gayesi ile etkin ve anlaşılabilirlik düzeyini artırmaya yönelik, genellikle eğitmene yardımcı uygulamaların incelenmesi gerekmektedir.
Günümüzde çevrim-içi eğitim platformları, senkron ve asenkron e-öğrenme sistemleri, uzaktan eğitim programları çokça karşımıza çıkmaktadır. Bu ortamların her biri öğrenci ile aracı bir sanal ortam üzerinden çoğunlukla metinler aracılığı ile iletişim kurmayı gerektiren sistemlerdir.
Bu noktada iletişim kurma aracı olarak karşımıza çıkan metinlerin değerlendirilmesi ihtiyacı da ortaya çıkmaktadır. İlgili bu platformlardaki “sanal sınıf“ olarak tabir edilen eğitim ortamlarında bireylerin iletişim kurmak maksadı ile paylaştıkları metinlerdeki uygunsuz ve/veya küfür içerikli paylaşımlarının otomatik tespit edilmesi ve engellenerek eğitim ortamının sabote edilmesinin önüne geçilmesi Doğal Dil İşleme uygulamalarının örneklerinden yalnızca biridir. Daha geniş bir bakış açısı ile değerlendirildiğinde öğrenci profilinin analiz edilmesi ve fiziksel olarak davranışları incelenemeyen bu katılımcıların yaptıkları metinsel paylaşımların belirli bir süre izlenerek kişilerin derse ilgi düzeyleri, ortamın düzenini bozmaya yönelik anomali davranış sergileme potansiyelinin tespit edilmesi gibi önemli çıkarımlar da yine Doğal Dil İşleme yöntemleri ile yapılabilir. Ayrıca disleksi, dikkat dağınıklığı gibi öğrenme düzeyini zorlaştırıcı ve yavaşlatıcı durumlar da yine kişilerin sıklıkla yaptıkları hatalı yazımlarının uzun süreli izlenmesi ile otomatik olarak tespit edilebilir.
Özellikle yabancı dil öğreniminde okuduğunu anlama ve farklı cümleler ile düşünceyi yazılı olarak ifade edebilme egzersizleri sıklıkla kişilere uygulanır. Bu egzersizler kişilerin kelime hazinelerinin genişliği, dil bilgisi, doğru cümleler kurabilme becerileri, okunan metnin doğru olarak anlaşılmış olup olmadığının tespiti gibi birçok metriğin değerlendirilmesine olanak sağlar. Öğrenci tarafından yazılan metinlerden bu bilgilerin tespitinin eğitmenler tarafından yapılıyor olması, zorlu bir süreci beraberinde getirir. Oysaki Doğal Dil İşleme yöntemleri ile iki metin arasındaki semantik benzerliğin tespiti, eş anlamlı sözcük tespiti, ilgili sözcük analizi, gramer hatalarının tespiti gibi süreçler kolaylıkla ve yüksek başarımlarla gerçekleştirilebilmektedir.
Bu durum ise yazılan metinlerin belirli ölçütlere bağlı kalarak otomatik olarak değerlendirilmesini ve notlandırılmasını mümkün kılmaktadır. Otomatik Yazım Kontrolü için “Grammarly“, “The Writing Mentor by ETS“ gibi uygulamalar; yazılan metinlerin içindeki dil bilgisi yanlışlarının bulunması, eş anlamlı kelimelerin önerilmesi gibi işlemleri yapabilmektedir.
Her gün 2,5 exabyte - daha kolay anlaşılması için yaklaşık 250 bin ABD Kongre Kütüphanesi kadar - veri üretilen dünyamızda, herhangi bir konu hakkında araştırma yapabilmenin oldukça zorlaştığını söyleyebilmek mümkündür. Dijital ortamlarda yer alan milyonlarca kaynağın hangisinin güvenilir olduğunun belirlenmesi başlı başına bir iş iken, tüm kaynaklardan elde edilecek öz bilginin bir araya getirilebilmesi de imkânsıza yakın bir süreç olarak karşımıza çıkmaktadır. Özellikle teknolojinin akıl almaz bir hızla gelişim gösterdiği dijital çağda gelişmeleri takip edebilmek, en güncel bilgileri öğrencilere aktarma çabasında olan eğitimciler için stres kaynağı olabilmektedir. Bu problemleri minimize etmek amacıyla üretilen Metin Özetleme, yazılımlarla; yalnızca anahtar kelimelerle, isteğe bağlı çeşitli tarih filtreleri ile ve hangi kaynakların kullanılacağını seçerek bir konu hakkındaki özet bilgilere saniyeler içinde erişebilmeyi mümkün kılmaktadır. Buradaki dikkat çekici noktalardan biri de, bulunan kaynaklardaki verilerin semantik olarak birbirine yakın olanlarının belli bir düzende bir araya getirilerek son kullanıcıya sunuluyor olmasıdır.
Eğitim ortamlarında öğrenileni pekiştirmek ve yaratıcı düşünce gücünün geliştirilmesi amacıyla sıklıkla eğitmenler tarafından öğrencilere ödevler verilmektedir. Bu ödevler bazen bir konunun araştırılarak farklı kaynaklardan birçok bilginin bir araya getirilmesini gerektirirken, bazen de kişinin yaratıcılığının geliştirilmesinde rol oynayan ödevler olabilmektedir. Özellikle farklı kaynakların taranmasını gerektiren ödevler için dijital ortamlardaki kimi zaman güvenli, çoğu zaman ise güvensiz kaynaklardan erişilen bilgilerin bir araya getirilmesi, öğrenciler için oldukça kolay ve tercih edilen bir yöntem olarak karşımıza çıkmaktadır. Bu noktada eğitmenlere yardımcı Doğal Dil İşleme uygulamaları ile bilginin alındığı kaynağın belirlenmesi (intihallerin tespiti) gibi kontrol mekanizmaları geliştirilmiştir.
Dönem içerisinde öğrencilere aktarılan konuların ardından, öğrenciler tarafından ne kadarının öğrenildiğinin tespit edilmesi noktasında birçok öğrencinin korkulu rüyası sınavlar devreye girmektedir. Sınav dönemleri öğrenciler için stresli geçtiği kadar eğitmenler için de bir hayli yorucu bir süreç olarak görülmektedir. Metinler hâlinde ders notlarını girdi olarak kabul eden Soru Üretme - Soru Cevaplama yazılımları ise bu konuda eğitmenlerin yardımına yetişmektedir. Sınav döneminde yüzlerce sayfalık ders kitapları ve ders notları arasında kaybolan öğrencilerin imdadına yetişen çözümler de elbette mevcut. Bu noktada Metin Özetleme görevini başarıyla gerçekleştiren Doğal Dil İşleme uygulamaları hizmete sunulmaktadır.
Eğitmenlere yardımcı olan kontrol mekanizmaları gelişirken diğer yandan öğrencilerin işlerini kolaylaştıran sistemler de hızla gelişmeye devam etmektedir. Doğal Dil İşleme uygulamaları birçok konuda insan hayatını kolaylaştırırken, eğitim anlamında öğrencilere kolaylık sağlayan fakat gerçekte öğrenme becerilerini geliştirmede negatif etkileri bulunan uygulamaların ortaya çıkmasına kapı aralayabilmektedir. Örneğin yalnızca anahtar sözcüklerin verilmesine ihtiyaç duyan otomatik Makale/Bildiri Yazma uygulamaları hâlihazırda kullanılmakta ve hatta bu sistemlerle oluşturulan bildiriler uluslararası kongrelerde kabul bile görmektedir! Diğer bir taraftan Makine Çevirisi, özellikle uluslararası eğitim kaynaklarının anadile çevrilmesinde büyük kolaylık sağlamakla beraber son yıllarda teknik olarak da büyük gelişim gösteren bir diğer uygulamadır. Fakat uzun vadede kişilerin yabancı dilde cümle kurma ve ifade yeteneklerini köreltmeye sebep olma olasılığı da mevcuttur.
Doğal Dil İşleme ile; Soru Cevaplama, Bilgi Çıkarımı, Makine Çevirisi, Metin Özetleme, Metin Sınıflandırma gibi uygulamaların anı sıra farklı sektörler kendi ihtiyaçlarına göre yeni kullanım alanı geliştirebilirler. Örneğin Bankalar, “Dijital Asistanlar“ marifeti ile mudilerinin birçok bankacılık işlemini yürütmektedirler. Eğitim sektöründe ise, bir konudaki öğrenme ihtiyacının giderilmesine yönelik kullanılan dijital asistanlar; öğretmen ile etkileşimi taklit ederek, öğrenen - öğreten iletişimini sağlayarak öğrenmeyi kişiselleştirmektedir. Örneğin, Boulder Dil Teknolojileri tarından geliştirilen “Fen Öğreticim“ (My Science Tutor by Boulder Language Technology) öğrencilere fen dersleri konusunda yardımcı olurken, Yabancı Dil öğreniminde “Alphary by Alphary GmbH“ türü uygulamalar kullanılmaktadır.
Doğal Dil İşlemenin eğitimdeki kullanım alanlarından bir tanesi de açık uçlu sınavların değerlendirilmesidir. Açık uçlu sınavlar cevaplarını öğrencilerin kendi üsluplarına göre oluşturduğu kompozisyon (essay) veya soru cevap şeklinde hazırlanabilir. Bu yöntem çoktan seçmeli sorular veya boşluk oldurma sorularına göre daha üst düzey düşünme becerileri gerektirdiği için öğrenciler tarafından daha zorlayıcı bulunurlar. Çoktan seçmeli (test) sınavlarının kapsamı geniştir, nesnel puanlama yapılabilir, güvenirliği yüksektir ve değerlendirmesi kolaydır. Fakat öğrenenin bakış̧ açısını ve fikir dünyasını yansıtmaz. Bu sorular sadece belli bir noktaya odaklanan, olayın diğer boyutlarını göremeyen öğrencilerin artmasına sebep olur (Berberoğlu ve İş-Güzel, 2013). Açık uçlu sınavlar ise; kapsamı sınırlı ancak üretici becerileri ölçmek için kullanışlıdır. Bu soruların puanlaması değerlendiriciye bağlı (öznel) ve bu sebeple güvenirliği düşüktür. Eğitimciler için değerlendirmesi zor, öğrenciler için ise çoğu zaman; cevaplaması zor ve değerlendirmesi adaletsiz görünmektedir (Berberoğlu ve İş-Güzel, 2013).
Açık uçlu soruların birden çok cevabı vardır ve burada önemli olan; kişinin bilgiyi nasıl aldığını ve kendini karşı tarafa nasıl ifade edebildiğini, konu hakkındaki birikiminin yeterli olup olmadığını ve bunu karşı tarafa aktarırken ne kadar başarılı olduğunu görmektir. Eğitimciler açısından öğrenmeye dair daha fazla bilgi ortaya koysa da, değerlendirme için uzun zaman harcanması kalabalık sınıflar ve yoğun iş yükü nedeni ile zaman içinde daha az tercih edilen bir yöntem olmuştur. Fakat yakın geçmişte açık uçlu sınavların güçlü yönlerine dikkat çeken ve yeniden yaygınlaştırılmasından bahseden çalışmalar artmıştır. Açık uçlu sınavlar bir konu hakkındaki sadece bilgi seviyesini değil; aynı zamanda bilişsel strateji becerisini ve öz kontrol becerisi gibi üst düzey düşünme becerilerini de ortaya koymaktadır.
Bilişsel strateji becerisi; (1) Problemi çözerken birden fazla yol kullanma, (2) Soruyu daha iyi anlamak için başka kelimelerle yeniden ifade etme, tekrarlama, (3) Problemi çözmek için verilen ve ilişkili bilgileri (soru kökünden) seçme ve organize etme, (4) Çözmeye başlamadan önce problemin anlamı üzerinde düşünme, (4) Zor olan sorular üzerinde daha iyi anlayabilmek için fazla zaman harcama ve (5) Problemi farklı formlara çevirme gibi alt becerileri içerir.
Öz kontrol becerisi ise; (1) Çözüm esnasında işlemlerin kontrol etme, (2) Cevapların üzerinden gitme, (3) İşlemlerin doğruluğunu yargılama, (4) Problem çözmeye devam ederken ne kadar iyi yapıp yapmadığını sorma, (5) Hataları düzeltme ve (6) Çözüm esnasında işlerin yolunda gittiğinin takip etmeyi içerir.
Eğitimciler için açık uçlu sınavların değerlendirilmesinde Doğal Dil İşleme kullanılarak nasıl bir değerlendirme tasarımı yapılacağı konusunda yapılan tartışmalarda atılacak temel adımlar aşağıdaki gibi sıralanmıştır.
- Sınıf içi - okul içi - ulusal - uluslararası sınavların tutarlı olarak ilerlemesi için soru üretmede yapay zekâlı sistemlerin tasarlanması.
- Merkezî eğitim programının (ulusal müfredat) kullanılması bir avantaj olarak kullanılıp, okullarda her derse yönelik ortak açık uçlu sınav sonuçları MEB tarafından oluşturulacak bir sistemde Doğal Dil İşleme kullanılarak değerlendirme çalışmaları yapılabilir.
- ulusal sınavların içine deneme soruları eklenerek, alınan cevapların incelenmesi ve biriktirilmesi yolu ile yapay zekâ modellerinin eğitimi için kullanılması mümkün olabilir.
Sonuç olarak; Türkçe Doğal Dil İşleme’nin semantik yapı, cümlelerin ne kadar karmaşık veya basit olduğunun taranması, eş anlamlı sözcükler, kelime dizilimi, cümle yapısı ve Türkçe dil bilgisi konularında gelişmesi her alanda daha doğru değerlendirmeler yapmanın ilk koşuludur. Eğitimde Doğal Dil İşleme’nin kullanılması için ise eğitimcilerin de bu sistemin temel çalışma prensiplerini öğrenmeleri ve kendi disiplin alanlarında kullanım konusunda en azından temel bir farkındalığa sahip olmaları gerekmektedir.
Başak BULUZ & Bengi BİRGİLİ
Moderasyon ve Raportör
Dr. Sevinç TUNALI, ESTEN Direktörü