“Bilgisayarlı Görü Yöntemlerinin Eğitimde Kullanılması“ başlıklı Eğitimde Yapay Zekâ Çalıştayı - 6, Eğitim Sanayi ve Teknoloji Enstitüsü (ESTEN) tarafından, 13 Haziran 2019’da İstanbul’da Sarıyer Belediyesi eğitim kurumu olan Sarıyer Akademi’de gerçekleştirilmiştir.
Görüntü işleme alanında kullanılan ve nesne tespiti yapabilen YOLO algoritmasının kullanım alanlarının değerlendirilmesi, çocuk resimlerinde görüntü işleme yöntemleri kullanımının tartışılması amacı ile gerçekleştirilen ve moderatörlüğü Dr. Sevinç TUNALI tarafından üstlenilen Çalıştay’da; “YOLO Algoritması“ sunumu Yavuz KÖMEÇOĞLU tarafından, “Çocuk Resimlerinin Değerlendirilmesi“ sunumu ise Dr. Sevinç TUNALI tarafından yapılmıştır.
Görüntü işleme yöntemleri bir çizimdeki nesneleri ayırt etmek, tanımlamak, çizim detaylarını belirlemek gibi, resmedilen nesneler hakkında temel bilgilerin elde edilmesini sağlar. Yakın geçmişte görüntü işleme teknikleri nesne var mı yok mu, iki nesne birbirine ne kadar benzer gibi nispeten daha ilkel problemleri çözebilir durumda idi. Günümüzde ise; görüntü işleme yöntemleri sağlık, savunma sanayii, güvenlik, sürücüsüz araçlar (kara, deniz ve hava) ve pazarlama sektörleri gibi sayısız alanda kullanılmaktadır. Örneğin sağlık alanında görüntü işleme teknolojileri ile meme kanseri hastalarının MR görüntülerinden kanserli hücrelerin hem daha hızlı hem daha kesin hedef tespiti ile saptanması mümkün olmaktadır. Cilt kanseri için geliştirilen bir algoritma ise yaklaşık 130.000 cilt hastalığı görüntüsü içeren bir veri tabanı üzerinden potansiyel kanseri yüksek bir doğruluk payı ile görsel olarak teşhis edebilmektedir.
Görüntü işlemede nesne tespiti yapabilen YOLO (You Only Look Once) algoritması en sık kullanılan algoritmalardandır. YOLO’nun sıklıkla tercih edilmesinin en önemli sebebi diğerlerinden daha hızlı olmasıdır. Örneğin, R-CNN gibi bölge bazlı nesne tespit algoritmaları önce nesne bulunması muhtemel alanları belirleyip ardından oralarda ayrı ayrı CNN (Convolutional Neural Network, Evrişimsel Sinir Ağları) sınıflandırıcıları yürütmektedir. Bu yöntem iyi sonuçlar verse de bir resim iki ayrı işleme tabi tutulduğu için resim üzerindeki işlem sayısının artması, düşük bir “saniye başına kare“ (frame per second, FPS) ortalamasına sebep olmaktadır.
YOLO algoritmasının bu kadar hızlı olmasının sebebi her resmi (görüntüyü) tek bir seferde nöral ağdan geçirerek resimdeki tüm nesnelerin sınıfını ve koordinatlarını tahmin edebilmesidir. Bu şekilde video veya anlık görüntülerden hızlıca tanımlama yapılabilmektedir. Bu tespitteki hız özellikle sürücüsüz araçlar için hayati önem taşımaktadır. Seyir hâlinde olan sürücüsüz bir araçta, aynı insan sürücü gibi, sürekli hızlı bir şeklide görüş alanına giren objeleri tanımalı ve gitme veya durma kararını vermelidir.
Görüntü işleme teknolojileri eğitimde, ticari bir ürün kapsamında ilk olarak 2017 yılında HSedu tarafından geliştirilen, “Akıllı Sınıf Davranış Yönetimi“ (Intelligent Classroom Behavior Management) sisteminde kullanılmıştır. Akıllı Sınıf Davranış Yönetimi sisteminde; sınıf içine yerleştirilmiş kameralardan 30 saniyede bir alınan görüntüler ile öğrencilerin yüz ifadeleri analiz edilerek ders sırasındaki duygu durumları belirlenmektedir. Kameralardan alınan görüntüler, gömülü sistem olarak adlandırılan derin öğrenme yazılımları ile işlenmekte ve yüz ifadelerinin temsil ettiği yedi duygu durumu (öfkeli, üzgün, mutlu vb.) üzerinden öğrencinin ders sırasında hangi duygu durumlarında olduğunu öğretmene raporlamaktadır. Sonuç olarak bu yöntemin öğretmenlere bir geribildirim verdiği, derslerin ilgi çeken veya çekmeyen anlarını tespit ederek yöntemlerini seçmeleri konusunda yardımcı olacağı düşünülmüştür. Yine HSedu tarafından geliştirilen bir diğer görüntü işleme uygulaması da; okul girişlerine yerleştirilen kameraların yüz tanıma sistemi ile entegre edilmesi ve kimlik/yoklama kontrolünün otomatik yapılmasıdır.
Eğitim ortamında yüz tanıması dışındaki görüntülerin de görüntü işleme yolu ile değerlendirilmesi mümkündür. Örneğin çocukların çizdiği resimler yolu ile bir değerlendirme yapılabilir. İnsanların kendini ifade etmeleri için farklı araçları vardır. Bunların en temelleri; (1) Dil , (2) Yazı ve (3) Çizimlerdir. Çocukların dil gelişimi 2 yaş civarında kendilerini ifade edecek hâle gelir. Yazılı dilinin öğrenilmesi, belli becerilerin gelişmesini (görsel algı, işitsel algı, ince motor beceriler vb.) gerektirdiği ve formal okul sisteminin bir parçası olarak görülmesi sebebiyle en son gelişir. Bir çocuğun 2 yaşından 7 yaşında yazı yazmayı öğrenene kadarki sürede en temel ifade araçlarından biri de çizimdir. Çocuklar erken yaşlarda, çevresinde gördüklerini ve duygularını çizimleri ile dışa vururlar. Çocuk çizimleri üzerine yapılan çalışmalar; çocuğun bilişsel gelişimini (zekâ), yaratıcılık seviyesini, dünyayı nasıl algıladığını, çevresi ile kurduğu ilişkileri, kişiliğini ve iç dünyasını resimlerinden takip etmek konusunda gelişmeler sağlamıştır.
Resim analizleri psikolog ve pedagogların, çocuğun duygusal ve bilişsel özelliklerini anlayabilmek için oldukça uzun zamandır kullandıkları yöntemlerden bir tanesidir. Çocuklar çizimleri ile hem algıladıkları dünya, hem de kendi içi dünyaları hakkında önemli ipuçları verirler. Çocuklar büyüdükçe resimleri daha ayrıntılı, orantılı ve daha gerçekçi olmaktadır. Resimlerin gelişmesi açısından her evrede çocukların yaptıkları resimleri niteleyen bazı çarpıcı ve çok ayırıcı özellikler bulunur.
Çocuk resimlerinin duygusal ve bilişsel özellikler açısından analiz edilmesi her bir çocuğun çizimine tek tek odaklanacak psikolog ve pedagog gerektirdiği için, hem zaman hem de iş gücü olarak oldukça maliyetlidir. Bu sebeple bu yöntem sadece çocuğun izlenmesinin mecburi hâle geldiği (öfke, istismar, enüresis, enkopresis, düşük okul başarısı vb.) durumlarda tercih edilir. Çocuk çizimleri incelendiğinde, çizilen figürlerde hayal gücünün etkisi belirgin bir şekilde görülür. Örneğin bir insan resmi çizmesi istenen çocuk insanı uçarken, kanatlı bir şekilde bazı uzuvları eksik ya da gerçeğin dışında resmedebilir. Bu ve benzeri yüzlerce durum bu resimdeki içeriklerin sınıflandırılması problemini zorlaştırmaktadır. Bir çocuk gelişimci çizilen bir resimde temel olarak şu çıkarımları yapmak ister: (1) Farklı nesnelerin ne olduklarını tanımlamak (Ev, Yetişkin İnsan, Çocuk, Okul vb.), (2) Resimde çizilen nesnelerin nerede olduklarını, ne yaptıklarını anlamak, (3) Resimdeki nesnelerin birbirlerine göre belirli noktalara yakın/uzak olmaları, boyutları, çizim detayları, resim kâğıdı üzerindeki konumu ve boyutu gibi bilgileri anlamak.
Bu bilgiler ile resimleri analiz eden uzmanlar çocuğun zekâ, duygu durumu gibi özellikleri hakkında çıkarımlar yapabilir. Görüntü işleme yöntemi kullanılarak bu analizlerin dijitalleşmesi mümkün olabilir.
Görüntü işleme alanında kullanılan ve nesne tespiti yapabilen YOLO algoritmasının kullanım alanlarının değerlendirilmesi, çocuk resimlerinde görüntü işleme yöntemleri kullanımının tartışılması amacı ile gerçekleştirilen ve moderatörlüğü Dr. Sevinç TUNALI tarafından üstlenilen Çalıştay’da; “YOLO Algoritması“ sunumu Yavuz KÖMEÇOĞLU tarafından, “Çocuk Resimlerinin Değerlendirilmesi“ sunumu ise Dr. Sevinç TUNALI tarafından yapılmıştır.
Görüntü işleme yöntemleri bir çizimdeki nesneleri ayırt etmek, tanımlamak, çizim detaylarını belirlemek gibi, resmedilen nesneler hakkında temel bilgilerin elde edilmesini sağlar. Yakın geçmişte görüntü işleme teknikleri nesne var mı yok mu, iki nesne birbirine ne kadar benzer gibi nispeten daha ilkel problemleri çözebilir durumda idi. Günümüzde ise; görüntü işleme yöntemleri sağlık, savunma sanayii, güvenlik, sürücüsüz araçlar (kara, deniz ve hava) ve pazarlama sektörleri gibi sayısız alanda kullanılmaktadır. Örneğin sağlık alanında görüntü işleme teknolojileri ile meme kanseri hastalarının MR görüntülerinden kanserli hücrelerin hem daha hızlı hem daha kesin hedef tespiti ile saptanması mümkün olmaktadır. Cilt kanseri için geliştirilen bir algoritma ise yaklaşık 130.000 cilt hastalığı görüntüsü içeren bir veri tabanı üzerinden potansiyel kanseri yüksek bir doğruluk payı ile görsel olarak teşhis edebilmektedir.
Görüntü işlemede nesne tespiti yapabilen YOLO (You Only Look Once) algoritması en sık kullanılan algoritmalardandır. YOLO’nun sıklıkla tercih edilmesinin en önemli sebebi diğerlerinden daha hızlı olmasıdır. Örneğin, R-CNN gibi bölge bazlı nesne tespit algoritmaları önce nesne bulunması muhtemel alanları belirleyip ardından oralarda ayrı ayrı CNN (Convolutional Neural Network, Evrişimsel Sinir Ağları) sınıflandırıcıları yürütmektedir. Bu yöntem iyi sonuçlar verse de bir resim iki ayrı işleme tabi tutulduğu için resim üzerindeki işlem sayısının artması, düşük bir “saniye başına kare“ (frame per second, FPS) ortalamasına sebep olmaktadır.
YOLO algoritmasının bu kadar hızlı olmasının sebebi her resmi (görüntüyü) tek bir seferde nöral ağdan geçirerek resimdeki tüm nesnelerin sınıfını ve koordinatlarını tahmin edebilmesidir. Bu şekilde video veya anlık görüntülerden hızlıca tanımlama yapılabilmektedir. Bu tespitteki hız özellikle sürücüsüz araçlar için hayati önem taşımaktadır. Seyir hâlinde olan sürücüsüz bir araçta, aynı insan sürücü gibi, sürekli hızlı bir şeklide görüş alanına giren objeleri tanımalı ve gitme veya durma kararını vermelidir.
Görüntü işleme teknolojileri eğitimde, ticari bir ürün kapsamında ilk olarak 2017 yılında HSedu tarafından geliştirilen, “Akıllı Sınıf Davranış Yönetimi“ (Intelligent Classroom Behavior Management) sisteminde kullanılmıştır. Akıllı Sınıf Davranış Yönetimi sisteminde; sınıf içine yerleştirilmiş kameralardan 30 saniyede bir alınan görüntüler ile öğrencilerin yüz ifadeleri analiz edilerek ders sırasındaki duygu durumları belirlenmektedir. Kameralardan alınan görüntüler, gömülü sistem olarak adlandırılan derin öğrenme yazılımları ile işlenmekte ve yüz ifadelerinin temsil ettiği yedi duygu durumu (öfkeli, üzgün, mutlu vb.) üzerinden öğrencinin ders sırasında hangi duygu durumlarında olduğunu öğretmene raporlamaktadır. Sonuç olarak bu yöntemin öğretmenlere bir geribildirim verdiği, derslerin ilgi çeken veya çekmeyen anlarını tespit ederek yöntemlerini seçmeleri konusunda yardımcı olacağı düşünülmüştür. Yine HSedu tarafından geliştirilen bir diğer görüntü işleme uygulaması da; okul girişlerine yerleştirilen kameraların yüz tanıma sistemi ile entegre edilmesi ve kimlik/yoklama kontrolünün otomatik yapılmasıdır.
Eğitim ortamında yüz tanıması dışındaki görüntülerin de görüntü işleme yolu ile değerlendirilmesi mümkündür. Örneğin çocukların çizdiği resimler yolu ile bir değerlendirme yapılabilir. İnsanların kendini ifade etmeleri için farklı araçları vardır. Bunların en temelleri; (1) Dil , (2) Yazı ve (3) Çizimlerdir. Çocukların dil gelişimi 2 yaş civarında kendilerini ifade edecek hâle gelir. Yazılı dilinin öğrenilmesi, belli becerilerin gelişmesini (görsel algı, işitsel algı, ince motor beceriler vb.) gerektirdiği ve formal okul sisteminin bir parçası olarak görülmesi sebebiyle en son gelişir. Bir çocuğun 2 yaşından 7 yaşında yazı yazmayı öğrenene kadarki sürede en temel ifade araçlarından biri de çizimdir. Çocuklar erken yaşlarda, çevresinde gördüklerini ve duygularını çizimleri ile dışa vururlar. Çocuk çizimleri üzerine yapılan çalışmalar; çocuğun bilişsel gelişimini (zekâ), yaratıcılık seviyesini, dünyayı nasıl algıladığını, çevresi ile kurduğu ilişkileri, kişiliğini ve iç dünyasını resimlerinden takip etmek konusunda gelişmeler sağlamıştır.
Resim analizleri psikolog ve pedagogların, çocuğun duygusal ve bilişsel özelliklerini anlayabilmek için oldukça uzun zamandır kullandıkları yöntemlerden bir tanesidir. Çocuklar çizimleri ile hem algıladıkları dünya, hem de kendi içi dünyaları hakkında önemli ipuçları verirler. Çocuklar büyüdükçe resimleri daha ayrıntılı, orantılı ve daha gerçekçi olmaktadır. Resimlerin gelişmesi açısından her evrede çocukların yaptıkları resimleri niteleyen bazı çarpıcı ve çok ayırıcı özellikler bulunur.
Çocuk resimlerinin duygusal ve bilişsel özellikler açısından analiz edilmesi her bir çocuğun çizimine tek tek odaklanacak psikolog ve pedagog gerektirdiği için, hem zaman hem de iş gücü olarak oldukça maliyetlidir. Bu sebeple bu yöntem sadece çocuğun izlenmesinin mecburi hâle geldiği (öfke, istismar, enüresis, enkopresis, düşük okul başarısı vb.) durumlarda tercih edilir. Çocuk çizimleri incelendiğinde, çizilen figürlerde hayal gücünün etkisi belirgin bir şekilde görülür. Örneğin bir insan resmi çizmesi istenen çocuk insanı uçarken, kanatlı bir şekilde bazı uzuvları eksik ya da gerçeğin dışında resmedebilir. Bu ve benzeri yüzlerce durum bu resimdeki içeriklerin sınıflandırılması problemini zorlaştırmaktadır. Bir çocuk gelişimci çizilen bir resimde temel olarak şu çıkarımları yapmak ister: (1) Farklı nesnelerin ne olduklarını tanımlamak (Ev, Yetişkin İnsan, Çocuk, Okul vb.), (2) Resimde çizilen nesnelerin nerede olduklarını, ne yaptıklarını anlamak, (3) Resimdeki nesnelerin birbirlerine göre belirli noktalara yakın/uzak olmaları, boyutları, çizim detayları, resim kâğıdı üzerindeki konumu ve boyutu gibi bilgileri anlamak.
Bu bilgiler ile resimleri analiz eden uzmanlar çocuğun zekâ, duygu durumu gibi özellikleri hakkında çıkarımlar yapabilir. Görüntü işleme yöntemi kullanılarak bu analizlerin dijitalleşmesi mümkün olabilir.
Sunumu ve Raporu Hazırlayanlar
Yavuz Kömeçoğlu
Dr. Sevinç TUNALI, ESTEN Direktörü
Detaylı Bilgi için Tıklayınız
_jpeg_674fc3b2-f844-4a45-ba8b-dd7980a15fce.jpeg "Afrika 2063 Ağı İstişare Toplantısı 2")
