Bilgisayarca düşünme becerilerinin ölçülmesinde alternatif bir yaklaşım: Performans tabanlı ölçüm

Abstract

Bilgisayarca düşünme becerileri, günümüz dünyası için ihtiyaç duyulan birey niteliklerinin bir parçası haline gelmektedir. İhtiyaç duyulan birey niteliklerinin belirlenmesi kadar, öğretilmesi ve ölçülmesi de tartışılan önemli konuların başında gelmektedir. Bu sebeple, gerçekleştirilen bu çalışmayla birlikte bilgisayarca düşünme becerilerinin ölçülmesine yönelik çevrimiçi, interaktif, geçerli, güvenilir ve kullanışlı performans tabanlı ölçüm aracı geliştirilmesi amaçlanmıştır. Araştırma, betimsel tarama yöntemi kullanılarak yürütülmüştür. Bundan dolayı geliştirilen performansa dayalı ölçüm aracı olan interaktif web uygulaması ve daha önce geçerliği ve güvenirliği gösterilmiş bir psikometrik ölçek ile eş değer sorulardan oluşan beceri testi kullanılarak nicel veriler toplanmıştır. Web uygulamasının geçerlik ve güvenirlik analizleri, araştırma içerisinde kullanılan psikometrik ölçekten ve beceri testinden elde edilen veriler ile yapılmıştır. Beceri testinde yer alan sorular, çevrimiçi platform için hazırlanan sorular ile eş değer özelliklere sahip olacak şekilde hazırlanmıştır. Web uygulamasında yer alan sorular ile beceri testindeki sorular birbirinden tamamen farklı olmasına rağmen aynı becerileri ölçmesi öngörülmüştür. Geliştirilen performans tabanlı ölçüm aracında 7 farklı beceriyi kapsayan 12 soru bulunmaktadır. Sorular, katılımcıdan beklenen cevaba göre farklı şekillerde cevaplanabilmektedir. Başka bir ifadeyle, katılımcılar sorular yanıtlama aşamasında sürükle-bırak, çevir ve işaretle gibi bir takım interaktif işlemler yapması gerekmektedir. Soruların hazırlanması aşamasında uzman görüşleri ve literatürden edinilen kaynaklar önemli bir konuma sahip olmuştur. Farklı zorluk seviyelerinden oluşan soruların her biri 10 puan üzerinden otomatik değerlendirilmiştir. Bu nedenle, geliştirilen performans tabanlı ölçüm aracında yer alan tüm soruları doğru yanıtlayan bir katılımcı en fazla 120 puan alabilmektedir. Bununla beraber verilerin toplanma süreci iki aşamadan oluşmaktadır. İlk aşamada, 156 lise öğrencisi psikometrik ölçekte yer alan ifadeleri tamamladıktan sonra performans tabanlı ölçüm aracı olan web uygulamasında bulunan sorulara cevap vermiştir. İkinci aşamada ise 47 lise öğrencisi psikometrik ölçeği tamamladıktan hemen sonra kağıt-kalem formunda bulunan beceri testindeki çoktan seçmeli soruları cevaplamıştır. Bununla beraber web uygulamasında yer alan 12 soruyu yanıtlandırmıştır. Diğer bir ifadeyle çalışma grubu 203 lise öğrencisinden oluşmaktadır. Bu kapsamda, üç farklı veri toplama aracından elde edilen veriler ile istatiksel analizler yapılmıştır. Elde edilen veriler üzerinde yapılan normallik analizleri sonucunda, verilerin normal dağılım gösterdiği tespit edilmiştir. Ancak ikinci aşamada yer alan her bir kategoride örneklem sayısı parametrik testlerdeki varsayımları karşılamadığı için parametrik olmayan testler yapılmıştır. Parametrik testler için bağımsız örneklem T-Testi, tek yönlü ANOVA testi ve Tukey HSD yapılmıştır. Parametrik olmayan testler için ise Kruskal-Wallis ve Mann-Whitney U testleri yapılmıştır. Bununla beraber geliştirilen interaktif web uygulamasının açımlayacı faktör analizi için Velicer'in MAP testi ve Horn'un Paralel Analiz testi yapılmıştır. Güvenirlik çalışmalarına yönelik Cronbach's Alpha testi ve Spearman-Brown testi uygulanmıştır. Ölçüt geçerliliği bağlamında ise iki değişkenli korelasyon (Bivariate Correlation) testi yapılmıştır. Yapılan tüm analizler neticesinde bilgisayarca düşünme becerilerini ölçmeye yönelik geçerli ve güvenilir bir performans tabanlı çevrimiçi ortam geliştirilmiştir. Analizlerde elde edilen bulgulara göre ise çalışma grubunda yer alan lise öğrencilerinin bilgisayarca düşünme beceri düzeylerinin orta seviyede olduğu saptanmıştır. Bununla birlikte öğrencilerin bilgisayarca düşünme seviyeleri, cinsiyet, sınıf seviyesi ve okul türü değişkenleri üzerinden incelenmiştir. İnceleme sonucunda öğrencilerin bilgisayarca düşünme beceri düzeyleri cinsiyete göre web uygulaması ve beceri testi araçları bağlamında farklılık göstermezken, psikometrik ölçekten elde edilen bulgularda erkek öğrenciler lehine anlamlı farklılık göstermiştir. Sınıf seviyeleri özelinde incelendiğinde ise psikometrik ölçek ve web uygulaması yönünden anlamlı bir farklılık saptanmazken, beceri testinden toplanan verilerde 12. sınıflar lehine anlamlı farklılık saptanmıştır. Son olarak okul türü bağlamında yapılan analizler sonucunda, web uygulaması ve beceri testi ölçme araçları için anlamlı farklılık gözlemlenirken, psikometrik ölçek için okul türüne göre bir fark bulunamamıştır. Ayrıca performans tabanlı ölçme aracının psikometrik ölçekten daha iyi bir ölçme yaptığı sonucuna varılmıştır.

Computational thinking skills are becoming part of the individual qualities needed for today's world. As well as determining the qualities of the individual needed, teaching and measuring are among the important issues that have been discussed. For this reason, the aim of this study is to develop an online, interactive, valid, reliable and useful performance-based measurement tool for measuring computational thinking skills. The research was conducted by using the descriptive survey model. Therefore, quantitative data was collected by using an interactive web application which is a performance-based measurement tool developed, a skill test consisting of questions equivalent, and a valid and reliable psychometric scale. The validity and reliability analyses of the web application were made with data obtained from the psychometric scale and skill test used in the research. The questions in the skills test are prepared to have the same properties as the questions prepared for the online platform. Although the questions in the web application and the questions in the skills test are completely different from each other, they are expected to measure the same skills. The developed performance-based measurement tool has 12 questions covering 7 different skills. The questions can be answered in different ways according to the answer expected from the participant. In other words, the participants are required to perform a number of interactive operations such as drag-and-drop, flip, and mark during the question answering phase. At the stage of preparing the questions, expert opinions and sources obtained from the literature took an important position. Each of the questions, consisting of different difficulty levels, was automatically evaluated over 10 points. Therefore, a participant who correctly answers all the questions in the developed performance-based measurement tool can receive a maximum of 120 points. Besides, the data collection process consists of two stages. In the first phase, 156 high school students completed statements on the psychometric scale and then answered the questions on the web app which is a performance-based measurement tool. In the second phase, 47 high school students answered multiple-choice questions in the skill test in the form of paper and pencil immediately after completing the psychometric scale. At the same time, the students answered 12 questions in the web application. In other words, the study group consists of 203 high school students. In this context, statistical analyses were carried out with data obtained from three different data collection tools. As a result of the normality analysis conducted on the obtained data, it was determined that the data showed a normal distribution. However, since the number of samples in each category included in the second stage did not meet the assumptions in parametric tests, non-parametric tests were used. Independent Sample T-test, One-Way ANOVA test, and Tukey HSD test were used for parametric tests. For non-parametric tests, Kruskal-Wallis and Mann-Whitney U tests were used. Besides, Velicer's MAP Test and Horn's Parallel Analysis Test were used for exploratory factor analysis of the developed interactive web application. Cronbach's Alpha test and Spearman-Brown test were applied for reliability studies. In the context of convergent validity, a bivariate correlation test was used. As a result of all the analyses, a valid and reliable performance-based online platform has been developed for measuring computational thinking skills. According to the results obtained in the analyses, it was found that the computational thinking skill levels of high school students in the study group were medium-level. Besides, students' computational thinking levels were examined based on gender, class level and school type variables. As a result of the examination, students' computational thinking skill levels did not differ by gender in the context of the web application and skill test tools, while the results obtained from the psychometric scale differed significantly in favor of male students. While no significant differences were found in terms of psychometric scale and web application when examined specifically for class levels, significant differences were found in favor of 12th grade in the data collected from the skill test. Finally, as a result of analyses conducted in the context of the school type, significant differences were observed for the web application and skill test measurement tools, while no differences were found for the psychometric scale by school type. It has also been concluded that the performance-based measurement tool makes a better measurement than the psychometric scale.