Thematic Content Analysis of Studies Using Generalizability Theory

Main Article Content

Gülşen Taşdelen Teker Neşe Güler https://orcid.org/0000-0002-2836-3132

Abstract

One of the important theories in education and psychology is Generalizability (G) Theory and various properties distinguish it from the other theories. To better understand methodological trends of G theory, a thematic content analysis was conducted. This study analyzes the studies using generalizability theory in the field of education in Turkey by using the method of thematic content analysis. It reviews 60 studies, including 31 articles and 29 theses published in 2004–2017. The selected studies underwent thematic content analysis using parameters including study tag, aim, G Theory type, number of facets, Turkish word for “facet,” object of measurement, sample size, design type, mixed-design availability, shared results of G and D studies, computer programs, method of calculating negative variance, availability of fixed facets, and design balance. The data were interpreted on the basis of frequencies; both table and figures are included in the study. The results showed that an increase was observed in the number of studies conducted by using the G theory by years. Many compare theories; most use univariate G Theory and consider two-faceted measurement situations. While a small subset of studies features mixed design, a large group features crossed design, with individuals as the object of measurement. The computer program most commonly used in analyses is EduG. The majority of studies uses balanced design. These results have produced recommendations for practitioners interested in conducting research using G theory.

Article Details

How to Cite
Taşdelen Teker, G., & Güler, N. (2019). Thematic Content Analysis of Studies Using Generalizability Theory. International Journal of Assessment Tools in Education, 6(2), 279-299. Retrieved from http://ijate.net/index.php/ijate/article/view/702
Section
IJATE_Articles

References

Arık, R. S. & Türkmen, M. (2009). Eğitim bilimleri alanında yayımlanan bilimsel dergilerde yer alan makalelerin incelenmesi. I. Uluslararası Türkiye Eğitim Araştırmaları Kongresi’nde sunulan bildiri. Çanakkale Onsekiz Mart Üniversitesi, Çanakkale.
Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış Doktora Tezi, Hacettepe Üniversitesi, Ankara.
Atılgan, H. (2013). Sample size estimation of G and Phi coefficients in generalizability theory. Eurasian Journal of Educational Research, 51, 215–228.
Au, W. (2007). High-stakes testing and curricular control: A qualitative metasynthesis. Educational Researcher, 36, 258–267.
Bektaş, M., Dündar, H. & Ceylan, A. (2013). Ulusal sınıf öğretmenliği eğitimi sempozyumu (USOS) bildirilerinin çeşitli değişkenler açısından incelenmesi. Uşak Üniversitesi Sosyal Bilimler Dergisi, 6(2), 201–226. DOI: http://dx.doi.org/10.12780/UUSBD167
Bloch, R. & Norman, G. (2011). G String 4 User Manual (Version 6.1.1). Hamilton, Ontario, Canada: Web: http://fhsperd.mcmaster.ca/g_string/download/g_string_4_manual_ 611.pdf adresinden 10 Mayıs 2013'te alınmıştır.
Brennan, R. L. (2011). Generalizability Theory and Classical Test Theory. Applied Measurement in Education, 24, 1–21.doi:10.1080/08957347.532417.
Brennan, R. L. (2001). Generalizability Theory. New York: Springer-Verlag.
Brennan, R. L. (1997). A perspective on the history of Generalizability Theory. Educational Measurement: Issues and Practice, 16(4), 14–20. https://doi.org/10.1111/j.1745-3992.1997.tb00604.x
Brennan, R. L. (1992). Elements of Generalizability Theory. NY: Springer-Verlag.
Çalık, M. & Sözbilir, M. (2014). İçerik analizinin parametreleri. Eğitim ve Bilim, 39(174), 33–38. doi:10.15390/EB.2014.3412
Çiltaş, A. (2012). 2005–2010 yılları arasında matematik eğitimi alanında Türkiye’de yapılan yüksek lisans ve doktora tez çalışmalarının içerik analizi. The Journal of Academic Social Science Studies, 5(7), 211–228.
Çiltaş, A., Güler, G. & Sözbilir, M. (2012). Türkiye’de matematik eğitimi araştırmaları: bir içerik analizi çalışması. Kuram ve Uygulamada Eğitim Bilimleri, 12(1),565–580.
Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması. Yayınlanmamış Doktora Tezi, Ankara Üniversitesi, Ankara.
Doğru, M., Gençosman, T., Ataalkın, A. N. & Şeker, F. (2012). Fen bilimleri eğitiminde çalışılan yüksek lisans ve doktora tezlerinin analizi. Türk Fen Eğitimi Dergisi, 9(1), 49–64.
Finfgeld, D. L. (2003). Metasynthesis: The state of the art-so far. Qualitative Health Research, 13(7), 893–904. DOI: 10.1177/1049732303253462
Göktaş, Y., Küçük, S., Aydemir, M., Telli, E., Arpacık, Ö., Yıldırım, G. ve Reisoğlu, İ. (2012). Educational technology research trends in Turkey: a content analysis of the 2000–2009 decade. Educational Sciences: Theory & Practice, 12(1), 191–196.
Gülbahar, Y. & Alper, A. (2009). Trends and issues in educational technologies: A review of recent research in TOJET. The Turkish Online Journal of Educational Technology – TOJET, 8(2).
Güler, N., Kaya Uyanık, G. ve Taşdelen Teker, G. (2012). Genellenebilirlik Kuramı. PegemA Yayıncılık, Ankara.
Güler, N. (2008). Klasik test kuramı, Genellenebilirlik kuramı ve Rasch modeli üzerine bir araştırma. Yayımlanmamış Doktora Tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
Günay, R. & Aydın, H. (2015). Türkiye’de Çok kültürlü Eğitim İle İlgili Yapılan Araştırmalarda Eğilim: Bir İçerik Analizi Çalışması. Eğitim ve Bilim, 40 (178), 1–22. DOI: http://dx.doi.org/10.15390/EB.2015.3294
Hambleton, R. K., & Jones, R. W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 3847. http://dx.doi.org/10.1111/j.1745-3992.1993.tb00543.x
Kaleli Yılmaz, G. (2015). Türkiye’deki Teknolojik Pedagojik Alan Bilgisi Çalışmalarının Analizi: Bir Meta-Sentez Çalışması. Eğitim ve Bilim, 40 (178), 103–122. DOI: http://dx.doi.org/10.15390/EB.2015.4087
Karadağ, E. (2009). Eğitim bilimleri alanında yapılmış doktora tezlerinin incelenmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 10(3), 75–87.
Kılıç Çakmak, E., Çebi, A., Mihçi, P., Günbatar, M. S. & Akçayir, M. (2013). A content analysis of educational technology research in 2011. 4th International Conference on New Horizons in Education. INTE 2013 Proceedings Book, 397–409.
Miles, M, B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded Sourcebook. (2nd ed). Thousand Oaks, CA: Sage.
Patton, M.Q. (2002). Qualitative research and evaluation methods (3rd Ed.). London: Sage Publications, Inc.
Rios, J.A., Li, X., & Faulkner-Bond, M. (2012, October). A review of methodological trends in generalizability theory. Paper presented at the annual conference of the Northeastern Educational Research Association, Rocky Hill, CT.
Saban, A. (2009). Çoklu zekâ kuramı ile ilgili Türkçe çalışmaların içerik analizi. Kuram ve Uygulamada Eğitim Bilimleri, 9(2), 833–876.
Shavelson, R. J. & Webb, N. M. (1991). Generalizability theory: A primer. Newbury Park, CA: Sage.
Yalçın, S., Yavuz, H. Ç. & İlgün Dibek, M. (2015). En Yüksek Etki Faktörüne Sahip Eğitim Dergilerindeki Makalelerin İçerik Analizi. Eğitim ve Bilim, 40 (182), 1–28. DOI:10.15390/EB.2015.4868
Walsh, D. ve Downe, S. (2005). Meta-synthesis method for qualitative research: A literature review. Journal of Advanced Nursing, 50(2), 204–211.
Webb, N. M., Rowley, G. L., & Shavelson, R. J. (1988). Using generalizability theory in counseling and development. Measurement and Evaluation in Counseling and Development, 21, 81–90.