CLASS OBSERVATION PROTOCOL (COP) FOR SPORTS EDUCATION: VALIDITY AND RELIABILITY

Authors

DOI:

https://doi.org/10.22481/rpe.v16i43.6606

Keywords:

Educational Measurement, Psychometrics, Reproducibility of Results

Abstract

The Programa Segundo Tempo, aiming to quantify the adhesion of its teachers to the metodology of the program in them classes, created the Classroom Observation Protocol (COP). The POA has items that contemplate aspects that should be present in a class focused on sports education. It was created both to evaluate classes and to be used as an educational guide to plan and improve classes. Due to the need to measure the psychometric qualities of this instrument, this study aims to test the validity criteria, internal consistency and intra and interobserver reproducibility of the measures obtained by the COP. To establish the validity criteria, two video classes were assessed, the scores obtained were compared with the template. Regarding the interobserver reliability, the values referring to the video classes observation performed by each evaluator were compared. Regarding to the intraobserver reliability, a calculation based in a second observation of the same evaluator about the same video class in a different moment was made. After the analysis of the results, the measures of the COP presented a good reliability (Cronbanch Alpha – 0,90; Interobserver reproducibility with ICC between 0,89 and 0,91; Intraobserver reproducibility with 11 of 22 items presenting significative p value); nevertheless, concerning the validity criteria, only 5 items presented concordance above 50%. Thus, the POA brings good prospects for application and great potential for impact in the field of sports education, but it is necessary a reinforcement its training, in order to strengthen the assessment criteria.

Downloads

Download data is not yet available.

Metrics

Metrics Loading ...

Author Biographies

Maria Jullyanne Cavalcanti de Brito, Universidade Federal do Rio de Janeiro - Brasil

Doutoranda em Educação pela Universidade Federal do Rio de Janeiro (UFRJ/BR). Membra do Laboratório de Pesquisa em Educação do Corpo (LABEC). Professora de Educação Física do ensino fundamental no município de Jaboatão dos Guararapes/PE.

Antonio Jorge Gonçalves Soares, Universidade Federal do Rio de Janeiro - Brasil

Doutor em Educação Física pela Universidade Gama Filho (UGF/BR), com pós-doutorado pela Faculdade de Desporto da Universidade do Porto (FADEUP/PT). Professor do Programa de Pós-Graduação em Educação da Universidade Federal do Rio de Janeiro (UFRJ). Líder do Laboratório de Pesquisa em Educação do Corpo (LABEC). Pesquisador do CNPq. Bolsista de Produtividade. 

Tony Meireles Santos, Universidade Federal de Pernambuco - Brasil

Doutor em Educação Física pela Universidade Gama Filho (UGF/BR). Professor do Programa de Pós-Graduação em Educação Física da Universidade Federal de Pernambuco (UFPE/BR). É coordenador do Núcleo de Investigação em Performance e Saúde e membro do grupo de pesquisa Performance e de Estudos em Psicofisiologia do Exercício.

Vinícius Damasceno de Oliveira, Universidade Federal de Pernambuco - Brasil

Doutor em Ciências da Saúde pela Universidade Federal de Minas Gerais (UFMG/BR). Professor do Programa de Pós-Graduação em Educação Física da Universidade Federal de Pernambuco (UFPE/BR).

References

BOSTON, Melissa; CANDELA, Amber. The Instructional Quality Assessment as a tool for reflecting on instructional practice. ZDM - Mathematics Education, Hamburgo, v. 50, n. 3, p. 427–444, jan./jun. 2018.
BRASIL. Parâmetros curriculares nacionais: Educação Física. Brasília: MEC/Secretaria de Educação Fundamental, 1997.
BRASIL. Parâmetros Curriculares Nacionais: Ensino Médio. Brasília: MEC/ Secretaria de Educação Fundamental, 2000.
CHEN, Weiyun; HENDRICKS, Kristen; ARCHIBALD, Kelsi. Assessing pre-service teachers’ quality teaching practices. Educational Research and Evaluation, Ann Arbor, v. 17, n. 1, p. 13–32, mai./jun. 2011. Disponível em: < https://www.researchgate.net/publication/232931305_Assessing_pre-service_teachers%27_quality_teaching_practices>. Acesso em: 28 maio 2020.
COHEN, Julie; SCHULDT, Lorien Chambers; BROWN, Lindsay; GROSSMAN, Pam. Leveraging observation tools for instructional improvement: Exploring variability in uptake of ambitious instructional practices. Teachers College Record, Colúmbia, v. 118, n. 11, p. 1–36, 2016.
DARIDO, Suraya Cristina; OLIVEIRA, Amauri Aparecido Bássoli. Procedimentos Metodológicos para o Programa Segundo Tempo. In: OLIVEIRA, Amauri Aparecido Bássoli; PERIM, Gianna Lepre (Org.). Fundamentos Pedagógicos do Programa Segundo Tempo: da reflexão à prática. 1. ed. Maringá: Eduem, 2008. p. 207–236.
ECKES, Thomas. On commonn ground? How raters perceive scoring criteria in oral proficiency testing. In: BROWN, Anie; HILL, Kathryn (Org.). Tasks and Criteria in Performance Assessment. Cracóvia: Peter Lang, 2006. 43-73.
FILGUEIRA, Julio Cesar Monzú.; PERIM, Gianna Lepre.; OLIVEIRA, Amauri Aparecido Bássoli de. Apresentação. In: OLIVEIRA, Amauri Aparecido Bássoli; PERIM, Gianna Lepre (Org.). Fundamentos Pedagógicos do Programa Segundo Tempo: da reflexão à prática. Maringá: Eduem, 2009. p. 7–16.
FREDMAN, Tracy. Teacher Work Sample Methodology: Implementation and Practical Application in Teacher Preparation. Action in Teacher Education, Oklahoma v. 26, n. 1, p. 3–11, jan. 2004.
GOELLNER, Silvana Vilodre. Corpo, gênero e sexualidade: educando para a diversidade. In: OLIVEIRA, Amauri Aparecido Bássoli; PERIM, Gianna Lepre (Org.). Fundamentos Pedagógicos do Programa Segundo Tempo: da reflexão à prática. Maringá: Eduem, 2009. p. 73–88.
GRAÇA, Amândio; MESQUITA, Isabel. A investigação sobre os modelos de ensino dos jogos desportivos. Revista Portuguesa de Ciências do Desporto, Porto, v. 7, n. 3, p. 401–421, dez./set. 2007. Disponível em: < http://www.scielo.mec.pt/scielo.php?script=sci_abstract&pid=S1645-05232007000300014&lng=pt&nrm=i>. Acesso em: 28 maio 2020.
GRECO, Pablo Juan; SILVA, Siomara; SANTOS, Lucídio Rocha. Organização e Desenvolvimento Pedagógico do Programa Segundo Tempo. In: OLIVEIRA, Amauri Aparecido Bássoli; PERIM, Gianna Lepre (Org.). Fundamentos Pedagógicos do Programa Segundo Tempo: da reflexão à prática. Maringá: Eduem, 2009. p. 163–206.
HAKEL, Milton; KOENIG, Judith Anderson Koenig; ELLIOTT, Stuart. Assessing accomplished teaching: advanced-level certification programs. Washington: The National Academies PRESS, 2008.
HILL, Heather; BLUNK, Merrie Blunk; CHARALAMBOS, Charalambos; LEWIS, Jennifer, PHELPS, Geoffrey; SLEEP, Laurie; BALL, Deborah Loewenberg. Mathematical knowledge for teaching and the mathematical quality of instruction: An exploratory study. Cognition and Instruction, Cambridge, v. 26, n. 4, p. 430–511, 2008. Disponível em: < https://www.researchgate.net/publication/247502158_Mathematical_Knowledge_for_Teaching_and_the_Mathematical_Quality_of_Instruction_An_Exploratory_Study>. Acesso em: 28 maio 2020.
HOFFMAN, J. V. et al. The Effective Elementary Classroom Literacy Environment: examining the validity of the TEX-IN3 observation system. Journal of Literacy Research, Austin, v. 36, n. 3, p. 303–334, set. 2004. Disponível em: < https://journals.sagepub.com/doi/pdf/10.1207/s15548430jlr3603_3>. Acesso em: 28 maio 2020.
KELCEY, Ben. Noninvariant Measurement in Rater-Mediated Assessments of Teaching Quality. Society for Research on Educational Effectiveness. Disponível em: <https://eric.ed.gov/?q=cross-classified+multilevel+model&id=ED562804>. Acesso em 27 mai. 2020.
KIRK, David; MACPHAIL, Ann. Teaching Games for Understanding and situated learning: Rethinking the Bunker-Thorpe model. Journal of Teaching in Physical Education, Loughborough, v. 21, n. 2, p. 177–192, Jan. 2002. Disponível em: < https://www.researchgate.net/publication/44164225_Teaching_Games_for_Understanding_and_Situated_Learning_Rethinking_the_Bunker-Thorpe_Model>. Acesso em 28 maio 2020.
KOO, Terry; LI, Mae. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, Nova York, v. 15, n. 2, p. 155–163, jul./nov. 2016.
LEONARDO, Lucas; SCAGLIA, Alcides José; REVERDITO, Riller Silva. O ensino dos esportes coletivos: metodologia pautada na família dos jogos. Motriz Revista de Educação Física. (Impr.), São Paulo, v. 15, n. 2, p. 236–246, abr./jun. 2009. Disponível em: < https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwigqry_xNbpAhVeCrkGHa7ZAhgQFjAAegQIBBAB&url=http%3A%2F%2Fwww.periodicos.rc.biblioteca.unesp.br%2Findex.php%2Fmotriz%2Farticle%2Fview%2F2177%2F2285&usg=AOvVaw1x-GoLKb4B96EZ6WoOQIgJ>. Acesso em 28 maio 2020.
LIGHT, Richard; CURRY, Christina; MOONEY, Amanda. Game sense as a model for delivering quality teaching in physical education. Asia-Pacific Journal of Health, Sport and Physical Education, Vitória, v. 5, n. 1, p. 67–81, fev. 2014.
LORSON, Kevin. Making Teacher Work Samples “Work” for Accreditation. Journal of Physical Education, Recreation & Dance, v. 81, n. 2, p. 54–58, fev. 2010. Disponível em: <https://www.tandfonline.com/doi/abs/10.1080/07303084.2010.10598436>. Acesso em: 28 maio 2020.
MARQUES, Alexandre Carriconde; CIDADE, Ruth Eugênia; LOPES, Kathya Augusta Thomé. Questões da deficiência e as ações no Programa Segundo Tempo. In: OLIVEIRA, Amauri Aparecido Bássoli; PERIM, Gianna Lepre (Org.). Fundamentos Pedagógicos do Programa Segundo Tempo: da reflexão à prática. Maringá: Eduem, 2009. p. 115–162.
MCBRIDE, Ron. Critical Thinking: an overview with implications for Physical Education. Journal of Teaching in Physical Education, Texas, v. 11, n. 2, p. 112–125, 1991.
MUIJS, Daniel; REYNOLDS, David. Student Background and Teacher Effects on Achievement and Attainment in Mathematics: A Longitudinal Study. Educational Research and Evaluation, Coventry, v. 9, n. 3, p. 289–314, ago. 2003.
PASQUALI, Luiz. Introdução à Análise Fatorial. In: Psicometria: teoria dos testes na psicologia e na educação. 2 ed. Petrópolis: Vozes 2003.
PIANTA, Robert. C.; HAMRE, Bridget; MINTZ, Susan. Classroom Assessment Scoring System [CLASS] manual, Upper Elementary. v. 6, p. 115–126, 2012. Disponível em: <http://cdn2.hubspot.net/hubfs/336169/Technical_Manual.pdf>. Acesso em maio 2020.
REICHENHEIM, Michael Eduardo; MORAES, Claudia Leite. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Revista de Saúde Pública, Rio de Janeiro, v. 41, n. 4, p. 665–673, jan./abr. 2007. Disponível em: < https://www.scielo.br/scielo.php?pid=S0034-89102007000400024&script=sci_arttext&tlng=pt>. Acesso: 28 maio 2020.
RESNICK, Lauren; MATSUMURA, Lindsay Clare. Mathematics Instruction in Urban Middle Schools: a pilot study of the instructional quality assessment. Los Angeles: The Regents of the University of California, 2006.
REVERDITO, Riller Silva; SCAGLIA, Alceides José. A gestão do processo organizacional do jogo: uma proposta metodológica para o ensino dos jogos coletivos. Motriz, Rio Claro, v. 13, n. 1, p. 51–63, jan./mar. 2007. Disponível em: < http://multimidia.curitiba.pr.gov.br/2016/00178172.pdf>. Acesso em: 28 maio 2020.
ROTTMANN, Hans Gert; RATTO, Cleber Gibbon. Educação Física: repensando práticas pedagógicas, sociabilidades e esporte na cultura contemporânea. Práxis Educacional, Vitória da Conquista. v. 14, n. 28, p. 374–393, abr./jun. 2018. Disponível em: < http://periodicos2.uesb.br/index.php/praxis/article/view/3476>. Acesso em: 28 maio 2020.
SAWADA, Dayo; TURLEY, Jeff; FALCONER, Katheleen; BENFORD, Russell; BLOOM, Irene. Measuring Reform Practices in Science and Mathematics Classrooms: the reformed teaching observation protocol. School Science and Mathematics, Arizona, v. 102, n. 6, p. 245–253, out. 2002.
SCAGLIA, Alcides José; REVERDITO, Riller Silva; LEONARDO, Lucas; LIZANA, Cristian Javier Ramirez. O ensino dos jogos esportivos coletivos: as competências essenciais e a lógica do jogo em meio ao processo organizacional sistêmico. Movimento, Campinas, v. 19, n. 4, p. 227–249, out./dez. 2013. Disponível em: < https://seer.ufrgs.br/Movimento/article/view/37893>. Acesso em: 28 maio 2020.
SILVA, Júlio Manuel Garganta da. O ensino dos jogos desportivos coletivos: perspectivas e tendências. Movimento, Campinas, v. 4, n. 8, p. 19–27, jan. 1998. Disponível em: < https://seer.ufrgs.br/Movimento/article/view/2373>. Acesso em: 28 maio 2020.
SOARES, Antonio Jorge Gonçalves; BRITO, Maria Jullyanne Cavalcanti de; SANTOS, Tony Meireles. OLIVEIRA, Amauri Aparecido Bassoli; CARDOSO, Marcelo Silva; VIEIRA, José Luiz Lopes; COSTA, Luciane Cristina Arantes da; DAMASCENO, Vinícius de Oliveira. Concepção e Validação do Protocolo de Observação de Aula (POA) do Programa Segundo Tempo. Journal of Physical Education, Maringá, v. 28, n. 1, p. 1–12, dez. 2017. Dispnível em: < http://www.periodicos.uem.br/ojs/index.php/RevEducFis/article/view/39949>. Acesso em: 28 maio 2020.
STECHER, Brian; BORKO, Hilda; KUFFNER, Karin; MARTINEZ, Felipe; ARNOLD, Suzanne; BARNES, Dionne; CREIGHTON, Laura; GILBERT, Lou. Using Artifacts to Describe Instruction: lessons learned from studying reform-oriented instruction in middle school mathematics and science. Los Angeles: The Regents of the University of California, 2007.
STREINER, David. Being Inconsistent About Consistency: when coefficient alpha does and doesn’t matter. Journal of Personality Assessmente, Filadélfia, v. 80, n. 3, p. 217–222, jun. 2003.
STREINER, D. L.; NORMAN, G. R. Health measurement scales a practical guide to their development and use. 5. ed. USA: OUP Oxford, 2015.

Published

2020-12-01

How to Cite

BRITO, M. J. C. de; SOARES, A. J. G.; SANTOS, T. M.; OLIVEIRA, V. D. de. CLASS OBSERVATION PROTOCOL (COP) FOR SPORTS EDUCATION: VALIDITY AND RELIABILITY. Práxis Educacional, Vitória da Conquista, v. 16, n. 43, p. 366-387, 2020. DOI: 10.22481/rpe.v16i43.6606. Disponível em: https://periodicos2.uesb.br/index.php/praxis/article/view/6606. Acesso em: 24 aug. 2024.