Diagnóstico de modelos de yeso vs digitales: exactitud y fiabilidad en la comparación del Análisis de Bolton y sus mediciones correspondientes

    Salinas V. Pamela J.*, Pinos L. Adrian G.**, Bravo C. Manuel E.***

RESUMEN
En la actualidad el uso de herramientas más sofisticadas en ortodoncia como son los programas de computadora y los modelos de estudio digitales, ha brindado mayores facilidades en el diagnóstico, planificación de un tratamiento y la fabricación de aparatología; cambiando la forma tradicional de medirlos, además de eliminar las desventajas que representa el almacenamiento físico de los mismos.

El objetivo de este estudio fue comparar el grado de exactitud y fiabilidad del índice de Bolton y sus mediciones correspondientes entre los métodos manual y digital de modelos de estudio. El trabajo incluyó 50 modelos de estudio de pacientes del postgrado de ortodoncia de la Universidad de Cuenca, los cuales para la medición manual (estándar dorado) se empleó un calibrador digital tipo Vernier Mitutoyo de 0.01mm de precisión. Para el método digital se empleó un escáner de Laser óptico Optical RevEng y para las mediciones un programa de diagnóstico ortodóntico Nemocast 3D. La reproducibilidad entre los métodos se calculó a través de la prueba t de Student, su fiabilidad mediante el coeficiente de correlación de Pearson's. El nivel de significancia estadística se estableció en 0.05. Resultados: Todos los resultados presentaron una excelente correlación entre ambos métodos, la prueba t indicó que existen diferencias significativas entre ambos métodos a excepción de la suma anterior inferior y el Bolton anterior.

Conclusión: A pesar de que la reproducibilidad de ambos métodos mostró en su mayoría diferencias estadísticamente significativas, la precisión, exactitud y fiabilidad de los dos métodos fue alta y sus diferencias clínicamente irrelevantes.

Palabras claves: modelo digital, modelo de estudio, índice Bolton, precisión, fiabilidad.


ABSTRACT
Actually the use of more sophisticated tools in orthodontics such as digital software and digital studio models, has provided greater facility for the diagnosis, treatment planning and manufacture of appliances; changing the traditional approach to measurement, and eliminate the disadvantages that represents the physical storage.

The aim of this study was to compare the accuracy and reliability of Bolton index and corresponding measurements between manual and digital methods of study models. The study included 50 patient study models of orthodontic postgraduate of the University of Cuenca, whereby for the manual measuring (gold standard) was employed a digital Vernier caliper Mitutoyo with 0.01mm accuracy. For digital method was used an optical laser scanner Optical RevEng and the measurements with an orthodontic software Nemocast 3D. The reproducibility of both methods was calculated by Student's t test, and reliability by Pearson's correlation coefficient. The statistical significance level was set at 0.05. Results: All results showed excellent correlation of both methods, the t test indicated that there are significant differences between the two methods except anteroinferior sum and anterior Bolton.

Conclusion: Although the reproducibility of both methods showed mostly statistically significant differences; precision, accuracy and reliability of the two methods was high and clinically irrelevant.

Keywords: digital model, study model, Bolton index, accuracy, reliability.



INTRODUCCIÓN:

Los modelos de estudio juegan un papel muy importante dentro de un tratamiento ortodóntico ya que son fundamentales para el diagnóstico, planificación y evolución del tratamiento, éstos nos permiten tener un registro en tres dimensiones de las características dentales y oclusales de cada paciente como tamaño de los dientes, apiñamiento, overjet, overbite, análisis de discrepancia y el análisis de Bolton, etc. Estos índices los obtenemos gracias a mediciones dentales con calibradores que nos proporcionan datos exactos, dándonos parámetros en las medidas mesio-distales de los dientes. 1,2

Gracias al avance de la tecnología digital, ésta ha hecho cambios significativos en la ortodoncia, los registros tradicionales como historias, fotografías, radiografías y modelos están siendo reemplazados digitalmente, facilitando la obtención de datos del diagnóstico de una manera más rápida, y una fácil visualización de cualquiera de los registros del paciente, eliminando las limitaciones que genera el almacenamiento físico de los mismos, especialmente de los modelos de yeso, que por su material poseen muchas desventajas; además esto nos brinda la posibilidad de intercambio de información e interconsulta por internet con otros profesionales de una manera rápida en cualquier parte del mundo.2,3,4,5


MATERIALES Y MÉTODOS

  • Calibrador: tipo vernier marca Mitutoyo (Mitutoyo Co, Kanagawa, Japón). de puntas modificadas con 0.01mm de precisión.

    Figura 15
    Calibrador digital tipo vernier

  • Escáner Digital de Laser Óptico: 3D Dental Scanner marca Optical RevEng (Open Tecnologies, Rezzato, Italia)

    Figura 16
    Escáner digital de laser óptico

  • Software de Diagnóstico Ortodóntico Digital: marca Nemocast 3D versión 11.3.1, 2013 (Nemotec, Madrid, España)

    Figura 17
    Software de diagnóstico digital Nemocast 3D

    Método manual.- fue llevado a cabo por un ayudante previamente calibrado con la ayuda del investigador principal, él mismo que realizó mediciones previas en cinco muestras de modelos de yeso para determinar veracidad en las mediciones. Las medidas se realizaron con abordaje lateral, por tanto con vista desde oclusal del modelo de estudio, colocando las puntas del calibrador formando un ángulo recto con el eje axial de la pieza dentaria a medir y con el mango del instrumento paralelo a la cara oclusal de la misma. Las mismas que se efectuaron tomando los diámetros mesiodistales de cada una de las piezas incluidas en los índices, obtuvimos por la mayor distancia entre los puntos de contacto de las superficies proximales de cada diente, Los dientes medidos fueron de primer molar del lado derecho a primer molar del lado izquierdo; mediante el empleo de un calibrador digital tipo Vernier marca Mitutoyo modelo NTD12-15PMX 500-143B modificado con las puntas más estrechas precisión de 0,01mm.

    Figura 1
    Medición manual posterior

    Figura 2
    Medición manual anterior

    Método Digital.- se realizó con el investigador principal el cual primero efectuó la respectiva prueba piloto del análisis.

    1. Digitalización de los modelos por medio del escáner 3d, y transformación a formato SLT

      Figura 3
      Escaneo y Digitalización de modelos

    2. Ingreso de datos y preparación de los modelos digitales con el programa Nemocast 3d, donde seguimos una secuencia ordenada de pasos.

      b1. Orientación en los tres ejes espaciales X, Y, Z.

      Figura 4
      Orientación espacial del modelo digital

      b2. Colocación de los planos oclusales y rafe medio

      Figura 5
      Colocación de plano oclusal y rafe medio

      b3. Marcación de los puntos mesio distales de cada una de las piezas incluidas dentro del análisis


      Figura 6
      Marcación de puntos digitales

      b4. Zocalado de los modelos, el programa lo realiza con las normas ABO

      b4. Zocalado de los modelos, el programa lo realiza con las normas ABO

      b5. Modelo digitalizado, el programa nos proporcionó de forma automatizada cualquier dato requerido para diagnóstico

      Figura 8
      Resultado final con medidas e índices


    RESULTADOS:

    Pruebas de Normalidad


    En la tabla 1: las pruebas de normalidad asumimos la de Shapiro Wilk ya que la muestra en cada uno de los grupos es de 50 pacientes, en la que se muestran los valores de "P" valor nos indica que los datos provienen de una distribución normal.

    Tabla 2
    Suma anterior superior manual contra digital
    Prueba "T" de muestras relacionadas
    SASM: suma anterior superior manual
    SASD: suma anterior superior digital
    ** estadísticamente significativo

    En la tabla 2 se describen los resultados de la suma anterior superior del método manual contra el digital, la prueba "T" de Student de muestras relacionadas dio que existe diferencias significativas entre los dos métodos (t: -2,601 gl: 49; p: ,012) con un nivel de significancia del 0.05.

    Tabla 3
    Suma anterior inferior manual contra digital
    SAIM: suma anterior inferior manual
    SAID: suma anterior inferior digital
    * estadísticamente no significativo

    En la tabla 3 se describen los resultados de la suma anterior inferior del método manual contra el digital, la prueba "T" de Student de muestras relacionadas dio como resultado que no existe diferencias significativas entre los dos métodos (t: -1,434; gl: 49; p: ,158) con un nivel de significancia del 0.05.

    Tabla 4
    Bolton Anterior manual contra digital
    BAM: Bolton anterior manual
    BAD: Bolton anterior digital
    * estadísticamente no significativo

    En la tabla 4 se describen los resultados del índice de Bolton con el método manual en comparación con el digital, la prueba "T" de Student de muestras relacionadas indicó que no existe diferencias significativas entre los dos métodos (t: ,903; gl: 49; p: ,371) con un nivel de significancia del 0.05.

    Tabla 5
    Suma total superior manual contra digital
    STSM: suma total superior manual
    STSD: suma total superior digital
    ** estadísticamente significativo

    En la tabla 5 se describen los resultados de la suma total superior del método manual contra el digital, la prueba "T" de Student de muestras relacionadas indicó que existe diferencias significativas entre los dos métodos (t: -2,612; gl: 49; p: ,012) con un nivel de significancia del 0.05.

    Tabla 6
    Suma total Inferior manual contra digital
    Prueba de muestras relacionadas
    STIM: suma total inferior manual
    STID: suma total inferior digital
    ** estadísticamente significativo

    En la tabla 6 se describen los resultados de la suma total inferior del método manual contra el digital, la prueba "T" de Student de muestras relacionadas indicó que existe diferencias significativas entre los dos métodos (t: -3,909; gl: 49; p: ,000) con un nivel de significancia del 0.05.

    Tabla 7
    Bolton Total Manual contra Digital
    BTM: Bolton total manual
    BTD: Bolton total digital
    ** estadísticamente significativo

    En la tabla 7 se describen los resultados del índice de Bolton con el método manual en comparación con el digital, la prueba "T" de Student de muestras relacionadas indicó que existe diferencias significativas entre los dos métodos (t: -2,640; gl: 49; p: ,011) con un nivel de significancia del 0.05.


    DISCUSIÓN:

    En este estudio se comparó dos métodos de medición de modelos, manual y digital; se demostró la fiabilidad y precisión del uso de modelos digitales contra los modelos tradicionales de yeso. Varios estudios se han realizado con el fin de comparar ambos métodos 1,2,3,4,5,7,8,9,11,13,16,17,20. Referencias con las que se comparan esta investigación reportan diferencias estadísticamente significativas, pero clínicamente irrelevantes 1,4,5,7,9,11,13,17, las cuales coinciden con la presente. Otros reportes indican que no existen diferencias tanto estadísticas como clínicas 8,16,20

    Tomassetti (2001)3 y El-Zanaty (2010)14 indicaron una excelente concordancia entre ambos métodos. En ésta investigación, los resultados del coeficiente de correlación R² y los gráficos de regresión lineal, el más bajo fue en el Bolton total (BTM-BTD) de 0.768; y el más alto en la suma total superior (STSM-STSD) de 0.928, teniendo una excelente concordancia tanto para los modelos de yeso como para los digitales. Considerando en ortodoncia un nivel de fiabilidad según los autores Roberts y Richmond 46, sugiriendo que valores por debajo de 0,4 es de escasa fiabilidad, entre 0,4 y 0,75 es de regular a buena, y por encima de 0,75 es excelente.

    En las investigaciones revisadas se emplearon programas computarizados para la medición digital de modelos como: OrthoCAD (Cadent, Carlstadt, NJ)1,2,8. Zilberman2 comparó dicho programa (c) con dos grupos de muestras; modelos artificiales (a) y duplicados en yeso de los mismos (b). Todos los grupos estuvieron altamente correlacionados, (a y b) R= 0,929-0,998; (c y a) R= 0,784-0,976; (c y b) R= 0,763-0,975. En el presente estudio, un valor entre 0.768 y 0.928, de igual manera nos indica su alta relación.

    Según Stevens8 los índices de Bolton anterior y total, no fueron estadísticamente significativos, P= ,790 y P=, 084, respectivamente. Las diferencias en las sumas anteriores maxilares y mandibulares entre modelos de yeso y digitales fueron significativas P=, 0125, al igual que las sumas totales superiores e inferiores. P= ,226 y P= ,256. Con respecto a esta tesis, se encontraron valores tanto estadísticamente significativos: (suma anterior superior) P= ,012; (suma total superior) P= ,012; (suma total infeiror) P= ,000; (Bolton Total) P= ,011. Como valores estadísticamente no significativos: (suma anterior inferior) P= ,158; (Bolton anterior) P= ,371

    Con el programa Emodel (GeoDigm, Chanhassen, Minn); Mullen9 registra valores significativos tanto en las mediciones en el arco mandibular como maxilar, entre modelos de yeso con los Emodels. P= ,0001; y también valores no significativos en el índice de Bolton calculado con los dos métodos, P= ,86.

    Gracco11 con un programa desarrollado por la Universidad de Padova Italia; Sousa16 en Bauru, Brasil con el programa Geomagic Studio 5 software, y Radeke20 con el programa OnyxCeph3TM analysis software (ImageInstruments, Chemnitz, Alemania). En sus resultados reportan que no se hallaron valores estadísticamente significativos entre mediciones físicas y digitales de modelos de diagnóstico en Ortodoncia.

    En su investigación, Nalgaci17 con el programa Ortho three?dimensional Models (O3DM); concluyó que existen diferencias estadísticamente significativas en las medidas obtenidas por ambos métodos P= ,000; en la que los modelos digitales arrojaron valores ligeramente menores que los obtenidos con los físicos. Pero los cálculos de las diferencias entre las mediciones obtenidas de Bolton anterior y total en los dos métodos, no se encontraron diferencias estadísticamente significativas P= ,688; P= ,375.

    Las razones más probables de diferencia de resultados en estos tipos de estudios tenemos en las diferentes variaciones en los programas para la medición digital; las posibles diferencias de operador en la ubicación de puntos sobre los dientes que esto a su vez, depende de muchos factores como el grado de experiencia del operador, el tamaño del monitor del computador que este proporcionará claridad en las imágenes para mayor facilidad; ya que es un paso muy importante en la medición digital de modelos. 1,8,16

    Cualquier diferencia de medidas entre los modelos de yeso y los digitales en este estudio, no se puede atribuir a materiales como el alginato, ya que los modelos digitales fueron hechos a partir de los modelos de yeso.1

    En la literatura encontramos varias revisiones sistemáticas sobre mediciones manuales en comparación con Digitales en ortodoncia: Fleming y cols15. De Luca Canto y cols22. Rossini47 en los años 2011, 2015 y 2016 respectivamente, donde concluyeron que las diferencias encontradas entre estos dos métodos son clínicamente irrelevantes, y que existe evidencia científica coherente para apoyar la validez de las mediciones de modelos dentales digitales en comparación con los manuales, por tanto se puede recomendar el uso de modelos digitales, como una alternativa a la medición tradicional.


    CONCLUSIONES:

    Con los resultados obtenidos en este estudio, se llegó a las siguientes conclusiones:

    1. Existe diferencia significativa entre SASM- SASD; STSM-STSD; STIM-STID; BTM-BTD, pero no existe diferencia significativa entre SAIM-SAID y BAM-BAD.

    2. El coeficiente de correlación R², indicó una excelente concordancia entre ambos grupos.

    3. No existió diferencia clínicamente significativa entre ambos grupos; de manera que el método de medición digital es una herramienta tan válida tanto como el método manual, en el diagnóstico y plan de tratamiento en ortodoncia

    4. La precisión, exactitud y fiabilidad de los dos métodos es alta y clínicamente aceptable.



    REFERENCIAS BIBLIOGRÁFICAS:

    1. Santoro M, Galkin S, Teredesai M, Nicolay OF, Cangialosi TJ. Comparison of measurements made on digital and plaster models. American Journal of Orthodontics and Dentofacial Orthopedics. 2003 Jul;124(1):101-5.

    2. Zilberman O, Huggare J, Parikakis KA. Evaluation of the Validity of Tooth Size and Arch Width Measurements Using Conventional and Three-dimensional Virtual Orthodontic Models. The Angle Orthodontist. 2003 Jun 1;73(3):301-6.

    3. Tomassetti JJ, Taloumis LJ, Denny JM, Fischer JR. A Comparison of 3 Computerized Bolton Tooth-Size Analyses With a Commonly Used Method. The Angle Orthodontist. 2001 Oct 1;71(5):351-7.

    4. Garino F, Garino B. "Comparison of Dental Arch Measurements Between Stone and Digital Casts". W J O 2002; Vol 3: Nº 3: 250 - 254.

    5. Quimby ML, Vig KWL, Rashid RG, Firestone AR. The Accuracy and Reliability of Measurements Made on Computer-Based Digital Models. The Angle Orthodontist. 2004 Jun 1;74(3):298-303.

    6. Hayasaki H, Martins RP, Gandini LG, Saitoh I, Nonaka K. A new way of analyzing occlusion 3 dimensionally. American Journal of Orthodontics and Dentofacial Orthopedics. 2005 Jul;128(1):128-32.

    7. Rheude B, Lionel Sadowsky P, Ferriera A, Jacobson A. An Evaluation of the Use of Digital Study Models in Orthodontic Diagnosis and Treatment Planning. The Angle Orthodontist. 2005 May 1;75(3):300-4.

    8. Stevens DR, Flores-Mir C, Nebbe B, Raboud DW, Heo G, Major PW. Validity, reliability, and reproducibility of plaster vs digital study models: Comparison of peer assessment rating and Bolton analysis and their constituent measurements. American Journal of Orthodontics and Dentofacial Orthopedics. 2006 Jun;129(6):794-803.

    9. Mullen SR, Martin CA, Ngan P, Gladwin M. Accuracy of space analysis with emodels and plaster models. American Journal of Orthodontics and Dentofacial Orthopedics. 2007 Sep;132(3):346-52.

    10. Asquith J, Gillgrass T, Mossey P. Three-dimensional imaging of orthodontic models: a pilot study. Eur J Orthod. 2007 Oct;29(5):517-22.

    11. Gracco A, Buranello M, Cozzani M, Siciliani G. Digital and plaster models: a comparison of measurements and times. Progress In Orthodontics. (2007), 8(2): 252-259

    12. Jedli?ska A. The comparison analysis of the line measurements between plaster and virtual orthodontic 3D models. Annales Academiae Medicae Stetinensis. (2008), 54(2): 106-113.

    13. Leifert MF, Leifert MM, Efstratiadis SS, Cangialosi TJ. Comparison of space analysis evaluations with digital models and plaster dental casts. American Journal of Orthodontics and Dentofacial Orthopedics. 2009 Jul;136(1):16.e1-16.e4.

    14. El-Zanaty HM, El-Beialy AR, Abou El-Ezz AM, Attia KH, El-Bialy AR, Mostafa YA. Three-dimensional dental measurements: An alternative to plaster models. American Journal of Orthodontics and Dentofacial Orthopedics. 2010 Feb;137(2):259-65.

    15. Fleming P, Marinho V, Johal A. Orthodontic measurements on digital study models compared with plaster models: a systematic review: Digital models: a systematic review. Orthodontics & Craniofacial Research. 2011 Feb;14(1):1-16.

    16. Sousa MVS, Vasconcelos EC, Janson G, Garib D, Pinzan A. Accuracy and reproducibility of 3-dimensional digital model measurements. American Journal of Orthodontics and Dentofacial Orthopedics. 2012 Aug;142(2):269-73.

    17. Nalcaci R, Kocoglu-Altan AB, Bicakci AA, Ozturk F, Babacan H. A reliable method for evaluating upper molar distalization: Superimposition of three-dimensional digital models. The Korean Journal of Orthodontics. 2015;45(2):82.

    18. Grünheid T, Patel N, De Felippe NL, Wey A, Gaillard PR, Larson BE. Accuracy, reproducibility, and time efficiency of dental measurements using different technologies. American Journal of Orthodontics and Dentofacial Orthopedics. 2014 Feb;145(2):157-64.

    19. Porto B, Porto T, Silva M, Grehs R, Pinto A, dos Santos-Pinto L, et al. Comparison of linear measurements and analyses taken from plaster models and three-dimensional images. The Journal Of Contemporary Dental Practice. (2014, Nov 1), 15(6): 681-687.

    20. Radeke J, von der Wense C, Lapatki BG. Comparison of orthodontic measurements on dental plaster casts and 3D scans. Journal of Orofacial Orthopedics / Fortschritte der Kieferorthopädie. 2014 Jul; 75 (4):264-74.

    21. Reuschl R, Heuer W, Stiesch M, Wenzel D, Dittmer M. Reliability and validity of measurements on digital study models and plaster models. European Journal Of Orthodontics. 2015, Feb 27.

    22. De Luca Canto G, Pachêco-Pereira C, Lagravere MO, Flores-Mir C, Major PW. Intra-arch dimensional measurement validity of laser-scanned digital dental models compared with the original plaster models: a systematic review. Orthodontics & Craniofacial Research. 2015 May;18(2):65-76.

    23. Uribe RG, Ortodoncia Teórica y Clínica, 2da edición, Medellín Colombia, Corporación para Investigaciones Biológicas, 2010, 93-104p

    24. Gregoret J, Ortodoncia y Cirugía Ortognática diagnóstico y planificación, 1ra edición, Barcelona, ESPAXS S.A, 1997, 46-72p

    25. Kašparová M, Procházka A, Grajciarová L, Yadollahi M, Vyšata O, Dostálová T. Evaluation of dental morphometrics during the orthodontic treatment. BioMedical Engineering OnLine. 2014;13(1):68.

    26. Keating AP, Knox J, Bibb R, Zhurov AI. A comparison of plaster, digital and reconstructed study model accuracy. Journal of Orthodontics. 2008 Sep;35(3):191-201.

    27. Horton HMI, Miller JR, Gaillard PR, Larson BE. Technique Comparison for Efficient Orthodontic Tooth Measurements Using Digital Models. The Angle Orthodontist. 2009 Nov 11;80(2):254-61.

    28. Sjögren APG, Lindgren JE, Huggare JÅV. Orthodontic Study Cast Analysis-Reproducibility of Recordings and Agreement Between Conventional and 3D Virtual Measurements. Journal of Digital Imaging. 2010 Aug;23(4):482-92.

    29. Cha B-K. Clinical Application of Three-Dimensional Reverse Engineering Technology in Orthodontic Diagnosis. In: Naretto S, editor. Principles in Contemporary Orthodontics. InTech; 2011.

    30. Shastry S, Park JH. Evaluation of the use of digital study models in postgraduate orthodontic programs in the United States and Canada. The Angle Orthodontist. 2013 Jun 6;84(1):62-7.

    31. Mangiacapra R, Butti A, Salvato A, Biagi R. Traditional plaster casts and dental digital models: intra-examiner reliability of measurements. Progress In Orthodontics [serial on the Internet]. (2009), [cited November 11, 2015]; 10(2): 48-53. Available from: MEDLINE with Full Text.

    32. Bailey E, Nelson G, Miller AJ, Andrews L, Johnson E. Predicting tooth-size discrepancy: A new formula utilizing revised landmarks and 3-dimensional laser scanning technology. American Journal of Orthodontics and Dentofacial Orthopedics. 2013 Apr;143(4):574-85.

    33. Shellhart WC, Lange DW, Kluemper GT, Hicks EP, Kaplan AL. Reliability of the Bolton tooth-size analysis when applied to crowded dentitions. The Angle Orthodontist. 1995 Oct 1;65(5):327-34.

    34. Bolton WA. Disharmony In Tooth Size And Its Relation To The Analysis And Treatment Of Malocclusion. The Angle Orthodontist. 1958 Jul 1;28(3):113-30.

    35. Bolton WA. The clinical application of a tooth-size analysis. American Journal of Orthodontics. 1962 Jul;48(7):504-29.

    36. Bravo M E, Ortodoncia Clínica y sus Principios Teóricos y Prácticos, 1ra edición, Cuenca Ecuador, Imprenta Rocafuerte, 2007, 135-136p

    37. Dalstra M, Melsen B. From alginate impressions to digital virtual models: accuracy and reproducibility. Journal of Orthodontics. 2009 Mar; 36(1):36-41.

    38. Bootvong K, Liu Z, McGrath C, Hagg U, Wong RWK, Bendeus M, et al. Virtual model analysis as an alternative approach to plaster model analysis: reliability and validity. The European Journal of Orthodontics. 2010 Oct 1; 32 (5):589-95.

    39. Correia GDC, Habib FAL, Vogel CJ. Tooth-size discrepancy: A comparison between manual and digital methods. Dental Press Journal of Orthodontics. 2014 Aug;19(4):107-13.

    40. Naidu D, Freer TJ. Validity, reliability, and reproducibility of the iOC intraoral scanner: A comparison of tooth widths and Bolton ratios. American Journal of Orthodontics and Dentofacial Orthopedics. 2013 Aug;144(2):304-10.

    41. Fabels LNJ, Nijkamp PG. Interexaminer and intraexaminer reliabilities of 3-dimensional orthodontic digital setups. American Journal of Orthodontics and Dentofacial Orthopedics. 2014 Dec;146(6):806-11.

    42. Im J, Cha J-Y, Lee K-J, Yu H-S, Hwang C-J. Comparison of virtual and manual tooth setups with digital and plaster models in extraction cases. American Journal of Orthodontics and Dentofacial Orthopedics. 2014 Apr;145(4):434-42.

    43. Trevejo A, Fernández D, Calderón V. Estereolitografía: Conceptos básicos. Rev. Estomatol Herediana. 2013 Abr-Jun;23 (2):96-100.

    44. Ochoa A, Pradíes G. Estudio experimental in vitro de tres escáneres CAD/CAM extraorales. Universidad Complutense de Madrid. Madrid España. Septiembre 2012.

    45. The American Board of Orthodontics (ABO) Digital Model Requirements. Disponible desde: https//www.americanboardortho.com/media/1157/abo-digital-model-requirements.pdf

    46. Roberts CT, Richmond S. The design and analysis of reliability studies for the use of epidemiological and audit indices in orthodontics. Br J Orthod 1997; 24:139-47.