Estudio comparativo de confiabilidad y precisión entre el método de Trazado Cefalométrico manual con el digital usando el programa Dolphin Imaging con radiografías cefálicas laterales

    Diego Toledo Jaramillo *, Miriam Lima Illescas **, Manuel Bravo Calderón ***

    * Odontólogo, Especialista en Ortodoncia, Docente de la Especialidad de Ortodoncia de la Universidad de Cuenca, Miembro de la Sociedad de Ortodoncia y Ortopedia del Azuay.

    ** Odontólogo, Especialista en Ortodoncia, Miembro de la Sociedad de Ortodoncia y Ortopedia del Azuay.

    *** Odontólogo, Máster en Ortodoncia, Director de la Especialidad de Ortodoncia y Profesor de la Facultad de Odontología de la Universidad de Cuenca, Miembro de la Federación Mundial de Ortodoncia, Asociación Americana de Ortodoncia, Sociedad Iberoamericana de Ortodoncia Lingual, Sociedad Española de Ortodoncia, Sociedad Ecuatoriana de Ortodoncia, Sociedad de Ortodoncia y Ortopedia de Pichincha y del Azuay.

ESTUDIO COMPARATIVO DE CONFIABILIDAD Y PRECISIÓN ENTRE EL MÉTODO DE TRAZADO CEFALOMÉTRICO MANUAL CON EL DIGITAL USANDO EL PROGRAMA DOLPHIN IMAGING CON RADIOGRAFÍAS CEFÁLICAS LATERALES

RESUMEN

El objetivo de este estudio fue comparar el trazado cefalométrico digital, con el programa Dolphin Imaging v.11.0 en cuanto a su fiabilidad y precisión, con el método de trazado manual. La muestra estuvo constituida por 30 radiografías cefálicas laterales, obtenidas de los archivos de la clínica de la Especialidad de Ortodoncia de la Universidad de Cuenca, con un rango de edad comprendida entre los 11 y 24 años de edad. La muestra se dividió en dos grupos experimentales, de acuerdo con la forma de trazado ejecutada: grupo 1 trazado manual y grupo 2 trazado digital. Se comparó nueve medidas lineales y nueve medidas angulares. Todas las medidas para cada método presentaron un fuerte coeficiente de correlación (r2>0,8) indicando una buena reproducibilidad de las mediciones, excepto para L1/PM (grupo 2) con un coeficiente moderado de correlación. Entre los dos métodos se observó diferencias significativas más en las mediciones lineales que las angulares, tales como: Pg-Nper (p=0,001), U1/APg (p=0,001) y L. sup/SnPg (p=0,04). En general, ambos métodos de trazado cefalométrico manual y digital son altamente fiables. Aunque la reproducibilidad de los dos métodos mostraron diferencias estadísticamente significativas, más estas diferencias no fueron clínicamente significativas.

Palabras claves: trazado digital, trazado manual, confiabilidad, precisión, medidas lineales, medidas angulares, Dolphin Imaging v.11.0.



COMPARATIVE STUDY OF RELIABILITY AND ACCURACY BETWEEN MANUAL AND DIGITAL CEPHALOMETRIC TRACING USING DOLPHIN IMAGING SOFTWARE WITH LATERAL RADIOGRAPHS

ABSTRACT

The aim of this study was to compare digital cephalometric tracing, with Dolphin Imaging v.11.0 sofware, in terms of its reliability and accuracy, with manual tracing method. The sample consisted of 30 lateral cephalometric radiographs, files collected to the Specialty clinic of Orthodontics, University of Cuenca, with age range between 11 and 24 years. The sample was divided in 2 experimental groups, according to the form of tracing performed: group 1 manual tracing and group 2 digital tracing. Nine linear measurements and nine angular measurements were compared. All measurements for each method showed a strong correlation coefficient (r2 > 0.8) indicating good reproducibility of the measurements, except for L1/PM (group 2) that has a moderate correlation coefficient. Among the two methods the significant difference was observed in the linear measurements rather than the angular measurements such as: Pg- Nper (p = 0,001), U1/APg (p = 0,001) and L. sup / SnPg ( p = 0,04) . In general, both methods of manual and digital cephalometric tracing are highly reliable. Although the reproducibility of the two methods showed some statistically significant differences, most differences were not clinically significant.

Keywords: digital traced, manually traced, reliability, accuracy, measures linear, angular measurements, Dolphin Imaging v.11.0


INTRODUCCIÓN

En el año 1931, la Ortodoncia consagró la era de la cefalometría radiográfica, a partir de los trabajos de Broadbent 1. La radiografía cefálica lateral del cráneo se volvería imprescindible en el diagnóstico, planeamiento y evaluación de los casos tratados con ortodoncia2. Muchos análisis cefalométricos fueron propuestos por diferentes autores, con el fin de conocer los patrones de morfología craneofacial, estimar los métodos de tratamiento y cuantificar los resultados obtenidos 3,4,5,6,7,8.

Durante mucho tiempo el método de trazado cefalométrico manual fue el único utilizado permitiendo la obtención de medidas angulares y lineales 2,9,10,11,12. Para realizar este método se requiere de un tiempo relativamente largo 2,10; la principal desventaja son los errores aleatorios y sistemáticos de los operadores 13; además la principal fuente de error incluyen mediciones técnicas y la identificación de puntos anatómicos de referencia. La mayoría de errores ocurre en la identificación de puntos que son influenciados por la experiencia del operador, definición de puntos, densidad y nitidez de la imagen 12,13,14,1,1,1,18,19.

Los constantes avances tecnológicos en el área de la computación, permitieron el desarrollo de programas computarizados 10,11,19,20,21,22; destinados a efectuar trazados y mediciones cefalométricas; aliados a la evolución rápida de la radiografía computarizada, el trazado digital ha remplazado lentamente al método manual. Tres técnicas 23 son comúnmente reportadas: la primera usan almohadillas digitalizadoras para el trazado convencional en las películas radiográficas y programas de computadora para las mediciones; la segunda usan scanner o cámaras digitales que exportan la imagen cefalométrica para la medición a través de programas; y la tercera transmiten directamente la radiografía digital a la computadora. El uso de ambas radiografías digitales y la conversión de la radiografía manual a formato digital ofrece varias ventajas tales como: facilidad de uso, permite varios análisis en un solo tiempo, ofrece mayor comodidad al momento de generar predicción del tratamiento 24, ocupa menos espacio de almacenamiento y permite la superposición de imágenes 25, proporciona la opción de manipular tamaño y contraste de la imagen y facilita la capacidad de archivar y mejorar el acceso a las imágenes superando el problema del deterioro de la película 26,27,28. Por otra parte, los pacientes se benefician por la reducción de la dosis de radiación y la eliminación de sustancias químicas asociados a riesgos ambientales 25,27,28,29. Sin embargo varios inconvenientes también están presentes como: dificultad en la identificación de puntos de referencia relacionada a una imagen de dos dimensiones de una estructura tridimensional, la superposición de estructuras dobles y la necesidad de una máquina radiográfica digital, así como un programa para el trazado digital.

Se han realizado varios estudios para comparar la precisión de la digitalización, el escaneado y las radiografías obtenidas digitalmente con el método convencional 24,26,27,30,31. Muy pocos estudios han comparado mediciones lineales y angulares, debido al análisis de reproducibilidad de las líneas y ángulos, es más desafiante por múltiples fuentes de error, que el estudio de puntos de referencia 24,32,33,34,35.

Sin embargo, los resultados de las comparaciones entre el método digital con la radiografía convencional son contradictorios, probablemente debido a la variedad en los métodos para la obtención de la imágenes digitales y el uso de diferentes programas cefalométricos. La literatura podría beneficiarse con más estudios y con aplicación clínica directa y su respuesta, si un análisis cefalométrico digital proporciona el diagnóstico equivalente al del convencional. Por lo tanto, el objetivo de este estudio fue evaluar las diferencias de las mediciones angulares y lineales en la radiografía convencional y la digital (usando radiografía digital directa) en términos de confiabilidad de las repeticiones de las mediciones dentro de cada método y la reproducibilidad o precisión de las mediciones entre los dos métodos.


MATERIALES Y MÉTODOS

La muestra estuvo constituida por 30 radiografías digitales cefálicas laterales pre-tratamiento, de los archivos de la clínica de la Especialidad de Ortodoncia de la Universidad de Cuenca, pertenecientes a pacientes de ambos sexos, con un rango de edad comprendida entre los 11 y 24 años de edad y 30 radiografías cefálicas laterales de los mismos pacientes impresas en una película radiográfica Fujifilm de 10 x 14 pulgadas. Se seleccionaron radiografías con adecuado definición, nitidez, contraste y que no presenten magnificación ni distorsión. La máquina usada para obtener todas las radiografías fue J Morita Veraviewepocs® 2D. Se excluyeron radiografías con aparatología correctiva en boca.

Métodos

Obtención de trazado cefalométrico manual

El trazado convencional se realizó en un período de tres días (10 radiografías por día) para evitar la fatiga del operador (intra-examinador), siendo 9 medidas lineales y 9 medidas angulares, fueron realizados manualmente con la ayuda de un negatoscopio PAT. 151357, en una sala oscurecida, utilizando hoja de papel cefalométrico (ORTHO Organizers) con un espesor de 0,07 mm y dimensiones de 25.5 x 20.5 cm., y un lápiz de grafito de 0,5 mm. (Figura 1).

Estructuras anatómicas: (Figura 2)
  • Perfil de tejido blando, región de glabela y contorno inicial del cuello;

  • Contorno anterior del hueso frontal y los huesos nasales;

  • Contorno posterior e inferior de las cavidades orbitarias;

  • Fisura pterigomaxilar;

  • Meato acústico externo;

  • Silla turca, incluyendo los procesos clinoides anterior y posterior, la región del clivus, del basion y la porción inferior del hueso esfenoides;

  • La mandíbula, incluyendo el cóndilo, la rama, la base y la sínfisis en sus contornos interno y externo;

  • El maxilar, incluyendo el piso de las fosas nasales, con la espina nasal anterior y la espina nasal posterior, el perfil anterior y el contorno del paladar duro;

  • Incisivos centrales superiores e inferiores, con las coronas y sus ápices dentarios.
Figura 1
Método de trazado manual
Fuente: propia

Medidas angulares: (Figura 3)
  1. SNA: posición anteroposterior del maxilar en relación a la base del cráneo.

  2. SNB: posición anteroposterior de la mandíbula en relación a la base del cráneo.

  3. ANB: la diferencia entre los ángulos SNA y SNB

  4. BaNa/PtGn Eje facial: ángulo formado por el eje facial y el plano Basion- Nasion.

  5. PoOr/NPg Profundidad Facial: ángulo formado por el plano facial y el plano de Frankfort.

  6. GoMe/PoOr Plano mandibular: ángulo formado por el plano mandibular y el plano de Frankfort.

  7. SN/GoGn: Angulo formado por el plano Silla-Nasion y el plano Gonion-Gnation.

  8. L1/PM: Ángulo formado por el eje del incisivo inferior y el plano mandibular.

  9. U1/L1 Ángulo interincisivo: formado por el largo de los ejes de los incisivos superiores e inferiores.

Medidas lineales: (Figura 4)
  1. SN: distancia lineal entre silla turca y el punto nasion.

  2. GoMe: distancia lineal de gonion a mentoniano.

  3. A-Nper: distancia lineal entre el punto A y la línea Nasion que intersecte perpendicular a Frankfort.

  4. Pg-Nper: distancia lineal entre pogonion y la línea Nasion que intersecte perpendicular a Frankfort.

  5. U1/APg: distancia lineal entre el borde incisal superior al plano A-pogonion

  6. L1/APg: distancia lineal entre el borde incisal inferior al plano A-pogonion

  7. L inf/Plan E: distancia lineal entre el labio inferior al plano pronasal-pogonion.

  8. L sup/SnPg`: distancia lineal entre el labio superior al plano subnasal-pogonion.

  9. L inf/SnPg`: distancia lineal entre el labio inferior al plano subnasal-pogonion

Después de la realización del diseño anatómico, del trazo de planos y ángulos, se obtuvieron las medidas lineales y angulares y los datos fueron transferidos una plantilla en Excel.

Obtención de trazado cefalométrico digital

Al igual que el manual se realizó en 3 días, 10 radiografías digitales cada día, con esto se evitó la fatiga del operador, siendo ejecutadas después de 30 días del trazado manual, por el intra-examinador (figura 5).

Figura 5
Método de Trazado Digital
Fuente: propia

Antes de la identificación de los puntos anatómicos, se determinó puntos de referencia al comienzo y al final de una regla de 100 mm., incorporada en la radiografía cefálica digital con el propósito de tener el tamaño de referencia actual de cada imagen radiográfica. La marcación de los puntos se realizó con la ayuda del cursor mouse directamente en la pantalla del monitor, en una sala obscurecida.

El programa Dolphin Imaging v.11.0 ilustra todos los puntos y su rastreo de secuencia, sigue un orden predeterminado permitiendo al usuario magnificar áreas específicas. La identificación de los puntos fueron autocorregidos o repetidos hasta que el examinador quedó satisfecho. Los datos fueron calculados y proporcionados por el programa y las mediciones fueron transportadas a una plantilla en Excel para el análisis estadístico.

La precisión o reproducibilidad entre los dos métodos se determinó a través de nuevos trazados y remediciones de las 30 radiografías de la muestra. Las radiografías fueron trabajadas de forma similar tanto para el método manual y digital, permitiendo la obtención de datos en dos tiempos: T1 y T2, es decir las mediciones iniciales de las radiografías por el intra-examinador y las mediciones nuevas efectuadas 30 días después por los inter-examinadores respectivamente. A partir de los datos en T1 y T2, los grupos fueron comparados mediante la prueba t para la determinación de medias de poblaciones independientes. El nivel de significancia se fijó en 0,05, conforme recomienda Houston 13. La diferencia de la media, de la desviación estándar (SD) y el error estándar (SE) fueron calculados entre las mediciones repetidas de cada método y entre los dos métodos.

La confiabilidad del método estadístico se realizó a través del coeficiente de correlación de Pearson's (r2). Estos niveles se utilizaron para determinar la fuerza de correlación: r2 >0.8 = fuerte; r2 ? 0,8 = moderada; r2 ? 0,5 = débil correlación. Todos los datos se analizaron en el programa estadístico SPSS (Statistical Package for the Social Sciences) versión 19.0.


RESULTADOS

Dentro de las mediciones angulares, las variables que presentaron mayor desviación estándar (SD) fueron el ángulo interincisivo, tanto para el trazado manual como para el digital y en las mediciones lineales fue para Pg-Nper (Tabla 1 y 2).

Tabla 1
Comparación de medidas y desviación estándar en el método manual

Diferencias significativas entre los dos métodos de trazados se observó en las mediciones lineales, no así en las mediciones angulares (Tabla 3).

Dentro de las mediciones lineales con mayor diferencia significativa fue para Pg - Nper, U1/APg, y L sup/SnPg. En general, el valor de magnitud más alto, en las diferencias de las medias fue de 2,5° y 0,2 mm. El valor del error estándar (SE) fue principalmente menor a 0,5 (milímetros o grados de acuerdo con la medición) excepto para el L1/PM, siendo este de 2,5°.

Tabla 2
Comparación de medidas y desviación estándar en el método digital

La diferencia en las medias, SD y r2 se realizó para cada una de las 18 mediciones tanto para el método manual como para el digital (Tabla 4).

Tabla 3
Comparación de diferencias de medias, SD, SE y prueba t entre el trazado manual y digital

En general, el coeficiente de correlación de todas las mediciones para los dos métodos fue sobre 0,9 (fuerte correlación), excepto para la medida angular del plano mandibular con el eje del incisivo inferior (L1/PM) que tuvo una correlación de 0,56 para el método de trazado digital. Es decir, como indica el coeficiente de correlación, la fiabilidad fue buena y el error de los examinadores fue pequeño.

Tabla 4
Diferencias de media, desviación estándar y coeficiente de correlación
(error examinadores) de las mediciones repetidas del trazado manual y el digital

DISCUSIÓN

La precisión del análisis cefalométrico es esencial dentro del campo de Ortodoncia. Recientemente, el trazado convencional fue considerado como el de mayor precisión para el análisis cefalométrico. Hoy en día, el uso extendido de programas computarizados ha sido ineludible la necesidad de evaluar su consistencia y compararlos con el método de trazado manual.

La identificación de puntos, es considerada como la mayor fuente de error y está influenciada por la experiencia del operador. El objetivo de cualquier investigación es demostrar la consistencia de la cefalometría digital, teniendo en cuenta varios factores significantes 26, como el uso de medidas en lugar de puntos de referencia, disminuyendo las fuentes de error. En este estudio, se escogió las mediciones porque son el producto final del trazado cefalométrico y provee los datos para la planificación del tratamiento 23,26. Con respecto a la fuente de error, la identificación de puntos en las imágenes digitales fue realizada manualmente a través del cursor mouse y las mediciones fueron determinadas automáticamente por el programa.

La imagen digital además ofrece grandes ventajas sobre la convencional incluyendo el procesamiento rápido, fácil almacenamiento, recuperación y perfeccionamiento de la calidad de la imagen 24,25,26,27,28. Las radiografías fueron obtenidas en formato digital directo y la calidad de la película fue uno de los criterios más importantes para la validez de los resultados 27,31.

En estudios anteriores 9,12,23,32, las diferencias de las mediciones cefalométricas del método digital con el manual fueron clínicamente aceptables.

La comparación entre el método digital y el manual mostraron diferencias estadísticamente significativas para 3 de las 18 variables cefalométricas siendo medidas lineales: Pg- Nper, U1/APg' y L sup/SnPg'. Naoumova y Lindman32, manifestaron que los puntos menos fiables corresponden a los que se encuentran situados en tejidos blandos. Iguales resultados se reportaron en otros estudios 2,23,26.

En un estudio comparativo de mediciones lineales y angulares2, encontraron diferencias estadísticamente significativas para todas las mediciones esqueletales y dentales. Estas diferencias atribuyen a la identificación de puntos de referencia. Estudios previos han encontrado dificultades en la localización de los siguientes puntos: Porion (Po), Espina nasal anterior (ENA), Condilion (Co), Gonion (Go), Gnation (Gn) y Mentoniano (Me) 15,24,26.

Según Baumrind y Frantz 15, en las mediciones lineales, cuando menor es el segmento medido, mayor es el porcentaje de error y viceversa.

En ésta investigación la magnitud más alta para la desviación estándar fue de 14,13° correspondiendo al IMPA en el método de trazado digital, coincidiendo con Baumrind y Frantz 14, en donde estructuras superpuestas dificultan la localización de puntos, por falta de contraste en áreas vecinas, siendo un ejemplo el ápice del incisivo inferior, lo cual da como resultado error en la identificación de este punto.

La fiabilidad de las mediciones lineales y angulares fue usando el coeficiente de correlación de Pearson's, mostrando una fuerte correlación (r2>0,8) entre las mediciones repetidas del trazado manual y el digital, indicando que el investigador no tuvo inconvenientes en la repetición de las mediciones y en la identificación de los puntos en cada método. Los resultados coinciden con estudios que exhiben una alta confiabilidad de las mediciones 26,32,34. Solo la medición angular del plano mandibular con el eje del incisivo inferior (L1/PM) tuvo una correlación moderada (r2=0,56) para el método de trazado digital. Esto puede atribuirse a la identificación del punto Go, debido a su localización en un contorno anatómico curvo 14, además puede presentar una imagen doble, su disposición es distante al plano sagital medio, y en la pantalla de digitalización para puntos situados en una curva no se admite realizar diferentes planos de referencia para la localización de dichos puntos, en comparación con el trazado manual 26. Otra posible explicación para los errores en el método digital, puede ser a la pobre calidad de las radiografías cefalométricas análogas que con frecuencia aparecen aún más pobres en la pantalla, así como también el archivamiento de las imágenes digitales con un formato desconocido y parámetros de calidad reducidos como: los valores de gris, pixeles, etc 2,15.


CONCLUSIÓN

A partir de los resultados obtenidos, de la comparación de medidas lineales y angulares entre el método de trazado manual y digital (Dophin Imaging v.11.0), hubo diferencias estadísticamente significativas para 3 (Pg- Nper, U1/APg' y L sup/SnPg') de las 18 variables cefalométricas, siendo solo mediciones lineales. Así mismo, de acuerdo a la correlación entre los dos métodos, se observó una fuerte correlación para todas las medidas estudiadas, con excepción de la medición angular (IMPA), la misma que tuvo una correlación moderada. Por lo tanto, podemos concluir que el método cefalométrico manual y digital son altamente confiables en la práctica de la ortodoncia diaria. Las diferencias estadísticamente significativas entre el trazado digital y convencional no son clínicamente significativas.


REFERENCIAS BIBLIOGRÁFICAS
  1. Broadbent B. H.: (1931) A new x-ray technique and its application to orthodontia. The Angle Orthodontist. 1(2): 45-66.

  2. Chen Y. J., Chen S. K., Chang H. F., Chen K. C.: (2000) Comparison of landmark identification in traditional versus computer-aided digital cephalometry. The Angle orthodontist. 70(5): 387-392.

  3. Ricketts R. M.: (1960) A foundation for cephalometric communication. American journal of orthodontics. 46(5): 330-357.

  4. Steiner C. C.: (1953) Cephalometrics for you and me. American Journal of Orthodontics. 39(10): 729-755.

  5. Steiner, C. C.: (1960). The use of cephalometrics as an aid to planning and assessing orthodontic treatment: report of a case. American Journal of orthodontics, 46(10), 721-735.

  6. Mc Gonagle R. R.: (1956) A review of the significant findings in growth and development since the advent of cephalometrics. The Angle Orthodontist. 26(3): 155-165.

  7. Björk A.: (1951) The nature of facial prognathism and its relation to normal occlusion of the teeth. American Journal of Orthodontics. 37(2): 106-124.

  8. Todd T. W.: (1931) The orthodontic value of research and observations in developmental growth of the face. The Angle Orthodontist. 1(2): 67-69.

  9. Abrahão T. S. K., Goldenberg F. C., Tacola C. G., Sannomiya, E. K.: (2009) Avaliação qualitativa entre as radiografias cefalométricas laterais digital e convencional; Qualitative evaluation between conventional and digital lateral cephalograms. Rev. dent. press ortodon. ortopedi. Facial. 14(3): 60-68.

  10. Konchak P. A., Koehler J. A.: (1985) A Pascal computer program for digitizing lateral cephalometric radiographs. American Journal of Orthodontics. 87(3): 197-200.

  11. Chebib F. S., Cleall J. F., Carpenter K. J.: (1976) On-line computer system for the analysis of cephalometric radiographs. The Angle Orthodontist. 46(4): 305-311.

  12. Bastos M., Costa M., Vogel C., De Araujo M.T.: (2010) Comparative study between manual and digital cephalometric tracing using Dolphin Imaging software with lateral radiographs. Dental Press J. Orthod. 15(6): 123-30.

  13. Houston W. J. B.: (1983) The analysis of errors in orthodontic measurements. American journal of orthodontics. 83(5): 382-390.

  14. Baumrind S., Frantz R. C.: (1971) The reliability of head film measurements: 1. Landmark identification. American journal of orthodontics. 60(2): 111-127.

  15. Baumrind S., Frantz, R. C.: (1971) The reliability of head film measurements: 2. Conventional angular and linear measures. American journal of orthodontics. 60(5): 505-517.

  16. Hixon E. H.: (1956) The norm concept and cephalometrics. American Journal of Orthodontics. 42(12): 898-906.

  17. Sekiguchi T., Savara B. S.: (1972) Variability of cephalometric landmarks used for face growth studies. American journal of orthodontics. 61(6): 603-618.

  18. Midtgård J., Björk G., Linder-Aronson S. T. E. N.: (1974) Reproducibility of cephalometric landmarks and errors of measurements of cephalometric cranial distances. The Angle Orthodontist. 44(1): 56-61.

  19. Järvinen S,. Odont D.: (1987) A study of the factors causing differences in the relative variability of linear radiographic cephalometric measurements. American Journal of Orthodontics. 92(1): 17- 23.

  20. Ricketts R. M.: (1972) The value of cephalometrics and computerize technology. The Angle Orthodontist. 42(3): 179-199.

  21. Faber R. D., Burstone C. J., Solonche D. J.: (1978) Computerized interactive orthodontic treatment planning. American Journal of Orthodontics. 73(1): 36-46.

  22. Heath M. R.: (1980) Measurement of cephalometric radiographs: Methods of analyzing data on a regional basis and improving reading efficiency. American Journal of Orthodontics. 78(3): 303-309.

  23. Polat-Ozsoy O., Gokcelik A., Memikoglu T. U. T.: (2009) Differences in cephalometric measurements: a comparison of digital versus hand-tracing methods. European Journal of Orthodontics. 31(3): 254-259.

  24. Ongkosuwito E. M., Katsaros C., Van't Hof M. A., Bodegom J. C., Kuijpers-Jagtman A. M.: (2002) The reproducibility of cephalometric measurements: a comparison of analogue and digital methods. European Journal of Orthodontics. 24(6): 655-666.

  25. Forsyth D. B., Shaw W. C., Richmond S.: (1996) Digital imaging of cephalometric radiography, part 1: advantages and limitations of digital imaging. The Angle Orthodontist. 66(1): 37-42.

  26. Santoro M., Jarjoura K., Cangialosi T. J.: (2006) Accuracy of digital and analogue cephalometric measurements assessed with the sandwic technique. American Journal of Orthodontics. 129(3): 345-351.

  27. Sayinsu K., Isik F., Trakyali G., Arun T.: (2007) An evaluation of the errors in cephalometric measurements on scanned cephalometric image and conventional tracings. European Journal of Orthodontics. 29(1): 105-108.

  28. Singh P., Davies T. I.: (2011) A comparison of cephalometric measurements: a picture archiving and communication system versus the hand-tracing method-a preliminary study. European Journal of Orthodontics. 33(4), 350-353.

  29. Rudolph D. J., Sinclair P. M., Coggins J. M.: (1998) Automatic computerized radiographic identification of cephalometric landmarks. American Journal of Orthodontics. 113(2): 173-179.

  30. Celik E., Polat-Ozsoy O., Memikoglu T. U. T.: (2009) Comparison of cephalometric measurements with digital versus conventional cephalometri analysis. European Journal of Orthodontics. 31(3): 241-246.

  31. Uysal T., Baysal A., Yagci A.: (2009) Evaluation of speed, repeatability, and reproducibility of digital radiography with manual versus computerassisted cephalometric analyses. European Journal of Orthodontics. 31(5): 523-528.

  32. Bruntz L. Q., Palomo J. M., Baden S., Hans M. G.: (2006) A comparison of scanned lateral cephalograms with corresponding original radiographs. American Journal of Orthodontics. 130(3): 340-348.

  33. AlBarakati S. F., Kula K. S., Ghoneima A. A.: (2012) The reliability and reproducibility of cephalometric measurements: a comparison of conventional and digital methods. Dentomaxillofacial Radiology. 41(1): 11-17.

  34. Naoumova J., Lindman R.: (2009) A comparison of manual traced images and corresponding scanned radiographs digitally traced. European Journal of Orthodontics. 31(3): 247-253.

  35. Paixão M.B., Sobral M. C., Vogel C.J., Martins de Araujo T.: (2010) Comparative study between manual and digital cephalometric tracing using Dolphin Imaging software with lateral radiographs. Dental Press J. Orthod. 15(6): 123-30.

  36. Thurzo A., Javorka V., Stanko P., Lysy J., Suchancova B., Lehotska V., Valkovic L., Makovnik M.: (2009) Digital and manual cephalometric analysis. Bratislavske lekarske listy. 111(2): 97-100.