Sohn SooKyoung

💛💚

4 분 소요

시각장애 학생을 위한 동영상 강의 해설기법의 사용성 분석

문제점

  1. 강의 화면에 대한 설명의 부재
  2. 강의 자료 외에 추가로 제공할 수 있는 내용 위주로 수업 진행
  3. 무분별한 지시대명사 사용
    주로 포인터나 그림을 덧씌워서 그릴 수 있는 도구를 이용하여 강의 화면 내 자료를 직접 짚어가며 정확한 명칭이 아닌 지시대명사를 사용하는 경우 잦다.
  4. 시험 및 퀴즈를 치르고자 할 때 별도의 지원을 받을 수 있는 제도 및 시스템 구축 X

시각장애 학생을 위한 학습 관련 연구

DAISY를 통한 텍스트 읽어주기 기능 중 그림이나 수식 등의 특수 콘텐츠의 독음에 대한 연구는 제대로 이루어지고 있지 않다.
-> MathML : Contents MathML에 대한 독음 규칙 정의(서승희, 이종우, 임순범(2012)의 연구)
-> 수학 교과 과정에서 다루는 함수의 그래프를 텍스트 설명 및 음성으로 자동 변환하여 제공하는 프로그램(나희원, 김정음, 동서연(2021)의 연구)
-> 장애 대학생들의 비대면 수업환경에 대한 경험을 이해하여 이를 기반으로 지원방안의 기초자료를 마련하기 위해 비대면 수업에 참여한 장애 대학생들을 대상으로 설문조사와 인터뷰 진행(박재우(2020)의 연구)

본 연구

  • 화면 설명
  • 액션 설명: 지시대명사 사용, 강의 자료 위에 동그라미나 밑줄

강의자료의 형식과 강의자료 내에 주로 삽입된 자료 형태에 따라서 텍스트, 수식, 그래프, 표, 그림 분야로 나뉘었다. 선별한 강의에 삽입하기 위한 해설 음성을 생성하기 위하여 ‘네이버 클로바 음성 API’를 사용하였다.

❓수식, 그래프, 그림에 대한 설명은 변환 기준을 어떻게 정의했나요?

그래프

그래프에 대해서는 더 자세한 설명이 필요할 것 같다.

  • 데이터
  • 단위
  • 축의 구조
  • 그래프의 형태

이미지

지시 대명사를 그림/사진 중 어느 부분을 가르켜주는지를 설명해주었다.

고려 사항

  • 목소리 성별
  • 재생 속도(오디오 재생 속도 조절, 일시 정지, 되감기 등의 기능 필요)
  • 음성의 소리 크기 -> 강의마다 소리 크기가 다르므로 이에 맞게 일시정지 버전의 음성을 넣어야 된다.

결론

화면 해설 + 액션 해설 -> 강의 내용에 대한 이해도가 약 2.1배 증가
다만 표나 그래프와 같은 개체에 대해서는 좀 더 자세한 설명 필요 / 자유도를 보장할 수 있는 옵션 설정 기능이 함께 제공되어야 한다.

시각 장애 학생을 위한 수학 그래프 설명 자동 생성 기술

그래프 전달 기술(현)

  1. 창각 기반 그래프 전달기술: 그래프의 개형을 소리의 높낮이로 표현 -> 수학 문제를 풀이하는데 도움을 줄 수 있는 정도는 아니다
    • Desmos에서 제작한 Math Trax는 수식을 입력하면 좌표평면에 그래프를 나타내어 주고, 그래프의 기울기나 너비 등의 정보를 텍스트로 설명해 준다.
      그러나 제공되는 그래프의 정보가 고정적이고 제 한되어있어 절편, 사분면, 꼭짓점의 좌표 등과 같은 추가적인 수학적인 그래프 요소들에 대한 정보를 얻기 어렵고, 사용자가 원하는 정보를 선택할 수도 없다.
    • 음성 설명은 Audio Graphing Calculator와 마찬가지로 그래프의 모양을 음의 높낮이로만 표 현 가능하다. 또한 위 두 프로그램은 한글 음성 지원이 되지 않아 영어에 능통하지 않은 학생의 경우 이해하기 어렵다는 단점이 있다.
  2. 촉각 기반 그래프 전달기술: Yu가 제안한 햅틱 장치의 경우에는 질감이 아닌 역감을 이용하므로 학습자가 입체적으로 그래프를 이해해야 해서 그래프에 대한 정확한 파악이 어렵다. 또한 그래프를 이해하기 위해 눈금선 하나하나를 기억해야 한다는 단점이 있다.
  3. 복합 그래프 전달기술: 터치스크린 기반으로 오디오와 햅틱 신호를 활용한 것 -> 진동신호와 음성신호를 통해 그래프의 위치, 기울기를 확인

시스템 설계 및 구현

중요한 수학적 요소

  • 일차, 이차 함수
  • x절편, y절편, 사분면, 볼록성, 꼭짓점
  • 시각장애인을 위한 수학적 표현을 읽는 방법은 공영 방송국 인 한국교육방송공사에서 제공하는 시각장애인 콘텐츠의 화면 해설 낭독 방법과 점자 수학 워크북의 표현 형태를 참고

연구 결과

가장 도움이 되었던 해설은 x절편, y절편, 사분면을 해설을 해주는 것이다.

사용자가 직접 문제 유형별로 필요한 요소는 추가로 넣고, 불필요하거나 과한 정보는 그래프 설명에서 제외시킬 수 있도록 체크박스를 만듬.

독서 장애인 용 전자책 내 수식 독음 기법

MathML은 Presentation MathML과 Contents MathML로 나뉘어진다.

Presentation MathML

수학 수식을 웹 브라우저 상의 표현을 중심적인 목표로 만들어진 마크업 언어

Contents MathML

수식의 의미에 집중하여 명확한 인코딩이 가능하게 하는 마크업이다.

MathPlayer

해외의 수식 독음 서비스로, MathSpeak의 문법 규칙이 있다.

  • 독음 스타일: 충분한 독음, 중간 단계, 간략 단계 선택 가능

❓충분한 독음, 중간 단계, 간략 단계는 구체적으로 어떤 식으로 설명해주는 느낌인가요?

MathExpression Reader

국내에서 일반 문서 편집기 내의 수식 편집기에서 사용되는 수식 표현범을 연구 -> 국내의 환경에 맞게 수식 독음 규칙을 정리, 정리된 독음 규칙에 따라 수식 편집기의 식에서 독음 텍스트를 추출하는 프로그램 구현

Contents MathML의 노드를 기준으로 독음 규칙을 결정

국내 독서장애인을 위한 Math Expression Reader의 구현 및 사용성 평가

한글 독음 규칙을 이용한 Math Expression Reader 구현

  1. 중학교 수학 교과서에서 명시 하고 있는 수 학기호의 독음을 적용하여 분류된 수학 기호의 독음 을 정의한다.
  2. 다양한 독음으로 읽혀지는 수식기호들은 대 표 독음을 정의하여 수식의 음성 서비스시 혼란을 최소화 한다.
  3. 수식을 읽을 시 모호성을 야기 시킬 수 있는 수식은 그룹핑(Grouping) 독음을 추가하여, 수식의 모호성을 제거한다.

LeTurn

목표

ppt 강의안의 경우, VoiceOver 적용이 제대로 안된다는 문제점을 가지고 있습니다. 따라서 저희는 LeTurn을 통해서 ppt를 docx로 바꾸어주어 VoiceOver을 사용할 수 있도록 하고자 합니다.

또한, 텍스트와 그림, 표, 그래프를 모두 docx로 바꾸어주어 시각 장애 학생을 위한 강의안을 제공하고자 합니다.

대면 강의로의 전환 비율이 많아지고 있으므로 이에 맞춰 미리 강의안에 대한 인지를 목표로 하고 있습니다.

질문 사항

  1. [시각장애 학생을 위한 동영상 강의 해설기법의 사용성 분석]에서 이미지에 대한 지시대명사를 오디오 프로토타입으로 제작했을 때, 어떻게 텍스트로 표현을 하였나요? 이미지에 대한 독음 기준이 있는 건가요?
  2. ppt 페이지와 동일한 페이지 번호로 docx 파일을 제공하고자 하는데, ppt에서의 몇 페이지를 가리키는지에 대해서만 언급을 해도 충분할까요? 저희는 페이지별 반복 재생이 필요할 것 같아서 ppt 페이지 번호와 docx 페이지 번호를 맞추고자 했던 것도 있습니다.
  3. ppt에 대한 페이지가 많아질 경우, 10페이지 단위로 나누어서 제공을 하고자 하는데, 이 부분에 대해서는 어떻게 생각하시나요?

댓글남기기

참고