---

목차

1. 약속 - 시각장애인을 위한 의약품 식별 앱
2. 기존 솔루션의 문제점
   1. OCR 기술의 한계
   2. 불편한 유저 경험
3. 디자인
4. 핵심 기능
   1. 의약품 식별
   2. 쉬운 복약 설명
   3. 사용기한 탐지
   4. 사진 설명
5. 온디바이스 AI
6. 마치며

---

온디바이스 AI를 활용하여 시각장애인을 위한 의약품 식별 앱을 만들어 보았습니다.

---

약속 - 시각장애인을 위한 의약품 식별 앱

의약품·사용기한 식별부터 AI 쉬운 복약 설명까지 ‘약속’과 함께하세요.
👉 Homepage
👉 App Store
👉 Play Store

약속은 서울시자원봉사센터와 한국보건의료연구원이 함께한 서울 청년 기획 봉사단 3기로 진행한 프로젝트입니다.

시각장애인들은 의약품을 어떻게 식별하고 복약할까요? 2026년 기준 의약품 4만여 종 중 점자가 표기된 항목은 단, 0.1%라고 합니다. 그것도 의약품에 단순히 이름만 점자로 적혀 있어, 정작 필요한 복약 방법이나 사용기한 정보는 접근조차 불가능합니다.

이러한 위험은 급격한 고령화와 맞물려 사회 전체의 문제로 확대되고 있습니다. 시력 저하를 겪는 고령자부터 하루 10종 이상의 약을 복용하는 다제약물 복용자까지, 문자 중심의 과도한 전문 정보는 정보 취약계층의 의약품 접근성을 저해하고 건강 안전을 위협하고 있습니다.

실제 시각장애인 41명을 대상으로 진행한 설문조사에서도 이러한 어려움이 고스란히 나타났습니다. 응답자의 대부분이 의약품 식별, 복약 방법, 사용기한 확인에 큰 불편을 겪고 있다고 답했는데요.

더욱 심각한 점은, 이러한 문제로 인해 약물을 오투약하거나 아예 복약을 포기한 경험이 있는 비율이 절반을 넘었다는 사실입니다.

기존 솔루션의 문제점

그렇다면 시각장애인분들은 이러한 어려움을 극복하기 위해 어떤 방법을 사용하고 계실까요?

조사 결과, ‘특정 위치나 공간에 보관(65.9%)’하거나 ‘가족, 활동지원사 등 타인의 도움을 받는다(61%)’는 응답이 가장 높게 나타났습니다.

결국 약을 제자리에 두는 개인적인 습관에 의존하거나, 타인의 도움 없이 스스로 약을 구별하기는 매우 어려운 현실임을 알 수 있습니다. 스마트폰 앱이나 고무줄·테이프 표시, 촉감·기억에 의존하는 등 다양한 방법을 시도하고 계시지만, 여전히 안전하고 근본적인 해결책이 되지 못하고 있는 상황입니다.

위 설문에서 눈여겨볼 점은 스마트폰 글자 읽기(41.5%) 응답도 적지 않다는 사실이었습니다. 스마트폰 글자 읽기 기능을 이용하면 사용기한 확인도 가능할 것 같은데, “왜 사용기한 확인을 가장 큰 불편 요소로 꼽혔을까?” 하는 의문이 생겼고, 그 원인을 밝히기 위해 직접 기술 검증을 진행하였습니다.

OCR 기술의 한계

OCR(광학 문자 인식, Optical Character Recognition) 기능을 실제 의약품 OCR 데이터 161건으로 테스트한 결과, 20%는 전혀 인식하지 못했습니다. 대부분이 비닐 포장의 빛 반사 또는 경계가 불분명한 음각 표기 날짜에 해당하는 경우였는데, 기술적 한계로 이를 극복하기 위해선 정밀도가 높은 인식 기술이 필요해 보였습니다.

불편한 유저 경험

80% 정도의 인식률이면 ‘그래도 쓸만하지 않나?’라고 생각하실 수도 있습니다. 하지만 기존 OCR 앱은 인식률 이전에, 시각장애인이 사용하기에는 UX(User Experience)가 너무나 불편합니다. 그 이유는 세 가지입니다.

첫째, 시각장애인에겐 촬영 자체가 어렵습니다. 카메라가 지금 어디를 향하고 있는지, 대상과의 거리는 적당한지, 초점은 맞았는지. 사진을 찍는 데 필요한 이 모든 정보가 시각에 의존합니다. 시각장애인에게는 촬영이라는 첫 단계부터 큰 장벽입니다.

둘째, 원하는 정보만 읽어주지 않습니다. 기존 OCR 앱은 사진에 찍힌 모든 글씨를 처음부터 끝까지 읽어줍니다. 사용자가 알고 싶은 것은 사용기한 하나뿐인데, 불필요한 음성 정보의 바다 속에서 필요한 정보를 직접 솎아내야 하니 큰 피로감을 겪게 됩니다.

셋째, 사용기한과 바코드의 위치가 표준화되어 있지 않습니다. 의약품 상자마다 표기 위치가 제각각이고 점자나 촉각 표기도 없다 보니, 사각형 상자의 6개 면을 하나씩 촬영하고 음성 안내를 들으며 찾는 과정을 최대 6번 반복해야 합니다.

이처럼 촬영의 어려움, 불필요한 정보 낭독, 표기 위치의 비표준화가 겹쳐 시각장애인에게 극심한 정보 접근성 장벽을 형성하고 있으며, 이를 해결할 전용 솔루션 도입이 시급한 실정입니다.

디자인

‘약속’의 디자인은 ‘잘 보이는 것’에서 출발했습니다. 시각장애인 중에는 전맹뿐 아니라 저시력 사용자도 많고, 고령자나 다제약물 복용자에게도 작은 글씨와 흐릿한 화면은 큰 장벽입니다. 그래서 화려함보다 가독성을 디자인의 첫 번째 기준으로 삼았습니다.

디자인은 심플한 타이포그래피 잡지에서 영감을 받아 글자 자체가 화면의 중심이 되도록 했습니다. 장식을 덜어내고 글자의 크기와 굵기만으로 정보의 위계를 나타내며, 저시력 사용자를 위해 가변 폰트를 지원합니다.

색상은 WCAG AA 기준(4.5:1) 이상의 명도 대비로 정의했고, 라이트·다크 모드를 모두 지원합니다. 빛 반사가 심한 곳이나 어두운 방처럼 약을 먹는 환경은 제각각이기 때문에, 어느 환경에서든 글자가 또렷하게 읽히는 것이 중요했습니다.

스크린 리더로 조작하기 어려운 화면에는 음성 안내 버튼을 두어, 온보딩도 버튼 하나로 듣기만 하면 되도록 했습니다.

스크린 리더 사용자가 소리만으로도 길을 잃지 않도록 다음 세 가지에 신경 썼습니다.

TTS와 스크린 리더 음성이 겹치지 않도록 처리

• 이전 프로젝트인 Guita에서는 스크린 리더가 켜져 있으면 TTS를 아예 사용하지 않는 방식으로 음성 겹침을 피했음
• 이번에는 TTS 음성 안내가 핵심 기능이므로 스크린 리더의 포커스가 이동하면 재생 중이던 TTS를 정지하는 방식으로 해결

접근성 라벨은 최대한 간결하게

• 스크린 리더 사용자는 정보를 하나씩 소리로 들어야 하므로, 라벨이 길어질수록 원하는 정보까지 도달하는 시간이 길어짐
• 핵심 정보만 남겨 탐색 부담을 최소화

페이지 이동 시 포커스 순서 고정

• 새 페이지로 이동하면 제목 → 뒤로 가기 버튼 순서로 포커싱
• 어떤 화면인지 먼저 알려주고, 바로 돌아갈 수 있는 위치를 예측할 수 있게 함

핵심 기능

이렇게 다듬은 화면 위에 하나의 질문에서 시작한 기능들을 담았습니다. “어떻게 하면 누군가의 도움 없이, 스스로 안전하고 편안하게 약을 복용할 수 있을까?” 이 질문에서 나온 ‘약속’ 앱의 4가지 핵심 기능은 다음과 같습니다.

1. 바코드 스캔을 통한 의약품 식별
2. 빠르고 정확한 사용기한 탐지
3. 쉬운 복약 설명
4. 사진 설명

의약품 식별

쉬운 복약 설명

사용기한 탐지

사진 설명

온디바이스 AI

Android와 iOS를 모두 지원하기 위해 Flutter로 개발했습니다. 온디바이스 AI 모델로는 이미지와 텍스트를 함께 다루는 멀티모달 모델 Gemma4 E2B를 사용했습니다. 사용기한 탐지와 사진 설명처럼 이미지를 직접 입력받아야 하는 기능이 핵심이라, 멀티모달 지원 여부를 모델 선정의 기준으로 삼았습니다.

자체 테스트 결과 AI 모델을 쾌적하게 이용하려면 6GB 이상의 메모리가 필요했습니다. 따라서 6GB 미만의 기기에서는 온디바이스 AI 대신 OCR과 Gemini API를 사용하도록 구현했습니다.

또한 모델 파일이 약 2.5GB로 작지 않아, 다운로드가 끝날 때까지 앱을 켜 두고 기다려야 한다면 이용 장벽이 됩니다. 이를 해결하기 위해 앱을 벗어나도 다운로드가 계속되는 백그라운드 다운로드와, 네트워크가 끊겨도 처음부터 다시 받지 않도록 이어받기 기능을 구현했습니다.

온디바이스 AI를 도입하여 얻은 이점은 다음과 같습니다.

1. 오프라인 지원 - 인터넷 연결 없이도 AI 기능을 사용할 수 있습니다.
2. 비용 절감 - AI 토큰 비용이 들지 않아 사용자에게 무료로 제공할 수 있습니다.
3. 개인정보 보호 - 촬영한 사진이 기기 밖으로 전송되지 않습니다.

마치며

‘약속’을 만들며 가장 크게 배운 것은, 앱을 만드는 것만큼 앱을 ‘배우게 하는 것’도 중요하다는 점입니다. 모든 시각장애인이 스크린 리더 사용법에 익숙한 것은 아니어서, 다른 사람의 도움 없이 새로운 앱을 익히는 것 자체가 쉽지 않았습니다. 그래서 온보딩을 음성 안내 버튼 하나로 들을 수 있게 했고, 시각장애인 쉼터에서 ‘약속’ 사용법을 직접 알려드리는 시연회도 진행했습니다.

이번 프로젝트는 서울시자원봉사센터와 한국보건의료연구원과 함께했습니다. 한국보건의료연구원은 시연회 자원봉사와 손소독제 90개 물품 기부를 지원해 주었고, 블로그에 앱 홍보 글도 게시해 주었습니다. 함께해 주신 분들 덕분에 앱이 실제로 쓰일 수 있었습니다.

시연회에서 시각장애인분들이 가장 어려워하신 것은 앱 조작보다도 의약품마다 표준화되지 않은 바코드와 사용기한의 위치를 찾는 일이었습니다. 그래서 시연회에서는 바코드와 사용기한 위치에 촉각 스티커를 붙여 쉽게 찾을 수 있도록 안내했습니다. 앱이 아무리 잘 인식해도 카메라를 어디에 비춰야 하는지 알 수 없다면 첫 단계부터 막히기 때문입니다. 이 부분은 개별 앱이 해결할 수 있는 영역이 아니므로, 사회적으로 표기 위치에 대한 표준화가 이뤄지면 좋겠다는 생각이 들었습니다.

또한 온디바이스 AI는 아직까지 기기 제약이 심하지만 점차 활성화되고 있는 기술인데, 이번 프로젝트에서 직접 활용해 볼 수 있어 좋았습니다. 앞으로 기기 성능과 모델이 더 발전하면 더 많은 사용자가 오프라인에서도 안전하게 AI의 도움을 받을 수 있으리라 기대합니다.

‘약속’이 시각장애인과 고령자, 다제약물 복용자분들의 안전한 복약에 조금이나마 도움이 되기를 바랍니다.

약속 - 시각장애인을 위한 의약품 식별 앱
👉 Homepage
👉 App Store
👉 Play Store