부산빅데이터혁신센터에서 DX Camp를 진행하면서 패스파인더의 5번째 패스핵 Maker meet AI라는 주제로 메이커톤이 열린다는 걸 알게되었고 AI, 임베디드 플랫폼에 자신있던 나는 바로 혹했다. 그리고 1등이 미국연수라니?? 이건 1등아님 꼴찌하겠다는 마음가짐으로 참가하지 않을수가 없었다.
dx camp에서 계속 같이 프로젝트 진행하던 untoc후배들이랑 다같이 나가려했는데, 늘 든든하게 서브 개발자를 맡아주던 대희가 자격증 시험과 겹쳐서 없어서 아쉽지만 회로랑 아두이노 개발쪽만 좀 더 같이 할수 있는 친구를 찾아서 강제로 참여시켰다.
이렇게 장전동이 확 보이는 옥상층의 패스파인더 카페, 메이커스페이스에서 금요일 1시부터 메이커톤이 진행됬는데, 처음에 서로 자신을 소개하는 과정은 많이 해봤어도, 항상 살짝 긴장된다.
우리는 사전에 팀끼리 신청하여 바로 모여서 팀빌딩을 마치고 공개된 트랙 주제들에 대해 토론했다.
이번 트랙은 크게 3가지로, 수학사랑의 수학적 설계를 이용한 메이커 제품 만들기, 3DPLUS의 수해 재난 및 인명사고 방지 제품 및 서비스, 패스파인더의 공유오피스 및 굿즈 상품 제작의 선택지가 있었다.
나름대로 고민을 해봤는데 역시 수해재난 방지쪽이 공익 목적도 크고 보여줄때 임팩트가 있을것 같아 이쪽 방향으로 틀을 잡고 생각하는데, 아니나 다를까 다른 팀들도 대부분이 수해 재난 방지쪽을 선택해서 쉽지 않은 경쟁이 되겠다고 생각했다.
우리는 수해 재난 쪽에서도 지하차도에 집중했는데,
똑같은 사고가 똑같은 원리로 똑같은 실수로 계속해서 반복되고 있다, 왜일까?
정부의 원인 규명으로는 진입 방지 차단책 인력의 부족 및 실시간 감시 부족, 골든타임 대응 부족이 손에 꼽혔다.
그렇다면, 지하차도 자체는 늘 CCTV가 감시하고 있으니까, 그 CCTV에 수해감지 AI를 적용하고 감지되면 실시간으로 차단벽을 세워 진입을 막으면 되지 않을까 생각했는데. 단순히 철책이나 벽식 차단벽을 사용해버리면 차들이 혹시라도 들이박아 오히려 더 큰 2차사고를 유발할수도 있겠다고 생각되었다.
그럼 뭘로 막아야 할까
그 와중에 이런 광고 풍선이 눈에 띄었다. 여기서 딱 감이 왔다!!
풍선으로 차단벽을 세우면 안전하게 물리적인 차단을 하면서도 경고까지 할 수 있겠구나~~
그래서 지하차도 모형을 만들어 cctv로 감시하고, Jetson플랫폼을 사용해 엣지 컴퓨팅 기반 수해감지 AI를 제작하고, 수해가 감지되면 자동으로 지하차도 옆에서 풍선벽이 자동하는 수해 지킴 안전 차단벽을 기획했다.
그래서 당장 다이소에 떠죽을 날씨를 헤치고 풍선을 불수 있는 자동 에어펌프를 사려고 갔는데
없다...ㅠㅠ이미 단종된 상품이라 근처의 다른 다이소에도 팔지 않는다고 한다...ㅠㅠ
그러기엔 아이디어를 포기하기 너무 아쉬워서 다른 방안을 찾다 당근마켓을 발견했다.
당장 연락하여 친구가 동래까지 차끌고 가서 직거래로 8천원에 사왔다ㅋㅋㅋ
그리고 지성문구가서 지하차도 모형 만들 우드락이랑 재료들 사는데 펌프 크기랑 맞추려다 보니 생각보다 비쌋다..거의 재료비만 3만원 가까이 나왔다..
그리고 AI는 뭘로 만들어야되나..1박2일 메이커톤인만큼 바퀴를 직접 만들지 말고 있는걸 갖다붙히고 싶었는데 마땅한 모델이 없었다.
일단 작동부터 확인하기 위해 jetson inference의 resnet18기반 cityscapes segnet 모델을 기반으로
테스트를 해봤는데 jetson inference와 전처리를 위한 openCV를 동시에 사용할때 import 순서도 중요하고 jetson inference는 GPU에 로드된 RGB이미지 데이터이고 OpenCV는 Cpu에 로드되는 BGR이미지여서 많은 오류가 있었지만 ChatGPT와 공식문서를 참고해서 어떻게든 해결했다..
이걸 해결하고 나니까 이미 메이커톤의 반이 지난 12시였다ㅋㅋ
일단 객체 인식까지는 이미 개발된 모델을 활용하기로 하고, 수해 감지는 도저히 마땅한 모델이 없어 직접 만들기로 했다.
캐글에 가면
이라는 홍수 이미지 영역 추출을 위한 데이터셋이 있다.
또 도로위의 홍수를 구별하기 위한 데이터셋도 존재한다. 역시 캐글이다. 없는게 없다
이 두 데이터셋을 이용해 기존 jetson inference의 resnet18기반 cityscapes segnet을 파인튜닝 시켜 수해를 감지할 수 있도록 했다.
또 새벽엔 에어펌프 스위치 구조때문에 아두이노 서보모터 출력으로는 제어하기 부족해서 스위치에 나무막대를 붙이고 양쪽에 실을 연결해 지렛대와 장력을 통해 약간의 서보모터 출력만으로도 스위치를 누를 수 있게 했다.
그럼 다 된건가!! 아니다..
단순히 물만 감지하면 되는게 아니라 도로 상 수해량이 일정 이상이 되면 수해를 감지되게 해야해서 다양한 후처리와 임계값 설정을 진행하는데 애먹었지만
발표 직전 10시!!
드디어 최적값을 찾아 완성하고 발표를 진행했는데 첫번째 11시 사전평가때 완벽하게 작동해서 매우 만족스러웠다.
중간중간 먹을것도 많이 줬는데 사실 1박2일도 아니고 금요일 1시부터 토요일 10시니 만드는데 정말 시간이 촉박해서 먹는거에 크게 신경을 못썻다....다른 팀들도 거의 안쉬고 무한 개발하더라
전체 구조는 간략하게 이렇다.
- 사용 기술 :
NVIDIA Jetson Nano 임베디드 보드를 활용한 Object Detection과 Image Segmentation
- 준비물 :
아두이노 WEMOS D1 R2 보드, JETSON NANO 임베디드 보드, 적외선 카메라, 서브모터, 점퍼선, JETSON NANO 임베디드 보드, 우드락, 글루건, 절연테이프, 미니어처 자동차, 아크릴판,
- 구현 과정 :
(1) 검정/하양 우드락, 글루건, 절연테이프, 아크릴을 활용하여 수조 모형을 만든다.
(2) 미니어처 자동차 및 JETSON NANO와 연결한 카메라를 수조 모형에 설치한다.
(3) 침수에 관련된 dataset을 임베디드 보드에 학습시키고, object detection 및 image segmentation을 활용하여 AI 적외선 카메라로 침수 여부를 확인한다.
(4) 수조의 아랫부분에 페트병을 연결하여 물을 넣고 뺄 수 있는 하수구 시스템을 구축한다.
(5) Air Compressor 및 Servo 모터를 연결한 아두이노 WEMOS D1 R2 보드를 수조 모형에 설치하고 , JETSON NANO 임베디드 보드와 통신이 가능하도록 연동한다. (HTTP METHOD : GET, Query : result)
사용 방법
(1) 만들어둔 터널 구조에 수해가 발생한 상황을 만들기 위하여 갈색물(흙탕물을 가정)을 붓는다.
(2) CCTV 기반의 AI 수해 감지기가 실시간 Object Dectection으로 지나가는 차량들을 추적한다.
(3) 일정 이상 물을 부으면( = 수심이 올라가면) 홍수 Image Segmentation 기반 수해 감지기의 위험 수위 경고와 함께 빠르게 지하차도 위의 차단 풍선이 부풀려진다.
(4) 틀의 밑 부분에 달려있는 배수로를 통하여 물을 빼내면(= 수심이 내려가면), 이를 감지하여 부풀려져 있던 풍선의 바람이 빠진다.
마지막은 90초 최종 발표평가로 이루어지는데, 90초면 말할 시간조차 부족하다. 열심히 PPT 만들어놨는데 갖다버리고 그냥 90초 내내 시연하기로 결정했다.
시연은 다행히 매우 성공적이였고 발표도 말할거 다말하고 10초나 남아서 홀가분한 마음으로 평가를 기다렸다.
다른 팀도 20시간 만에 개발했다는걸 고려하면 다 실패 없이 성공적으로 잘 만들어서 다들 대단하다고 생각했다.
그리고 대망의 결과는!!!
끼얏호우~~~창업진흥원급 대상에 미국연수라니!! 정말 쉬지않고 달려온 보람이 있었던 것 같다.
해카톤을 할때마다 느끼는 거지만 짧은 시간 안에 무에서 유를 만드는게 늘 쉽지 않지만 만들고 나면 너무 뿌듯한것 같다.
하여튼 좋은 성과를 내게 되서 팀원들한테도 다행이고 나도 한층 더 성장했단걸 느낄 수 있었다.