ArcGIS Notebook을 이용한 미세먼지 모니터링 자동화 솔루션 구축

 

대기기온역전층이 동북아 전반에 장기간에 걸려 크게 형성될 경우 지구 자전에 의한 편서풍에 의해 고농고 미세먼지가 세게최대의 공업국인 중국에서 유입되어 한반도가 크게 피해를 입고 있습니다. 이 때문에 공기중의 미세먼지에 관한 정보는 한국인들에게 큰 관심사가 되었습니다.

코로나로 인해 중국의 공장이 가동을 멈춰 미세먼지의 대한민국 유입이 줄어든거와 같이 미세먼지는 공장의 가동, 편서풍, 기후 등에 의해 하루하루 유입의 양이 다릅니다. 따라서 실시간 미세먼지 유입 지수를 확인하기 위해서 전국 각 (설치지점)에서 보내오는 데이터를 API로 불러와 실시간으로 미세먼지를 모니터링 할 수 있는 자동화 솔루션을 한국지비에스가 Esri 의 ArcGIS Notebook을 사용하여 구축하였습니다. 제공받는 API 데이터의 효율적인 사용과 Arcpy, ArcGIS API for Python등을 사용하기 위해서 파이썬 프로그램이 사용되었으며 서버에서의 자동화 서비스를 위해 ArcGIS Notebook의 스케줄링 기능으로 자동화 솔루션을 구축하였습니다.

처음으로 API의 형태로 제공받는 공공데이터를 파이썬을 이용해 파싱 후 Arcpy를 이용해 분석이 용이한 형태로 가공했습니다. 그리고 이 가공된 데이터를 Arcpy를 사용 분석해 지리적 예측정보를 얻을 수 있었습니다.

이 예측된 정보를 ArcGIS Online에 ArcGIS API for Python을 이용 업데이트 하였으며 WebApp Builder 어플리케이션을 통해 대시보드를 생성 사용자가 한눈에 쉽게 정보를 볼 수 있게 구현하였습니다. 이와 같이 클라우드 서비스인 ArcGIS Online을 이용하면 하드웨어/소프트웨어에 큰 투자 없이 고급 GIS 분석이 가능합니다.

사용자가 가장 궁금해 하는 실시간 정보를 받기 위해선 윈도우즈의 스케줄러나 ArcGIS Pro를 통해 파이썬 스크립트를 지정한 시간마다 자동으로 실행하는 방법이 있었는데 이번 ArcGIS 업데이트로 ArcGIS Notebook에 스케줄링 기능이 새로 추가되어 분석 자동화가 용이해졌습니다. 그리고 또한 ArcGIS Notebook은 Arcpy 구동도 가능해 이번 미세먼지 스크립트는 Notebook을 이용해 실시간 정보를 받아 GIS 분석을 하는 자동화 솔루션을 구축할 수 있었습니다.

한국지비에스 신규멤버를 소개합니다.

 

이희수 매니저가 한국지비에스에 새롭게 합류하였습니다.

2019년에 UCLA에서 지리학 전공, GIS and Technology를 부전공으로 학사를 취득한 이희수 매니저는 GIS가 정제되지 않은 데이터를 시각화하고, 유의미한 정보로 바꾸어 해결책을 제시할 수 있다는 점을 좋아합니다.

쉬는 시간에는 주로 운동을 하거나 영화 보며 시간을 보냅니다.

GBS Esri 파트너 어워드 수상

 

2021년 Esri 파트너 컨퍼런스에서 GBS 가 “ArcGIS Adoption Award” 부문에 수상을 하였습니다.

ArcGIS Adoption Award는 고객이 ArcGIS 플랫폼을 도입하여 로케이션 데이터 관리를 정교하게 잘 관리할 수 있도록 솔루션을 제공하는 파트너에게 주어집니다.

GBS는 뉴질랜드와 한국, 미국, 호주에서 다양한 산업군의 고객에게 솔루션을 제공하고 있으며 파트너 어워드 수상은 2016년에 이어 두번째입니다.

2021년도 수상기업 목록

GBS 창업주 Tony Elson

KBS 재난방송센터 GIS 콘텐츠 구축

 

한국지비에스(GBS Korea)에서는 재난 정보를 실시간으로 업데이트, 시각화하고 방송에 활용할 수 있는 콘텐츠를 KBS재난방송센터에 구축하였습니다.

재난현황판:기상특보

우리나라는 사계절이 뚜렷하여 다양한 기후환경을 보이는 만큼 여러 가지 재난 유형을 대비하여야 합니다. 매년 태풍 발생 빈도는 증가하고, 초미세먼지와 미세먼지 농도는 건강을 위협하는 수준을 나타내는 일수가 늘어나고 있습니다. 최근에는 한반도 내 지진에 의한 위험도 간과할 수 없게 되었습니다. 이에 따라 재난을 야기하는 기상변화를 예측하여 인명피해나 재산손실을 줄이는 것은 매우 중요합니다.

KBS 재난방송센터는 재난방송 주관방송사로서 갈수록 규모가 커지고 예측하기 어려운 자연재난정보를 더 신속하고 정확하게 전달하기 위해 ArcGIS 플랫폼을 도입하였습니다. 특히 재난 발생 현황을 실시간으로 화면에 표출하고 모니터링하는 대시보드 콘텐츠와 재난정보의 시각화를 자동화하는 시스템을 한국지비에스(GBS Korea)에서 구축하였습니다.

이전 사업들을 통해 재난방송에 활용하고자 하는 재난 종류별 데이터가 연계되어 있었으나 데이터 자체만으로는 방송에 활용하기에 접근성이 떨어지고 활용도가 낮아 한국지비에스에서는 ArcGIS 플랫폼을 사용하여 데이터의 시각화 요소를 강화하고 실시간으로 표출되도록 중점 기획하였습니다.

기존의 재난방송 시스템은 재난 발생 시 데이터를 2차 가공하여 그래픽으로 방송에 표출하여야 하므로 발생지점을 정밀하게 나타내지 못하고 즉각적인 위치 정보 제공에 어려움이 있었습니다. 또한 재난 현장 주변의 사회 간접 자본 시설물을 표현하는 대신 일반적인 기상 그래픽만 송출이 가능하였습니다. 이에 대해 한국지비에스에서는 다음과 같은 솔루션을 제공하였습니다.

솔루션

  • ArcGIS 플랫폼 및 Enterprise Geodatabase(SDE) 도입
  • 일반 관계형 데이터베이스에 적재된 데이터를 GIS 데이터로 변환하도록 프로세스 자동화
  • 재난 타입별로 특화된 주제도를 제작하고 실시간 GIS 데이터가 상시 준비되도록 구축
  • ArcGIS Dashboards를 사용하여 각 재난별 현황를 실시간으로 업데이트
  • 재난 현장과 영향 범위를 시각적으로 이해하기 쉽도록 3D 시각화 구현
  • 취재 기자별로 방송 준비를 할 수 있도록, 큐시트 등 방송 준비 모드 지원(WebApp Builder)
  • 방송 중 빠른 조작 및 반응 속도를 보장하기 위하여 최신 웹 기술을 적용

재난 대시보드 및 방송화면 구축현황

재난현황판: 미세먼지
산불방송화면 2D
산불방송화면 3D

2020년 9월 태풍 마이삭이 북상하였을 당시 실시간으로 태풍 정보를 업데이트하고 한반도 내 영향반경을 3D로 시각화하여 KBS재난방송에 활용하였습니다. 기상청에서 발표하는 실시간 태풍의 위치와 예상 위치, 영향반경을 ArcGIS Pro와 ArcGIS 익스텐션인 ArcGIS Data Interoperability를 통해 시청자들이 이해하기 쉽도록 시각화되는데 이는 방송준비 과정에서 별도의 조작 없이 자동적으로 표출됩니다.

<지리정보시스템을 통해 한눈에 확인하는 ‘마이삭’ 이동경로>

2021년 3월에는 6년 만에 최악의 황사가 발생하였습니다. 1시간마다 자동 업데이트되는 대기질 정보는 KBS 재난현황판의 미세먼지 대시보드에서 지점별 농도로 시각화됩니다. 측정소별로 측정된 수치는 보간법을 사용하여 분포도가 그려지며 이는 실시간으로 업데이트되어 뉴스에 활용할 수 있습니다.

<올해 벌써 6일째…불청객 황사, 짙고 잦은 이유는?>

기대효과

  • 재난 현장 주변의 시설물까지 정밀한 취재 내용 전달 가능
  • 재난 영향 범위에 대한 효과적인 전달로 국민 안전 보장
  • 터치스크린 상에서 실시간 조작하여 역동적인 방송 가능
  • 실시간 재난 데이터 API를 이용하여 타 시스템과 효과적으로 연계

Construction of GIS Contents at KBS(Korea Broadcasting System) Disaster Broadcasting Center

 

GBS Korea has built contents that can update, visualize and use disaster information in real time at KBS Disaster Broadcasting Center.

Disaster Status Dashboard: Special New Alert

Korea has four distinct seasons and has various climate environments, so we should prepare for various types of disasters.,The frequency of typhoons increases every year, and the concentration of ultra-fine dust and fine dust is increasing the number of days that show health-threatening levels. Recently, the risk of earthquakes on the Korean peninsula has become recognizable. Therefore, it is very important to reduce casualties and property losses by predicting weather changes that cause disasters.

KBS Disaster Broadcasting Center, as the host broadcaster of disaster broadcasting, has introduced the ArcGIS platform to deliver increasingly large and difficult-to-predict natural disaster information more quickly and accurately. In particular, GBS Korea has built a system that automates the visualization of dashboard content and disaster information that displays and monitors the status of disasters on the screen in real time.

Through previous projects, data for each type of disaster was linked to disaster broadcasting, but the data itself was not accessible and low utilization, so the GBS Korea focused on strengthening the visualization elements of data and expressing them in real time using the ArcGIS platform.

In the event of a disaster, the existing disaster broadcasting system had to display the data in the broadcasting system graphically, so it was difficult to provide the location information immediately without being able to accurately indicate the location. In addition, instead of expressing infrastructures around the disaster site, only general weather graphics could be transmitted. In response, GBS Korea provided the following solutions:


Solutions

  • Introduction of ArcGIS Platform and Enterprise Geodatabase (SDE)
  • Automate the process to convert data loaded into GIS data in a general database
  • Create a specialized theme chart for each disaster type and establish real-time GIS data to be prepared at all times
  • Update the status of each disaster in real time using ArcGIS Dashboards
  • Implement 3D visualization to facilitate visual understanding of disaster sites and impact ranges
  • Broadcast preparation mode support such as cue sheets so that each reporter can prepare for the broadcast(WebApp Builder)
  • Applying the latest web technology to ensure fast operation and responsiveness during broadcasting

Disaster status dashboard and broadcasting pages

Disaster Status Dashboard: Fine Dust
Wildfire Broadcasting in 2D
Wildfire Broadcasting in 3D

In September 2020, when Typhoon Maysak hit the Korean peninsula, we updated the typhoon information in real time and visualized the impact area in 3D and used it for KBS disaster broadcasting. The current and expected location, and influence radius of the real-time typhoon announced by the Korea Meteorological Administration are visualized to be easy for viewers to understand through ArcGIS Pro and ArcGIS Data Interoperability, which are automatically displayed without any operation during the broadcast preparation process.

<Maysak’ Route to check at a glance through Geographic Information System>


In March 2021, the worst yellow sand occurred for the first time in six years. Air quality information, which is automatically updated hourly, is visualized in point-by-point concentrations on the Fine Dust Dashboard on the KBS Disaster Status Board. The numbers measured at each station are distributed using interpolation, which is updated in real time for use in the news.

<It’s already been 6 days… Why is the uninvited yellow dust so frequent?>

Expected effect

  • Accurate coverage can be delivered to facilities around the disaster site.
  • An effective delivery of the scope of disaster impacts ensures national security
  • Real-time operation on the touchscreen for dynamic broadcasting
  • Use real-time disaster data API to effectively link with other systems

한국지비에스 신규멤버를 소개합니다.

 

뉴질랜드에 있는 와이카토 대학교에서 다중 모델 네트워크 분석과 건강 및 인구통계에 관심을 가지고 지리학을 연구하며 대학원을 졸업한 Tas Barsdell 매니저 입니다.
오클랜드 교통국에서 GIS 분석가로 업무를 수행한 경험이 있으며, 오클랜드 교통국에서 일하는 동안 운영 업무량을 줄이는 데 도움이 되는 셀프 서비스 웹 애플리케이션의 중요성에 대해 많이 배웠다고 합니다.
Tas Barsdell 매니저는 말합니다
“앞에 놓여 있는 도전과 멋진 팀과 함께 일하는 도전을 기대해 봅니다.”

Tas 매니저는 여유로운 마음을 소유한 편안한 사람이고 운동, 야외활동, 기타연주등을 즐깁니다

ArcGIS Desktop Entry 19-001

ArcGIS Notebooks를 활용한 데이터 업데이트 자동화

 

정보와 데이터는 점점 더 디지털화되고 있습니다. 이 과정에서 중요한 기능은 업무의 과정을 자동화하여 반복되는 업무에 수행되는 시간을 절약하는 것입니다.

지난 3월 진행된 Esri Developer Summit 2020에서는 GIS 사용자들이 업무를 자동화 할 수 있도록 하는 다양한 툴을 새롭게 선보였습니다. 이 중 사용자들이 가진 자원과 시간을 잘 활용할 수 있도록 자동화 기능을 소개합니다.

ArcGIS 엔터프라이즈 10.8에 ArcGIS Notebook Server Administrator Directory가 새롭게 추가되면서 사용자들은 ArcGIS Notebook에 접근하지 않고도 코드를 실행시킬 수 있게 되었습니다. 노트북 에디터에서 반복적으로 실행하고자 하는 코드를 노트북으로 작성하여 스케줄을 설정하면 원하는 기간 동안 원하는 간격으로 데이터를 업데이트 할 수 있습니다.

이는 Esri에서 소개하고 있는 다음의 3단계 자동화 과정을 포함합니다.

  • 단순 자동화(Simple Automation ) : 수동으로 수행되었던 업무의 과정을 자동화
  • 고급 자동화(Advanced Automation) : 작업의 규모나 복잡성을 줄일 수 있도록 여러 업무의 워크플로우를 결합
  • 지능형 자동화(Intelligent Automation) : 업무 과정의 의사결정에 영향을 미치는 딥러닝 모델 등을 활용

예를 들어 매일 0시에 업데이트되는 질병관리본부의 코로나 19(COVID-19)의 발생 동향 정보를 피처 레이어(Feature layer)로 생성하는 코드를 노트북으로 작성한 후 하루 한 번 노트북이 실행되도록 설정할 수 있습니다. 이를 통해 매일 정보가 업데이트되는 코로나 19(COVID-19) 대시보드를 만들어 공유할 수 있습니다. 또는 정부에서 제공되는 공적 마스크 판매소의 API를 활용하여 실시간 업데이트가 자동화된 지도를 생성하거나 시시각각 변하는 날씨, 교통 정보 등의 데이터를 수집할 수 있습니다.

한국지비에스에서는 ArcGIS Online의 노트북을 활용하여 매일 업데이트 되는 코로나 19(COVID-19)의 정보를 피처 레이어로 생성하여 시각화 하는 대시보드를 만들어 공유하고 있으며 그 일부를 간략히 소개하면 다음과 같습니다.

Step 1. ArcGIS Notebook에서 Python으로 유럽질병관리본부(ECDC)의 API의 국내 확진자 동향 피처 레이어 생성

Notebook 예시

Step 2. 생성된 피처 레이어를 맵에 나타내고 업데이트 된 데이터 확인

웹맵에 피처레이어 추가

3. 대시보드로 시각화

대시보드

현재는 베타(Beta)버전으로 일반 사용자에게 공개되진 않았지만 정식으로 업데이트되면 더 많은 데이터를 효과적으로 수집하고 분석하여 디지털화되는 정보를 활용할 수 있을 것으로 기대됩니다.

서울시 선별진료소, 안심병원 및 마스크재고 현황

 

한국지비에스에서는 서울시의 선별진료소와 국민안심병원, 차량선별진료소를 확인 할 수 있도록 함과 동시에 정부에서 제공하는 데이터 업데이트를 자동화하여 대시보드를 구성하였습니다. 지도의 확대, 축소를 통해 내 주변 선별진료소 및 안심병원을 빠르고 간단하게 찾아볼 수 있으며 아이콘을 클릭하면 나타나는 팝업을 통해 병원의 상세정보를 확인할 수 있습니다.

전 세계적으로 COVID-19(코로나 19)의 확진 환자 수는 지속적인 증가 추세에 있으며, 국내 확진 환자의 수도 10,613명(2020.4.16)에 달하고 있습니다. 국내 대부분의 병원은 COVID-19에 대응하기 위해 총력을 다하고 있으며 국가적으로도 검사를 받을 수 있는 병원 및 안심 병원에 대한 리스트를 제공하고 있습니다.

COVID-19는 호흡기 질환으로 감염성이 높아서 검사를 진행할 수 있는 선별 진료소를 별도로 운영하고 있으며, 국내 처음으로 도입된 차량선별진료소는 검사자와 의료진 간의 거리를 유지하고, 불필요한 접촉을 방지하여 효율적인 검사 방법으로 세계적으로 주목을 받고 있습니다. 보건복지부에서는 비호흡기 환자들이 안심하고 방문할 수 있는 국민안심병원도 지정하여 정보를 제공하고 있습니다.

한국지비에스에서 만든 대시보드는 한국질병관리본부(KCDC)와 유럽질병관리본부(ECDC)에서 실시간으로 제공하고 있는 API를 활용하여 일별 확진자 수, 접촉경로가 자동으로 업데이트 될 수 있도록 하고 지자체 웹 페이지에서 제공하는 데이터를 활용하여 대시보드를 구성하였습니다. 이와 같이 대시보드는 많은 데이터를 실시간으로 시각화하고 사용자가 직관적으로 확인할 수 있는 효과적인 도구 입니다.

서울시 선별진료소, 안심병원 마스크재고 대시보드

※ 대시보드를 참고 하여 병원의 정보를 확인하시고 보다 명확한 안내가 필요하거나 의심 증상이 있을 경우 관할 보건소 및 콜센터(지역번호+120 또는 1339)로 문의 하시기 바랍니다.

부산시 공적 마스크 판매 청년 일자리 분석

 

부산시가 1인 약국 250곳의 공적 마스크 판매 지원을 한 달 간 청년 일자리로 전환한다는 발표를 하면서 많은 사람들의 긍정적인 호응을 받았습니다. 코로나19 사태로 인한 구직난과 마스크 판매 약국의 혼란 현상을 해결할 수 있는 부산시의 정책을 본보기로 삼아 여러 행정 구역에서도 이와 같은 일자리를 제공했으면 하는 바람입니다.

한국지비에스에서는 부산시의 청년 일자리 모집 정책을 아래 대시보드로 구현하였으며 주민등록상 부산시에 거주하는 만 18세-34세 청년의 인구 수를 행정동 기준으로 비교하여 볼 수 있고 해당 행정동에 위치한 약국의 수를 차트로 확인할 수 있습니다. 이로 인하여 예상되는 경쟁률이 심한 곳, 덜한 곳을 분석할 수 있으며 나이대 별로도 확인 가능합니다. 행정동 기준 청년 인구 수는 통계청 기준 2020년 데이터를 다운받아 부산시 행정구역 shp과 병합하였고 공적 마스크 판매 약국은 전국 데이터를 모아놓은 api를 연동하여 부산시에 위치한 포인트만 추출하였습니다.

상단 이미지 클릭 시 해당 대시보드로 이동합니다.

해당 대시보드는 Esri 제품 중 Web AppBuilder를 사용하여 대시보드 테마로 만들었으며 사용자가 직접 선택을 하며 지도와 연관된 결과를 볼 수 있다는 장점이 있습니다. 위 대시보드로 이동하여 사용 방법을 따라 행정동과 나이대별을 선택할 수 있는 위젯을 이용해 나오는 결과값을 비교해 볼 수 있습니다. 코로나 19 사태 이후 전염병 유행 시 경로 분석이나 예방책을 위한 지리기반 시스템의 중요성이 더욱 강조되며 이러한 시스템이 더욱 활발히 사용될 예정입니다.

구현한 대시보드의 대상인 마스크 판매 일자리에 지원하는 청년들 그리고 이러한 정책을 마련하는 각 층의 관계자들에게도 큰 도움이 될 것을 예상하고 직접 위젯을 사용해보며 원하는 결과 값을 얻어내길 기대합니다. 또한, 부산시에서 시초로 도입 후 다른 행정구역에서도 이와 같은 일자리 정책이 생겨나길 기대하고 해당 지역 내 청년 인구 수와 마스크 지원 약국 수를 비교, 분석한다면 지금 사태에서 좀 더 효과적으로 마스크 판매 안정화를 실현해 낼 수 있을 것입니다.

김천시 코로나19 맵

 

2020년 겨울, 코로나19가 전세계적으로 발병하면서 사람들의 목숨을 위협하고 있습니다. 코로나19는 국내 217명의 사망자를내고 10537명의 확진자를 만든 전염이 빠르고 사망률이 높은 질병입니다. 코로나19 바이러스의 전파경로는 비말 및 호흡기 분비물과의 접촉입니다. 따라서 많은 사람들이 마스크를 사용하지만 전국적인 높은 수요로 인해 마스크가 부족한 실정입니다. 김천시 코로나 19맵은 김천시의 약국별 마스크 재고량, 방역된 공원 그리고 선별진료소의 현황을 시민들이 보다 쉽고 빠르게 정보를 얻을 수 있게 제작되었습니다.

김천시 코로나19 맵은 정부에서 지원하는 공공데이터를 이용하여 만들어졌습니다. 실시간으로 업데이트 되는 API를 사용하여 시간에 뒤쳐지는 데이터가 없이 시민들이 원하는 정보를 바로 이용할수 있습니다.

코로나10맵 내주변 약국 찾기

시민들이 보다 쉽고 빠르게 정보를 얻게 하기 위해 김천시 코로나19 맵에는 다양한 기능들이 추가되었습니다. 처음으로는 내주변 약국 찾기 입니다. 이기능을 이용하면 자신의 위치에서 사용자가 지정한 반경내(1km – 5km) 약국을 찾을수 있습니다. 그리고 길찾기 기능을 사용하여 자신의 위치에서 지정한 약국가지의 최적화된 경로를 찾을 수 있습니다.

다음으로는 필터 기능입니다. 필터기능을 사용하면 특정한 데이터 요소만 필터링하여 사용자가 원하는 데이터를 한눈에 더 쉽게 파악할 수 있습니다. 첫번째로 재고량별 약국을 필터링 하였습니다. 이 기능을 사용하면 재고량이 100개 이상인 약국만 지도에 표시할수 있습니다. 두번째로는 약국 개장 시간별로 필터링을 하였습니다. 사용자가 원하는 시간대를 클릭하면 그 시간에 개장하는 약국을 지도에 표시합니다. 두가지 필터를 동시에 사용하는것도 가능합니다. 12시에 여는 마스크 재고량이 100개 이상인 약국을 지도에 표시할수 있습니다.

코로나19맵 마스크 재고상태 그래프

마지막으로는 김천시 약국의 마스크 재고상태를 한눈에 볼 수 있는 그래프를 추가하였습니다. 이 그래프를 이용하여 김천시의 약국별 재고량을 한눈에 볼수있습니다.

맵으로 바로가기