์ฑ์ฉ์ ์ํ ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ๊ฐ ํ ์คํธ
๋ถ์, ํต๊ณ, ๋ฐ์ดํฐ ์ค๋น, ์๊ฐํ ๋ฐ ๋ถ์๊ฐ๊ฐ ์ฌ์ฉํ๋ ํ๋ซํผ ๊ด๋ จ ์ง๋ฌด๋ฅผ ์ํ ์ค๊ธ ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ๊ฐ ํ ์คํธ 22๊ฐ๋ฅผ ๋น๊ตํ์ธ์.
์งง์ ๋ต๋ณ
์ด ์ค๊ธ ๊ฐ๊ด์ ํ ์คํธ 22๊ฐ๋ ํต๊ณ, ๋ฐ์ดํฐ ์ค๋น, ๋ถ์, ์๊ฐํ, ๋ฐ์ดํฐ ํ๋ซํผ ๊ด๋ จ ๊ธฐ์ ์ ํ๊ฐํฉ๋๋ค. ๋ถ์๊ฐ, ๋ฐ์ดํฐ ๊ณผํ์, ์์ง๋์ด, BI ๋ฐ ๋ณด๊ณ ์ ๊ฐ๋ฐ์ ๋ฑ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ์ง๋ฌด์ ์ธ์ฌ๋ฅผ ์ฑ์ฉํ๋ ๊ณ ์ฉ์ฃผ์๊ฒ ์ ํฉํฉ๋๋ค. ์ง๋ฌด์ ์ ๋ฌด์ ๋ง๋ ํ ์คํธ๋ฅผ ์ฌ์ฉํ๊ณ , ๊ฒฐ๊ณผ๋ ์ฌ๋์ด ๊ฒํ ํ ๊ทผ๊ฑฐ๋ก ํ์ฉํ์ธ์.
ํ๊ฐ 22๊ฐ
๋ฐ์ดํฐ ๊ณผํ
10๋ถ ยท ์ง๋ฌธ 20๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ ๊ฒฐ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ๋ค๋ฃจ๊ธฐ
10๋ถ ยท ์ง๋ฌธ 12๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ฐ๋
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅ๋ฐ์ดํฐ ์์ง๋์ด๋ฅผ ์ํ Apache Spark
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ์ ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅ๋ฐ์ดํฐ ์ถ์ถ, ๋ณํ ๋ฐ ์ ์ฌ (ETL)
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅํ์์ ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ง๋ฌด๋ณ ๋ฅ๋ ฅํต๊ณ ๋ฐ ํ๋ฅ ๊ธฐ์ด
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅAmazon Web Services (AWS) ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅAzure ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅExcel ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅGoogle Cloud Platform (GCP) ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅMatplotlib
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅNumPy
10๋ถ ยท ์ง๋ฌธ 16๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅPandas
12๋ถ ยท ์ง๋ฌธ 18๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅPower BI
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅPySpark
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅR์ ํ์ฉํ ๋ฐ์ดํฐ ๋ถ์
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅSnowflake
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅTableau
10๋ถ ยท ์ง๋ฌธ 15๊ฐ ยท ์ค๊ธ
๊ฐ๊ด์
ํ ์คํธ ๋ณด๊ธฐ์นดํ ๊ณ ๋ฆฌ๋ณ ํ ์คํธ
- ์ง๋ฌด๋ณ ๋ฅ๋ ฅ (ํ๊ฐ 9๊ฐ)
- ํ๋ก๊ทธ๋๋ฐ ๋ฅ๋ ฅ (ํ๊ฐ 7๊ฐ)
- ์ํํธ์จ์ด ํ์ฉ ๋ฅ๋ ฅ (ํ๊ฐ 6๊ฐ)
๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ ์คํธ์ ํ๊ฐ ๋ด์ฉ
22๊ฐ ํ ์คํธ๋ ๋ฐ์ดํฐ ์ ๋ฌด ํ๋ฆ ์ ๋ฐ์ ํ์ํ ์ค๊ธ ๊ธฐ์ ์ ์ด์ ์ ๋ก๋๋ค. ํต๊ณ์ ์ถ๋ก ๊ณผ ํจํด ํด์์๋ ํต๊ณ ๋ฐ ํ๋ฅ ๊ธฐ์ด ๋๋ ํ์์ ๋ฐ์ดํฐ ๋ถ์์ ๊ณ ๋ คํ์ธ์. ๋ฐ์ดํฐ ๊ณผํ์ ํต๊ณ์ ์ถ๋ก , ์ฝ๋๋ก ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ์์ , ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง, ์ ๊ฒฝ๋ง ํ๋ จ์ ํ๊ฐํฉ๋๋ค.
๋ฐ์ดํฐ ์ธํธ ์ค๋น์๋ ๋ฐ์ดํฐ ์ ๋ฆฌ๊ฐ ์ ํฉํ๋ฉฐ, ๋ฐ์ดํฐ ํ์ฑ, ์ ๋ฆฌ, ํํ ๋ณ๊ฒฝ, ๊ฒฐํฉ, ํ์ธ ๋ฅ๋ ฅ์ ํ๊ฐํฉ๋๋ค. ๋ฐ์ดํฐ ์ถ์ถ, ๋ณํ ๋ฐ ์ ์ฌ(ETL)๋ ์ ์ฌ ์ค๊ณ์ ์คํ, ๊ฒฐ๊ณผ ํ์ธ, ํ์ดํ๋ผ์ธ์ ์์ ์ฑ์ ์ค์ ์ ๋ก๋๋ค. ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ฐ๋ ์ ๊ด๊ณ, ํค, ์ ๊ทํ, ๊ฐ๋ ์ ยท๋ ผ๋ฆฌ์ ยท๋ฌผ๋ฆฌ์ ์์ค์ ๋ชจ๋ธ์ ๋ค๋ฃน๋๋ค.
๊ทธ ๋ฐ์ ํ ์คํธ๋ ํน์ ์ธ์ด, ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋๋ ํ๋ซํผ์ ๋ค๋ฃน๋๋ค. Python ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ณ ํ ์คํธ๋ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด NumPy๋ ๋ฐฐ์ด์, Matplotlib๋ ๊ทธ๋ํ ์์ฑ์ ๋ค๋ฃน๋๋ค. Snowflake๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ค๊ณ, SQL, ๋ฐ์ดํฐ ์ ์ฌ, ์ฑ๋ฅ ํ๋์ ํ๊ฐํฉ๋๋ค. ๋ฐ์ดํฐ ํด์๊ณผ ์์ฌ๊ฒฐ์ ์ ๋ฌ์ ์ค์ ์ ๋ ํ ์คํธ๋ก๋ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ๊ณผ ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง์ด ์์ต๋๋ค. Pandas๋ฅผ ์ ์ธํ ๊ฐ ํ ์คํธ๋ 10๋ถ์ด ๊ฑธ๋ฆฌ๋ฉฐ, Pandas๋ 12๋ถ์ด ๊ฑธ๋ฆฝ๋๋ค. ๋ชจ๋ ๊ฐ๊ด์ ๋ฌธํญ์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
์ง๋ฌด์ ๋ง๋ ํ ์คํธ ์ ํ
์ง๋ฌด์ ๋ช ์๋ ์ ๋ฌด์ ๋๊ตฌ์ ๋ง์ถฐ ํ๊ฐ๋ฅผ ์ ํํ์ธ์. Spark ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ๊ฑฐ๋ ์ ์ง ๊ด๋ฆฌํ๋ ๋ฐ์ดํฐ ์์ง๋์ด์ ๋ถ์ ์์ง๋์ด์๊ฒ๋ ๋ฐ์ดํฐ ์์ง๋์ด๋ฅผ ์ํ Apache Spark๊ฐ ์ ํฉํฉ๋๋ค. Spark ์์ , DataFrame ๋ณํ, ํ๋, ์คํธ๋ฆฌ๋ฐ์ ํ๊ฐํฉ๋๋ค. PySpark๋ ๋ฐ์ดํฐ ์์ง๋์ด, ๋ฐ์ดํฐ ๊ณผํ์, ๋ถ์๊ฐ ๋ฑ ์ค๊ธ PySpark ๊ธฐ์ ์ด ํ์ํ ์ง๋ฌด์ ์ ํฉํฉ๋๋ค. Python์ผ๋ก ํ ํ์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ์ ๋ฌด์๋ Pandas๊ฐ ์ ํฉํ๋ฉฐ, ๋ฐ์ดํฐ๋ฅผ ์ ํ, ์ ๋ฆฌ, ๊ฒฐํฉ, ์์ฝํ๋ ์ฝ๋๋ฅผ ์ฝ๊ณ ์์ฑํ๋ ๋ฅ๋ ฅ์ ํ๊ฐํฉ๋๋ค.
ํน์ ํด๋ผ์ฐ๋ ํ๋ซํผ์์ ๋ฐ์ดํฐ๋ฅผ ์ค๋นํ๊ฑฐ๋ ๋ถ์ํ๋ ๋ถ์๊ฐ๋ผ๋ฉด ํด๋น ํ๊ฐ๋ฅผ ์ ํํ์ธ์. Amazon Web Services (AWS) ๋ฐ์ดํฐ ๋ถ์, Azure ๋ฐ์ดํฐ ๋ถ์, Google Cloud Platform (GCP) ๋ฐ์ดํฐ ๋ถ์ ์ค์์ ๊ณ ๋ฅด๋ฉด ๋ฉ๋๋ค. ๊ฐ ํ ์คํธ๋ ํด๋น ํ๋ซํผ์ ๋ถ์ ์๋น์ค๋ฅผ ์ค๊ธ ์์ค์ผ๋ก ๋ค๋ฃจ๋ ์ ๋ฌด๋ฅผ ๋์์ผ๋ก ํฉ๋๋ค.
๋ณด๊ณ ์ ๋ฌด์๋ Power BI๊ฐ ์ ํฉํฉ๋๋ค. Power BI ์๋น์ค, Power Query, ๋ฐ์ดํฐ ๋ชจ๋ธ, DAX, ๋ณด๊ณ ์ ์๊ฐ ์๋ฃ๋ฅผ ํ๊ฐํฉ๋๋ค. Tableau๋ ๋ฐ์ดํฐ ์ค๋น, ๊ณ์ฐ, ์ฐจํธ, ๋ํํ ๋์๋ณด๋๋ฅผ ๋ค๋ฃน๋๋ค. ์คํ๋ ๋์ํธ ๋ฐ์ดํฐ๋ฅผ ์์น์ ์ฐจํธ๋ก ๋ง๋๋ ์ง๋ฌด์๋ Excel ๋ฐ์ดํฐ ๋ถ์์ด ์ ํฉํฉ๋๋ค. ์ด ํ ์คํธ๋ค์ ์ค๊ธ ์์ค์ด๋ฏ๋ก, ํด๋น ์์ค๊ณผ ๋ช ์๋ ์ ๋ฌด๊ฐ ํ์ํ ์ง๋ฌด์ ์ ํํ์ธ์.
์ง๋ฌด์ ๋ง์ถฐ ํ๊ฐ ์กฐํฉํ๊ธฐ
๊ฐ์ ์ ๋ฌด๋ฅผ ์ฌ๋ฌ ๋ฒ ํ๊ฐํ๊ธฐ๋ณด๋ค ์ง๋ฌด์ ์๋ก ๋ค๋ฅธ ๋ถ๋ถ์ ๋ค๋ฃจ๋ ์์์ ํ ์คํธ๋ฅผ ์ฌ์ฉํ์ธ์. ๋ฐ์ดํฐ ์ธํธ๋ฅผ ํ์ํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ๋ ๋ฐ์ดํฐ ๋ถ์๊ฐ ์ง๋ฌด๋ผ๋ฉด ํ์์ ๋ฐ์ดํฐ ๋ถ์๊ณผ ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง์ ์กฐํฉํ ์ ์์ต๋๋ค. ์ง๋ฌด์์ ํน์ ๋ณด๊ณ ๋๊ตฌ๋ ์ฌ์ฉํ๋ค๋ฉด ๊ด๋ จ ์๋ ํ๋ซํผ์ ํ ์คํธํ๋ ๋์ Power BI ๋๋ Tableau์ ๊ฐ์ ๊ด๋ จ ํ๊ฐ๋ฅผ ์ถ๊ฐํ์ธ์.
ํ์ดํ๋ผ์ธ์ ๋ค๋ฃจ๋ ๋ฐ์ดํฐ ์์ง๋์ด์๊ฒ๋ ๋ฐ์ดํฐ ์ ๋ฆฌ์ ๊ด๋ จ ETL ๋๋ Spark ํ ์คํธ๋ฅผ ํจ๊ป ์ฌ์ฉํ์ธ์. ์ง๋ฌด์์ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ์ค๊ณํ๊ฑฐ๋ ๊ฒํ ํ๋ค๋ฉด ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ฐ๋ ์ ์ถ๊ฐํ์ธ์. ๋ฐ์ดํฐ๋ฅผ ํ์ฉํด ๋น์ฆ๋์ค ์์ฌ๊ฒฐ์ ์ ๋ด๋ฆฌ๋ ์ง๋ฌด์๋ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์ด ์ ํฉํ ์ ์๊ณ , ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ ์ง๋ฌด์๋ ๋ฐ์ดํฐ ๊ณผํ ๋๋ ํต๊ณ ๋ฐ ํ๋ฅ ๊ธฐ์ด๊ฐ ์ ํฉํ ์ ์์ต๋๋ค.
์ด ํ๊ฐ๋ค์ ๋ชจ๋ ์ค๊ธ ์์ค์ด๋ฏ๋ก ์ด๊ธ๊ณผ ๊ณ ๊ธ์ ๊ตฌ๋ถํ์ง ์์ต๋๋ค. ์ง๋ฌด์์ ์๊ตฌํ๋ ๊ตฌ์ฒด์ ์ธ ์ ๋ฌด์ ๋๊ตฌ์ ๋ง์ถฐ ํ ์คํธ๋ฅผ ์กฐํฉํ์ธ์. ์ฑ์ฉ ๊ณผ์ ์ ๋ค๋ฅธ ์์์ ํจ๊ป ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ํ๊ฐ ๋์ ๊ธฐ์ ์ ๊ดํ ๊ทผ๊ฑฐ๋ก ๊ฒํ ํ์ธ์. ์ ์๋ ๊ฒํ ํ ์ ์๋ ์ ํธ์ด์ง, ๊ทธ ์์ฒด๋ก ํฉ๊ฒฉ ๊ธฐ์ค์ด๋ ์ฑ์ฉ ๊ฒฐ์ ์ด ์๋๋๋ค.
๋ฌธํญ์ ๊ณต์ ์ฑ
ํ ์คํธ ๋ด์ฉ์ ๋ง์ถฐ ์๋ก ๋ค๋ฅธ ์์ ์ฅ์น๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๋ง์ ํ ์คํธ๊ฐ ์ฃผ๋ฌธ, ์ผ์ ์ธก์ ๊ฐ, ๋ฐฐ์ก, ๋ฐฉ๋ฌธ, ์ค๋ฌธ ์๋ต๊ณผ ๊ฐ์ ์ค๋ฆฝ์ ์ธ ์์์ ๋ค์ํ ๋ฐฐ๊ฒฝ์ ์ด๋ฆ์ ์ฌ์ฉํฉ๋๋ค. ํ์ํ์ง ์์ ๊ฒฝ์ฐ ๋ฌธํญ์ ํตํ ๊ธฐํธ, ๊ด์ฉ๊ตฌ, ์คํฌ์ธ , ์ง์ญ ๊ด๋ จ ์ง์์ ํฌํจํ์ง ์์ต๋๋ค. ์ฌ์ด ํํ์ ์ฌ์ฉํด ์์ด ๋ฅ์๋๋ ์ฝ๊ธฐ ์๋๋ณด๋ค ํ๊ฐ ๋์ ๊ธฐ์ ์ ์ด์ ์ ๋ง์ถ๋๋ก ํฉ๋๋ค.
์ฝ๋ ์ค์ฌ ํ๊ฐ๋ ์งง์ ์ฝ๋ ์กฐ๊ฐ์ ์ฌ์ฉํ๋ฉฐ, ์ํํธ์จ์ด ๋ฒ์ ์ด๋ ์ ํ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ ๋์์ ํผํ๋ ค๊ณ ํฉ๋๋ค. ์ผ๋ถ ๋ฌธํญ์ ํ์ํ ์ค์ ์ด๋ ๋์์ ๋ช ์ํฉ๋๋ค. R์ ํ์ฉํ ๋ฐ์ดํฐ ๋ถ์์ ๋ฌธํญ ์์ ์์ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ณด์ฌ ์ฃผ๋ฉฐ, Google Cloud ๋ฌธํญ์๋ ํ์ํ ํ, ์ฟผ๋ฆฌ ๋๋ ํต๊ณ๊ฐ ํฌํจ๋ฉ๋๋ค. ํต๊ณ ๋ฌธํญ์ ๊ธฐํธ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ๊ทธ ์๋ฏธ๋ฅผ ์ค๋ช ํ๊ณ , ํ์ํ ํ์ ๊ฐ์ ์ ๊ณตํฉ๋๋ค. ์ฐจํธ์ ์๊ฐ ์๋ฃ ๋ฌธํญ์ ์์์๋ง ์์กดํ์ง ์๊ณ ๋ผ๋ฒจ, ๊ฐ, ํ์, ํจํด ๋๋ ์ ๋ชจ์์ ์ฌ์ฉํฉ๋๋ค.
ํ ์คํธ๋ณ๋ก ์ด์ฉ์ ํ์ํ ์ธ๋ถ ์ฌํญ์ ๋ค๋ฆ ๋๋ค. ETL๊ณผ R์ ํฌํจํ ์ฌ๋ฌ ํ ์คํธ์์ ๋ชจ๋ ํ๋ณด์๊ฐ ๋ฉ๋ชจ์ง๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ํต๊ณ ๋ฐ ํ๋ฅ ๊ธฐ์ด์ ๋ฐ์ดํฐ ๋ค๋ฃจ๊ธฐ์์๋ ๋ชจ๋ ํ๋ณด์์๊ฒ ๊ณ์ฐ๊ธฐ๋ ์ ๊ณตํฉ๋๋ค. Excel, Power BI, Tableau ํ ์คํธ์์๋ ์ฐจํธ์ ํ๋ฅผ ์ถฉ๋ถํ ํฌ๊ฒ ๋ณผ ์ ์๋๋ก ์ปดํจํฐ๋ฅผ ์ฌ์ฉํ๋๋ก ์๋ดํฉ๋๋ค. ํ๊ฐ๋ฅผ ์ ํํ ๋๋ ๊ฐ๋ณ ํ ์คํธ์ ์ธ๋ถ ์ฌํญ์ ํ์ธํ๊ณ , ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋งฅ๋ฝ์ ๋ง๊ฒ ํด์ํ์ธ์.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
๋ฐ์ดํฐ ๋ถ์๊ฐ ์ง๋ฌด์๋ ์ด๋ค ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ ์คํธ๊ฐ ์ ํฉํ๊ฐ์?+
์ง๋ฌด์์ ์ํํ๋ ์ ๋ฌด๋ฅผ ๊ธฐ์ค์ผ๋ก ์ ํํ์ธ์. ํ์์ ๋ฐ์ดํฐ ๋ถ์์ ํต๊ณ์ ์ฐจํธ๋ฅผ ํ์ฉํด ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ณ ์์ฝํ๋ ๋ฅ๋ ฅ์ ํ๊ฐํฉ๋๋ค. ๋ฐ์ดํฐ ์ ๋ฆฌ๋ ๋ฐ์ดํฐ ์ค๋น๋ฅผ ๋ค๋ฃจ๋ฉฐ, ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง์ ์ฐจํธ, ์๊ฐ ์๋ฃ, ๋ฐ๊ฒฌํ ๋ด์ฉ๊ณผ ์์ฌ๊ฒฐ์ ์ ์ด์ ์ ๋ก๋๋ค. ์ง๋ฌด์์ ํด๋น ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ์๋ง ๋๊ตฌ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ธ์. ์๋ฅผ ๋ค์ด ๋์๋ณด๋ ์ ๋ฌด์๋ Power BI ๋๋ Tableau๋ฅผ, R์ ์ฌ์ฉํ ๋ถ์ ์ ๋ฌด์๋ R์ ํ์ฉํ ๋ฐ์ดํฐ ๋ถ์์ ์ ํํ ์ ์์ต๋๋ค.
๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ๊ฐ ํ ์คํธ๋ ์ด๊ธ ๋๋ ๊ณ ๊ธ ์์ค์ธ๊ฐ์?+
22๊ฐ ํ ์คํธ ๋ชจ๋ ์ค๊ธ ์์ค์ด๋ฉฐ ์ด๊ธ ๋๋ ๊ณ ๊ธ ๋ฒ์ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ ์ ๋ ฅ ๋๋ ๋ฐ์ดํฐ ๋ณด์กฐ ์ง๋ฌด์๋ ๋ฐ์ดํฐ ๋ค๋ฃจ๊ธฐ๊ฐ ๊ฐ์ฅ ์ ํฉํฉ๋๋ค. ๋ฐ์ดํฐ๋ฅผ ๊น๋ํ๊ณ ์ผ๊ด๋๊ฒ ๊ด๋ฆฌํ๊ธฐ, ๊ธฐ๋ณธ ๋ถ์, ์ฐจํธ ์ฝ๊ธฐ๋ฅผ ๋ค๋ฃน๋๋ค.
๊ณ ์ฉ์ฃผ๋ ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ ์คํธ๋ฅผ ์ด๋ป๊ฒ ์กฐํฉํด์ผ ํ๋์?+
์ง๋ฌด์ ์๋ก ๋ค๋ฅธ ์ ๋ฌด๋ฅผ ๋ค๋ฃจ๋ ํ๊ฐ๋ฅผ ์ ํํ์ธ์. ์๋ฅผ ๋ค์ด ๋ฐ์ดํฐ๋ฅผ ํ์ํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ๋ ๋ถ์๊ฐ๋ผ๋ฉด ํ์์ ๋ฐ์ดํฐ ๋ถ์๊ณผ ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง์ ํจ๊ป ๋ณผ ์ ์์ต๋๋ค. ํ์ดํ๋ผ์ธ ์ ๋ฌด๋ผ๋ฉด ๊ด๋ จ ETL ๋๋ Spark ํ๊ฐ์ ๋ฐ์ดํฐ ์ ๋ฆฌ๋ฅผ ์กฐํฉํ๊ณ , ๋ชจ๋ธ๋ง์ด ์ ๋ฌด์ ํฌํจ๋ ๊ฒฝ์ฐ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ฐ๋ ์ ์ถ๊ฐํ์ธ์.
ํน์ ์ํํธ์จ์ด ๋๊ตฌ์ ๋ํ ์ง์์ด ํ์ ์๋ ๋ฐ์ดํฐ ํ ์คํธ๋ ๋ฌด์์ธ๊ฐ์?+
๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ๊ฒฐ์ ์๋ ํน์ ์ํํธ์จ์ด ๋๊ตฌ์ ๋ํ ์ง์์ด ํ์ํ์ง ์์ผ๋ฉฐ, ๋ฐ์ดํฐ ์คํ ๋ฆฌํ ๋ง๋ ํน์ ์ํํธ์จ์ด๋ฅผ ์ง์ ํ์ง ์์ต๋๋ค. ํ์์ ๋ฐ์ดํฐ ๋ถ์์๋ ์ฝ๋๊ฐ ๋์ค์ง ์๊ณ , ๋ฐ์ดํฐ ๋ค๋ฃจ๊ธฐ์๋ ๋๊ตฌ๋ ์ ํ์ ๋ํ ์ง์์ด ํ์ํ์ง ์์ต๋๋ค. ๋๊ตฌ๊ฐ ๋ฌ๋ผ์ง ์ ์๋ ์ง๋ฌด์๋ ์ด๋ฌํ ํ ์คํธ๊ฐ ์ ํฉํ๊ณ , ํน์ ์ ํ์ ์ฌ์ฉํ๋ ์ง๋ฌด์๋ ํ๋ซํผ ํ ์คํธ๊ฐ ์ ํฉํฉ๋๋ค.
๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ ์คํธ๋ ์ผ๋ง๋ ๊ฑธ๋ฆฌ๋์?+
Pandas๋ฅผ ์ ์ธํ ๊ฐ ํ ์คํธ๋ 10๋ถ์ด ๊ฑธ๋ฆฌ๋ฉฐ, Pandas๋ 12๋ถ์ด ๊ฑธ๋ฆฝ๋๋ค. ๋ชจ๋ ๊ฐ๊ด์ ๋ฌธํญ์ผ๋ก ๊ตฌ์ฑ๋๋ฉฐ, 3๊ฐ๋ฅผ ํจ๊ป ๋ณด๋ฉด ์ฝ 30~32๋ถ์ด ๊ฑธ๋ฆฝ๋๋ค. Pandas์ R์ ํ์ฉํ ๋ฐ์ดํฐ ๋ถ์์ ํฌํจํด 5๊ฐ ํ ์คํธ๋ ํด๋ํฐ ๋์ ์ปดํจํฐ๋ฅผ ์ฌ์ฉํ๋๋ก ์๋ดํฉ๋๋ค.
๋ฐ์ดํฐ ๋ฐ ๋ถ์ ํ ์คํธ๋ ๊ณต์ ์ฑ์ ์ด๋ป๊ฒ ๊ณ ๋ คํ๋์?+
๊ณต์ ์ฑ์ ์ํ ์ธ๋ถ ์ฌํญ์ ํ๊ฐ๋ง๋ค ๋ค๋ฅด์ง๋ง, ๋ง์ ํ ์คํธ๊ฐ ์ค๋ฆฝ์ ์ธ ๋ฐ์ดํฐ์ ์ฌ์ด ํํ์ ์ฌ์ฉํ๊ณ ๋ถํ์ํ ์ง์ญยท๋ฌธํ์ ์ง์์ ์๊ตฌํ์ง ์์ต๋๋ค. ์ฐจํธ์๋ ์ค๋ช ์ด๋ ๋ผ๋ฒจ์ ์ ๊ณตํด ๋ต๋ณ์ด ์์์๋ง ์ข์ฐ๋์ง ์๋๋ก ํฉ๋๋ค. ์ฌ๋ฌ ํ ์คํธ์์๋ ๋ชจ๋ ํ๋ณด์๊ฐ ๋ฉ๋ชจ์ง๋ฅผ ์ฌ์ฉํ ์ ์์ผ๋ฉฐ, ํต๊ณ ํ ์คํธ์๋ ํ๋ฉด ๊ณ์ฐ๊ธฐ๊ฐ ์ ๊ณต๋ฉ๋๋ค.
์ด ํ ์คํธ๋ก ํ๊ฐ ๋ง๋ค๊ธฐ
์ง๋ฌด์ ๋ง๋ ํ ์คํธ๋ฅผ ์ ํํ๊ณ ์ง์์๋ฅผ ์ด๋ํด ๊ฒฐ๊ณผ๋ฅผ ๋น๊ตํ์ธ์.