빅데이터5 빅데이터 특성 5V, 크기/속도/다양성/정확성/가치 빅데이터의 특성 우리의 세계는 데이터로 인해 돌아가고 있습니다. Google 검색 및 온라인 쇼핑 습관과 같은 활동을 보여주는 데이터부터 텍스트, 스마트폰 및 가상 도우미를 통한 커뮤니케이션 및 대화, 모든 사진과 비디오를 통해 수집한 센서 데이터 등 매일 2조 5천억 바이트의 데이터가 생성됩니다. 기업과 조직은 이러한 데이터를 더 잘 관리하고 보호할수록 더 많은 성공을 거둘 수 있습니다. 대부분의 사람들은 빅데이터가 볼륨(크기), 속도, 다양성, 정확성이라는 특성을 갖는다고 하여 4V라고 부릅니다. 그러나 데이터가 조직에 유용하기 위해서는 빅 데이터의 중요한 다섯 번째 특성인 가치를 창출해야 합니다. 빅데이터의 실제 적용 사례들 2021/02/08 - [Tech] - 실제 산업에 빅데이터 기술을 적용하.. 2021. 2. 28. 자연어 처리(NLP)의 간단한 이해와 적용 사례들 자연어 처리(NLP)는 무엇이고 왜 중요한가? 자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 인간의 언어를 이해할 수 있도록 하는 기술을 말합니다. NLP는 컴퓨터가 자체적으로 "말하기"를 생성하는 자연어 생성(NLG)을 가능하게 할 뿐만 아니라 텍스트를 읽고, 편집하고, 요약하는 데 도움을 줍니다. 즉, NLP는 빅스비가 여러분의 요청을 이해할 수 있게 해주는 기술이고 NLG는 빅스비가 자연적으로 들리는 언어로 응답할 수 있다는 것을 의미합니다. 그 외에도 알렉사와 시리와 같은 스마트한 디지털 어시스턴트는 NLP 기술을 사용한 가장 대표적인 제품입니다. NLP는 중요한 기술 트렌드입니다. 왜냐하면 전세계의 많은 정보들이 자연어로 이루어져 있기 때문입니다. 이메일, .. 2021. 2. 16. 빅데이터 처리 프레임워크, 아파치 스파크의 간단한 개념과 원리 이해 스파크의 간단한 소개 기본적으로 스파크는 빅데이터 프로젝트를 위한 여러 개의 상호 연결된 플랫폼, 시스템 및 표준을 제공하는 프레임워크입니다. 스파크도 하둡과 마찬가지로 오픈 소스이며 Apache Software Foundation의 산하에 있습니다. 본질적으로, 오픈 소스란 누구나 자유롭게 사용할 수 있다는 것을 의미합니다. 그 외에도, 특정 문제 또는 산업을 목표로 하는 맞춤형 버전을 생산하기 위해 누구나 변경할 수 있습니다. 사용자 지정 버전을 생산하는 회사뿐만 아니라 개인 개발자도들도 핵심 소프트웨어를 지속적으로 개선 및 업데이트하여 더 많은 기능과 효율성을 제공합니다. 스파크는 아파치에서 가장 활발한 프로젝트 중 하나였습니다. 또한 200개 이상의 조직에서 500명 이상의 기여자를 보유하고 있는.. 2021. 2. 11. 카프카(Kafka)의 간단한 개념과 원리 빅데이터 처리용 오픈 소스 기업이 사용할 수 있는 데이터의 양이 점점 더 많아지고 있고, 이것을 처리하고 배울 수 있도록 돕기 위해 등장한 플랫폼, 프레임워크 및 기술의 수는 어마어마할 수 있습니다. 대표적으로 Hadoop, Spark, Tensorflow, Python와 같은 것들이 있습니다. 그 중에서 빅데이터 처리에서 가장 많이 쓰이는 Kafka는 고속으로 실시간 정보 처리를 위해 특별히 설계된 데이터 처리 엔진입니다. 카프카는 무엇인가 Kafka는 스트리밍 데이터를 저장, 읽기, 분석하는 프레임워크를 제공하는 오픈 소스 소프트웨어입니다. 오픈 소스라는 것은 기본적으로 사용이 자유롭고 업데이트, 새로운 기능, 새로운 사용자에 대한 지원 제공에 기여하는 사용자와 개발자의 대규모 네트워크를 가지고 있다.. 2021. 2. 10. 실제 산업에 빅데이터 기술을 적용하는 방법과 사례 고객의 데이터를 분석 많은 기업들은 빅데이터 기술을 고객의 행동 및 선호도를 더 잘 이해하기 위해 사용합니다. 기업은 자신들의 고객을 완벽하게 파악할 수 있도록 소셜 미디어 데이터, 브라우저 로그, 텍스트 분석 및 센서 데이터를 통해 기존 데이터 세트를 확장하고자 합니다. 이를 통해 이루고자 하는 큰 목표는 예측 모형을 만드는 것입니다. 통신 회사는 이제 고객의 이탈을 더 잘 예측할 수 있고, 대형 마트들은 어떤 제품이 팔릴지 예측할 수 있으며, 자동차 보험 회사는 고객이 실제로 얼마나 잘 운전하는지 이해할 수 있습니다. 스키장에서는 리프트 티켓에 삽입된 RFID 태그는 리프트에서 대기 시간을 줄일 수 있을 뿐만 아니라 스키 선수가 길을 잃었을 때 개인 스키어의 움직임을 추적하는 데도 도움이 될 수 있습.. 2021. 2. 8. 이전 1 다음 반응형
