본문 바로가기

Tech42

빅데이터 처리 프레임워크, 아파치 스파크의 간단한 개념과 원리 이해 스파크의 간단한 소개 기본적으로 스파크는 빅데이터 프로젝트를 위한 여러 개의 상호 연결된 플랫폼, 시스템 및 표준을 제공하는 프레임워크입니다. 스파크도 하둡과 마찬가지로 오픈 소스이며 Apache Software Foundation의 산하에 있습니다. 본질적으로, 오픈 소스란 누구나 자유롭게 사용할 수 있다는 것을 의미합니다. 그 외에도, 특정 문제 또는 산업을 목표로 하는 맞춤형 버전을 생산하기 위해 누구나 변경할 수 있습니다. 사용자 지정 버전을 생산하는 회사뿐만 아니라 개인 개발자도들도 핵심 소프트웨어를 지속적으로 개선 및 업데이트하여 더 많은 기능과 효율성을 제공합니다. 스파크는 아파치에서 가장 활발한 프로젝트 중 하나였습니다. 또한 200개 이상의 조직에서 500명 이상의 기여자를 보유하고 있는.. 2021. 2. 11.
인공지능 언어 모델 GPT-3의 간단한 이해와 원리 가장 뛰어난 인공지능 언어 모델 GPT-3 일론 머스크가 공동 설립한 OpenAI는 수년간 인공지능 분야에서 가장 중요하고 유용한 발전으로 평가받아 왔습니다. 특히 GPT-3는 이전에 나온 어떤 모델보다도 언어 구조를 잘 이해하고 자연어를 잘 처리하는 인공지능 모델입니다. GPT-3는 Generative Pre-trained Transformer 3의 약자이며 세번째 버전으로 출시된 모델입니다. 이를 직역하자면 사전 학습된 알고리즘을 사용하여 텍스트를 생성한다는 뜻입니다. 즉, 작업을 수행하는 데 필요한 모든 데이터를 이미 공급받은 모델입니다. 특히, OpenAI에서 선택한 다른 텍스트와 함께 위키백과를 포함한 인터넷을 탐색하여 수집한 약 570GB의 텍스트 정보를 제공받았습니다. 만약 이 모델에게 어떠.. 2021. 2. 10.
카프카(Kafka)의 간단한 개념과 원리 빅데이터 처리용 오픈 소스 기업이 사용할 수 있는 데이터의 양이 점점 더 많아지고 있고, 이것을 처리하고 배울 수 있도록 돕기 위해 등장한 플랫폼, 프레임워크 및 기술의 수는 어마어마할 수 있습니다. 대표적으로 Hadoop, Spark, Tensorflow, Python와 같은 것들이 있습니다. 그 중에서 빅데이터 처리에서 가장 많이 쓰이는 Kafka는 고속으로 실시간 정보 처리를 위해 특별히 설계된 데이터 처리 엔진입니다. 카프카는 무엇인가 Kafka는 스트리밍 데이터를 저장, 읽기, 분석하는 프레임워크를 제공하는 오픈 소스 소프트웨어입니다. 오픈 소스라는 것은 기본적으로 사용이 자유롭고 업데이트, 새로운 기능, 새로운 사용자에 대한 지원 제공에 기여하는 사용자와 개발자의 대규모 네트워크를 가지고 있다.. 2021. 2. 10.
페이스북의 뉴스피드 추천 알고리즘, 머신러닝 기반 랭킹 알고리즘 개인 추천 시스템, 랭킹 알고리즘의 중요성 20억 명이 넘는 사람들을 위한 개인화된 랭킹 시스템을 설계하는 것은 매우 중요한 만큼 구현하는 것이 매우 어렵습니다. 이 시스템을 사용해서 사용자들에게 알맞는 뉴스피드를 제공할 수 있기 때문에 이를 해결하는 것이 중요한 과제라고 볼 수 있습니다. 기계 학습이 없다면, 사람들의 뉴스피드는 지나치게 홍보적인 콘텐츠나 자주 게시하는 지인들의 콘텐츠 등, 관련이 없거나 흥미롭지 못한 콘텐츠로 넘쳐날 수 있습니다. 랭킹 알고리즘은 이러한 문제를 해결하는 데 도움이 되지만, 어떻게 하면 전 세계 수십억 명의 사람들과 개인적으로 관련이 있는 다양한 종류의 콘텐츠를 제공하는 시스템을 구축할 수 있을까요? 페이스북은 기계학습을 사용하여 사용자들에게 유익한 경험을 지원하기 위해.. 2021. 2. 9.
실제 산업에 빅데이터 기술을 적용하는 방법과 사례 고객의 데이터를 분석 많은 기업들은 빅데이터 기술을 고객의 행동 및 선호도를 더 잘 이해하기 위해 사용합니다. 기업은 자신들의 고객을 완벽하게 파악할 수 있도록 소셜 미디어 데이터, 브라우저 로그, 텍스트 분석 및 센서 데이터를 통해 기존 데이터 세트를 확장하고자 합니다. 이를 통해 이루고자 하는 큰 목표는 예측 모형을 만드는 것입니다. 통신 회사는 이제 고객의 이탈을 더 잘 예측할 수 있고, 대형 마트들은 어떤 제품이 팔릴지 예측할 수 있으며, 자동차 보험 회사는 고객이 실제로 얼마나 잘 운전하는지 이해할 수 있습니다. 스키장에서는 리프트 티켓에 삽입된 RFID 태그는 리프트에서 대기 시간을 줄일 수 있을 뿐만 아니라 스키 선수가 길을 잃었을 때 개인 스키어의 움직임을 추적하는 데도 도움이 될 수 있습.. 2021. 2. 8.
차세대 디스플레이, 마이크로 LED 기술의 원리와 장단점 차세대 디스플레이 기술, 마이크로LED TV, 디스플레이 기술은 매년 좋은 화질과 큰 디스플레이 화면으로 발전하고 성장해가고 있습니다. 그리고 현재 MicroLED라고 불리는 TV 기술은 가장 최신의 최고의 기술이라고 볼 수 있습니다. MicroLED는 수백만 개의 작은 개별 주소 지정이 가능한 LED를 사용하는 기술입니다. 현재 제일 좋은 기술인 OLED의 화질에 필적하면서도 밝기는 더 우수하고 번인 가능성은 더 낮다고 합니다. 삼성은 지난 몇 년 동안 CES에서 75~292인치 크기의 마이크로 LED 프로토타입을 선보였습니다. 올해 온라인으로 개최한 CES 2021에서 55인치 HD 이미지 4개를 동시에 표시할 수 있는 $156,000 110인치 모델을 선보였습니다. 올해 말에는 88인치와 99인치라.. 2021. 2. 1.
페이스북이 대규모 하드웨어와 시스템 장애를 처리하는 방법들 Facebook의 서비스는 전 세계 데이터 센터의 서버에 의존합니다. 모든 서버는 애플리케이션을 실행하고 서비스에 필요한 성능을 제공합니다. 그렇기 때문에 서버 하드웨어의 안정성을 확인하고 서비스 중단을 최소화하면서 규모에 맞게 서버 하드웨어 오류를 관리 할 수 있어야 합니다. 하드웨어 구성 요소 자체는 재료 저하(회전식 하드 디스크 드라이브의 기계적 구성 요소), 내구성 수준을 초과하여 사용 중인 장치(NAND 플래시 장치), 환경 영향(습도로 인한 부식), 제조 결함 등 여러 가지 이유로 인해 고장날 수 있습니다. 일반적으로 데이터 센터에서 어느정도의 하드웨어 장애가 항상 발생할 것으로 예상되기 때문에 서비스 중단을 최소화하기 위해 클러스터 관리 시스템과 같은 시스템을 구현합니다. 페이스북은 하드웨어.. 2021. 1. 31.
원격 무선충전 경쟁에서 한발 앞선 샤오미, Mi Air Charge 무선 충전 경쟁 속에서 한발 앞선 샤오미 샤오미와 OPPO와 같은 중국 OEM들은 최고의 스마트폰 충전 속도를 위해 경쟁하고 있는 것처럼 보입니다. 그들은 선두자리를 차지하기 위해 무한경쟁을 하고 있는 상황입니다. 다만 현재로서는 샤오미가 원격 무선충전 'Mi Air Charge'를 공개되면서 무선 충전 경쟁에서 막 우위를 점한 것으로 보입니다. 미세한 디테일이 다소 아쉽기는 하지만 모바일뿐만 아니라 IoT에서도 회사의 미래 기술을 위한 토대가 될 수 있습니다. 지금은 무선 충전이 매우 보편적일 수 있지만, 여전히 우리들 중 많은 사람들이 생각하는 이상과는 거리가 멀다고 볼 수 있습니다. 전기의 전송 자체는 무선일 수 있지만 Qi와 같은 현재의 표준은 여전히 서로 실제로 접촉하는 충전 코일 사이의 매우 .. 2021. 1. 30.
인공지능 소프트웨어가 탑재된 Cawamo CCTV 인공지능 소프트웨어 CCTV스마트 시티 기술의 선구적인 사용으로 유명한 애틀랜타 북동부의 도시인 Pachtree Corners는 새로운 도구를 라인업에 추가하고 있습니다. 사람들이 COVID-19 규정을 위반하고 있는지 여부를 인공지능 소프트웨어가 탑재된 보안 카메라로 식별할 수 있는 기능을 제공하고 있습니다. 영국에 본사를 둔 CCTV 기술 회사인 Cawamo가 만든 이 소프트웨어는 어떤 보안 카메라에도 사용할 수 있습니다. 즉, 사용하기 위해 새 하드웨어를 구입할 필요가 없습니다. 대신, AI는 라이브 피드를 모니터링하여 클라우드에서 처리하거나 Cawamo의 클라우드 플랫폼에 데이터를 전달하여 웹 포털 또는 모바일 앱에서 결과를 제시하기 전에 2차 분석을 위한 현장 하드웨어 장치(옵션)를 사용합니다... 2021. 1. 23.
반응형

티스토리툴바