본문 바로가기

All218

빅데이터 처리 프레임워크, 아파치 스파크의 간단한 개념과 원리 이해 스파크의 간단한 소개 기본적으로 스파크는 빅데이터 프로젝트를 위한 여러 개의 상호 연결된 플랫폼, 시스템 및 표준을 제공하는 프레임워크입니다. 스파크도 하둡과 마찬가지로 오픈 소스이며 Apache Software Foundation의 산하에 있습니다. 본질적으로, 오픈 소스란 누구나 자유롭게 사용할 수 있다는 것을 의미합니다. 그 외에도, 특정 문제 또는 산업을 목표로 하는 맞춤형 버전을 생산하기 위해 누구나 변경할 수 있습니다. 사용자 지정 버전을 생산하는 회사뿐만 아니라 개인 개발자도들도 핵심 소프트웨어를 지속적으로 개선 및 업데이트하여 더 많은 기능과 효율성을 제공합니다. 스파크는 아파치에서 가장 활발한 프로젝트 중 하나였습니다. 또한 200개 이상의 조직에서 500명 이상의 기여자를 보유하고 있는.. 2021. 2. 11.
인공지능 언어 모델 GPT-3의 간단한 이해와 원리 가장 뛰어난 인공지능 언어 모델 GPT-3 일론 머스크가 공동 설립한 OpenAI는 수년간 인공지능 분야에서 가장 중요하고 유용한 발전으로 평가받아 왔습니다. 특히 GPT-3는 이전에 나온 어떤 모델보다도 언어 구조를 잘 이해하고 자연어를 잘 처리하는 인공지능 모델입니다. GPT-3는 Generative Pre-trained Transformer 3의 약자이며 세번째 버전으로 출시된 모델입니다. 이를 직역하자면 사전 학습된 알고리즘을 사용하여 텍스트를 생성한다는 뜻입니다. 즉, 작업을 수행하는 데 필요한 모든 데이터를 이미 공급받은 모델입니다. 특히, OpenAI에서 선택한 다른 텍스트와 함께 위키백과를 포함한 인터넷을 탐색하여 수집한 약 570GB의 텍스트 정보를 제공받았습니다. 만약 이 모델에게 어떠.. 2021. 2. 10.
카프카(Kafka)의 간단한 개념과 원리 빅데이터 처리용 오픈 소스 기업이 사용할 수 있는 데이터의 양이 점점 더 많아지고 있고, 이것을 처리하고 배울 수 있도록 돕기 위해 등장한 플랫폼, 프레임워크 및 기술의 수는 어마어마할 수 있습니다. 대표적으로 Hadoop, Spark, Tensorflow, Python와 같은 것들이 있습니다. 그 중에서 빅데이터 처리에서 가장 많이 쓰이는 Kafka는 고속으로 실시간 정보 처리를 위해 특별히 설계된 데이터 처리 엔진입니다. 카프카는 무엇인가 Kafka는 스트리밍 데이터를 저장, 읽기, 분석하는 프레임워크를 제공하는 오픈 소스 소프트웨어입니다. 오픈 소스라는 것은 기본적으로 사용이 자유롭고 업데이트, 새로운 기능, 새로운 사용자에 대한 지원 제공에 기여하는 사용자와 개발자의 대규모 네트워크를 가지고 있다.. 2021. 2. 10.
[품질경영기사] 생산시스템 과목, 빈출 개념 정리 (下) (上)편에서 이어지는 내용입니다. 2021/02/06 - [Study] - [품질경영기사] 생산시스템 과목, 빈출 개념과 문항 정리 (上) [품질경영기사] 생산시스템 과목, 빈출 개념과 문항 정리 (上) 생산시스템 개념 생산관리란 생산 목표를 달성하도록 적절한 품질의 제품을 적시 적가로 생산하는 것을 관리하고 조정하는 활동이다. 수행목표: 품질, 원가, 납기, (+유연성) 기본 기능 3가지: 설 tech95.kr JIT (적시 생산 시스템, 도요타 생산방식) 생산 준비시간을 단축해서 리드타임이 단축됨 간판시스템을 사용해서 재고수준을 감소함 간판은 생산흐름을 통제하기 위한 카드, 부적합품을 허용하지 않음 Pull 방식의 자재흐름 생산의 평준화를 위해 소로트화를 가지고 작업부하량이 균일해짐 작업자의 다기능공.. 2021. 2. 9.
페이스북의 뉴스피드 추천 알고리즘, 머신러닝 기반 랭킹 알고리즘 개인 추천 시스템, 랭킹 알고리즘의 중요성 20억 명이 넘는 사람들을 위한 개인화된 랭킹 시스템을 설계하는 것은 매우 중요한 만큼 구현하는 것이 매우 어렵습니다. 이 시스템을 사용해서 사용자들에게 알맞는 뉴스피드를 제공할 수 있기 때문에 이를 해결하는 것이 중요한 과제라고 볼 수 있습니다. 기계 학습이 없다면, 사람들의 뉴스피드는 지나치게 홍보적인 콘텐츠나 자주 게시하는 지인들의 콘텐츠 등, 관련이 없거나 흥미롭지 못한 콘텐츠로 넘쳐날 수 있습니다. 랭킹 알고리즘은 이러한 문제를 해결하는 데 도움이 되지만, 어떻게 하면 전 세계 수십억 명의 사람들과 개인적으로 관련이 있는 다양한 종류의 콘텐츠를 제공하는 시스템을 구축할 수 있을까요? 페이스북은 기계학습을 사용하여 사용자들에게 유익한 경험을 지원하기 위해.. 2021. 2. 9.
실제 산업에 빅데이터 기술을 적용하는 방법과 사례 고객의 데이터를 분석 많은 기업들은 빅데이터 기술을 고객의 행동 및 선호도를 더 잘 이해하기 위해 사용합니다. 기업은 자신들의 고객을 완벽하게 파악할 수 있도록 소셜 미디어 데이터, 브라우저 로그, 텍스트 분석 및 센서 데이터를 통해 기존 데이터 세트를 확장하고자 합니다. 이를 통해 이루고자 하는 큰 목표는 예측 모형을 만드는 것입니다. 통신 회사는 이제 고객의 이탈을 더 잘 예측할 수 있고, 대형 마트들은 어떤 제품이 팔릴지 예측할 수 있으며, 자동차 보험 회사는 고객이 실제로 얼마나 잘 운전하는지 이해할 수 있습니다. 스키장에서는 리프트 티켓에 삽입된 RFID 태그는 리프트에서 대기 시간을 줄일 수 있을 뿐만 아니라 스키 선수가 길을 잃었을 때 개인 스키어의 움직임을 추적하는 데도 도움이 될 수 있습.. 2021. 2. 8.
가장 효과적인 운동/건강/피트니스 앱, 나이키 런 클럽과 My Fitness Pal 건강, 피트니스 앱을 사용하는 이유 대부분의 사람들은 체중 감량, 다이어트에 실패합니다. 왜냐하면 여러분이 첫 며칠 동안만 어떤 의지력이라도 발휘했기 때문이에요. 살을 빼거나 운동을 해서 몸을 키우는 것에는 중장기적인 노력이 필요합니다. 또한 가장 좋은 방법은 긍정적인 결과를 더해줄 새롭고 건강한 습관을 들이는 것이 더 좋습니다. 내 몸에 좋은 습관을 만들어서 내가 굳이 신경을 쓰지 않아도 건강한 몸을 유지할 수 있도록 하는 것 입니다. 사실 제2의 습관을 만들기까지 스케줄을 짜고 스스로 무언가를 하도록 하지 않으면 처음에는 힘들 수 있습니다. 친구와 함께 목표를 세우거나 우호적인 경쟁 구도를 형성하여 서로 지속적으로 노력을 기울이는 방법도 있고 아니면 다양한 사람들과도 할 수 있습니다. 이를 도와주기 .. 2021. 2. 8.
새로운 원격 플랫폼 마이크로소프트 Viva(비바) 직원 경험 플랫폼 코로나 바이러스 대유행으로 인해, 전 세계의 많은 기관들이 원격 근무로 전환했습니다. 일부 조직은 원격 작업에 장기적인 노력을 기울여 왔으며 새로운 Microsoft 모듈은 팀 워크플로우, 정보 공유, 학습 기회 등을 개선할 수 있습니다. Microsoft는 Microsoft Viva를 "새로운 접근 방식과 새로운 기술 솔루션 범주"의 일부로 발표했습니다. Microsoft Viva는 기존 Microsoft 제품과 새로운 기능을 하나의 플랫폼에 통합합니다. 전체적으로 Microsoft Viva는 Viva Connections, Viva Learning, Viva Insights 및 Viva Topics를 포함한 4개의 모듈로 구성됩니다. 이러한 기능은 함께 원격 및 하이브리드 인력 간의.. 2021. 2. 7.
간단하게 와이파이 속도를 높이는 방법 느린 인터넷 연결 속도만큼 사람의 짜증을 유발시킬 수 있는 것은 없습니다. SNS와 웹사이트에서 버벅거리거나 유튜브를 시청할 때 버퍼링이 조금이라도 생기면 다들 답답하게 느껴질 겁니다. 이러한 일들은 밖에서 자주 일어나지만 가끔은 집에서도 이런 현상들이 생길때가 있습니다. 이를 위해서 간단하고 돈이 들지도 않으면서 효율적으로 와이파이 연결을 하는 여러 방법에 대해서 알아보겠습니다. 라우터를 중앙에 배치 집에서 라우터의 위치가 매우 중요합니다. 라우터를 집의 구석에 배치하면 집의 다른 쪽 끝에 신호가 잡히거나 잡히지 않을 수도 있습니다. 또한 라우터의 이상적인 위치는 다른 전자제품에서 멀리 떨어진 개방된 공간이며 최대한 집 중앙에 가깝게 위치할수록 좋다고 보시면 됩니다. 왜냐하면 라우터 근처에 벽, 문 및.. 2021. 2. 7.
반응형

티스토리툴바