Machine May Lie

카푸카(KAFKA)란? Apache Kafka(Kafka)는 실시간 이벤트 기반 애플리케이션 개발을 지원하는 것을 비롯하여 많은 이점을 가진 오픈 소스 분산형 스트리밍 플랫폼이다 (출처) Pub-Sub 모델의 메세지 큐 형태로 동작하며 각 아키텍처간의 중간 파이프라인을 맡아 동작하며 분산환경에 특화되어 있다. 설치 환경(OS): Ubuntu 22.04 JDK 유무 확인 KAFKA는 java로 작성되었으므로 JDK가 필요하다 그러므로 JDK의 존재 유무를 확인하여 없을시 설치해야한다 root@ubuntu:/home/ubuntu# apt list default-jdk Listing... Done default-jdk/jammy,now 2:1.11-72build2 amd64 [installed] #jdk가 설..

Metricbeat 란? 운영 체제 및 서버에서 실행되는 서비스에서 주기적으로 메트릭(Metric)을 수집하는 경량 수집기이다. 주로 하드웨어 위주의 수집파트를 맡는 beat로 실시간 리소스 사용량을 전달해줘 서버의 서비스 상태를 실시간으로 모니터링할 수 있다. 내가 Metricbeat를 설치하게 된 이유는 로그 수집 서버의 시스템 로그를 가져오기 위해 진행했다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) Metricbeat 설치 root@ubuntu:/home/ubuntu# curl -L -O https://artifacts..

Filebeat란? 일종의 경량화 로그 수집기 선택된 특정 로그 및 파일을 경량화 시켜 전달하며 정보의 중앙집중화를 도와주는 역활을 한다. 주로 ELK로 수집한 정보를 파싱하여 전달한다.(주로 Logstash로 보낸다) 사실상 filebeat와 같은 beats 계열 애들이 수집 대상서버에서 수집 정보를 모아 보내는 역활을 하므로 중요하다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) filebeats 설치 root@ubuntu:/home/ubuntu# wget -qO - https://artifacts.elastic.co/GPG..

Logstash 란? 데이터를 수집 및 변환하여 Elasticsearch 같은 분석엔진에 전달하는 파이프라인이다. 들어가는 곳과 나가는 곳 즉 INPUTS랑 OUTPUTS를 반드시 설정해야하며 FILTERS는 선택이다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 설치 및 설정 root@ubuntu:/usr/share/kibana# apt install logstash Reading package lists... Done Building dependency tree... Done Reading state information....

Kibana란? kibana는 Elastic Stack(ELK) 기반으로 구축된 오픈소스 프론트엔드 애플리케이션 Elasticsearch에서 색인된 데이터들을 검색해서 분석 및 시각화하는 대시보드 플랫폼 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 키바나 설치 및 서비스 등록 root@ubuntu:/usr/share/elasticsearch# apt install kibana Reading package lists... Done Building dependency tree... Done Reading state informati..

ELK란? Elasticsearch, Logstash, Kibana의 약자를 딴 스택을 의미하는 약어 Elasticsearch란? LogStash를 통해서 전송받은 데이터 분석 및 변환, 저장 기능을 담당하는 검색/분석 엔진이다. 단순한 데이터 검색 및 정보 집계를 넘어 데이터의 추세와 패턴을 발견할 수 있게한다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 사전 마운트 작업 (넘기기 가능) 필자는 ELK에서 생성되는 분석/저장 파일들을 따로 보관할 예정이여서 하드를 하나 더 마운트시켜 거기로 설정해둘 예정이다. 이것은 그 사전..