Machine May Lie

카푸카(KAFKA)란? Apache Kafka(Kafka)는 실시간 이벤트 기반 애플리케이션 개발을 지원하는 것을 비롯하여 많은 이점을 가진 오픈 소스 분산형 스트리밍 플랫폼이다 (출처) Pub-Sub 모델의 메세지 큐 형태로 동작하며 각 아키텍처간의 중간 파이프라인을 맡아 동작하며 분산환경에 특화되어 있다. 설치 환경(OS): Ubuntu 22.04 JDK 유무 확인 KAFKA는 java로 작성되었으므로 JDK가 필요하다 그러므로 JDK의 존재 유무를 확인하여 없을시 설치해야한다 root@ubuntu:/home/ubuntu# apt list default-jdk Listing... Done default-jdk/jammy,now 2:1.11-72build2 amd64 [installed] #jdk가 설..

Metricbeat 란? 운영 체제 및 서버에서 실행되는 서비스에서 주기적으로 메트릭(Metric)을 수집하는 경량 수집기이다. 주로 하드웨어 위주의 수집파트를 맡는 beat로 실시간 리소스 사용량을 전달해줘 서버의 서비스 상태를 실시간으로 모니터링할 수 있다. 내가 Metricbeat를 설치하게 된 이유는 로그 수집 서버의 시스템 로그를 가져오기 위해 진행했다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) Metricbeat 설치 root@ubuntu:/home/ubuntu# curl -L -O https://artifacts..

Filebeat란? 일종의 경량화 로그 수집기 선택된 특정 로그 및 파일을 경량화 시켜 전달하며 정보의 중앙집중화를 도와주는 역활을 한다. 주로 ELK로 수집한 정보를 파싱하여 전달한다.(주로 Logstash로 보낸다) 사실상 filebeat와 같은 beats 계열 애들이 수집 대상서버에서 수집 정보를 모아 보내는 역활을 하므로 중요하다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) filebeats 설치 root@ubuntu:/home/ubuntu# wget -qO - https://artifacts.elastic.co/GPG..

Logstash 란? 데이터를 수집 및 변환하여 Elasticsearch 같은 분석엔진에 전달하는 파이프라인이다. 들어가는 곳과 나가는 곳 즉 INPUTS랑 OUTPUTS를 반드시 설정해야하며 FILTERS는 선택이다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 설치 및 설정 root@ubuntu:/usr/share/kibana# apt install logstash Reading package lists... Done Building dependency tree... Done Reading state information....

Kibana란? kibana는 Elastic Stack(ELK) 기반으로 구축된 오픈소스 프론트엔드 애플리케이션 Elasticsearch에서 색인된 데이터들을 검색해서 분석 및 시각화하는 대시보드 플랫폼 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 키바나 설치 및 서비스 등록 root@ubuntu:/usr/share/elasticsearch# apt install kibana Reading package lists... Done Building dependency tree... Done Reading state informati..

ELK란? Elasticsearch, Logstash, Kibana의 약자를 딴 스택을 의미하는 약어 Elasticsearch란? LogStash를 통해서 전송받은 데이터 분석 및 변환, 저장 기능을 담당하는 검색/분석 엔진이다. 단순한 데이터 검색 및 정보 집계를 넘어 데이터의 추세와 패턴을 발견할 수 있게한다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 사전 마운트 작업 (넘기기 가능) 필자는 ELK에서 생성되는 분석/저장 파일들을 따로 보관할 예정이여서 하드를 하나 더 마운트시켜 거기로 설정해둘 예정이다. 이것은 그 사전..

jenkins(젠킨스)란? CI/CD(지속적인 통합/배포)를 위한 도구로 소프트웨어 개발 프로세스의 빌드, 테스트, 배포 등을 자동화 해주는 도구이다. Git과 연동하여 다양한 플로그인 사용이 가능하다 (디폴트 기준)8080port로 대시보드에 접속하며 50000port의 파이프라인을 통해 슬레이브들에게 배포된다. History Api의 효율적인 배포를 위해 jenkins를 통한 CI/CD 배포 환경이 필요하게 되었는데 현재 사내 공인아이피를 대부분 사용하고 있어서 추가적으로 요청을 하던지 해서 얻어야하지만 젠킨스 하나만 사용하겠다고 추가 인스턴스에 공인 IP를 할당 받는건 비효율적이라 생각해 기존의 OpenVpn용으로 생성했던 인스턴스에 볼륨만 추가해 jenkins 서비스를 설치할 생각이다. 이러한 사..

OpenStack Block Storage 서비스 Cinder는 가상 머신에 영구 스토리지를 추가한다. 블록 스토리지는 볼륨 관리를위한 인프라를 제공하고 OpenStack Compute(nova)와 상호 작용하여 인스턴스 볼륨을 제공한다. 또한 이 서비스를 통해 볼륨 스냅 샷 및 볼륨 유형을 관리 할 수 ​​있다. 해당 구축은 컨트롤러 노드와 스토리지 노드로 나누어지며 단일노드일경우 한 노드에 다 넣으면 된다. 컨트롤러 노드 DB, 서비스 사용자 등록 및 API 엔드포인트 생성 sudo su root #root 권한 습득 mysql #mariadb 접속 MariaDB [(none)]> CREATE DATABASE cinder; #cinder DB생성 MariaDB [(none)]> GRANT ALL PR..

호라이즌 관련 정보 호라이즌은 openstack에서 대시보드 서비스를 맡고 있다. (추가예정) 구성 요소 설치 및 구성 apt-get update #최신화 apt install openstack-dashboard #패키지 설치 vi /etc/openstack-dashboard/local_settings.py OPENSTACK_HOST = "controller" #컨트롤 노드에서 OpenStack 서비스를 사용하도록 대시보드를 구성 ALLOWED_HOSTS = '*' #모든 엑세스 허용 #SESSION_ENGINE = 'django.contrib.sessions.backends.signed_cookies' SESSION_ENGINE = 'django.contrib.sessions.backends.cache..

뉴트론은 오픈스텍에서 네트워크 서비스를 맡고 잇다. 다중 노드일시 네트워크 노드를 따로 구축하며 단일 노드일시 파일에 추가적인 기입만 하면 된다. 네트워킹은 Provider network와 Self-service network로 나뉘어 지는데 보통 Self-service에 Provider 설정이 들어가 있으므로 Self-service 설정 방법으로 진행한다. 이번에도 공식 메뉴얼에서 몇몇 오탈자가 발견되어 수정해서 작성하였으니 유의하며 진행하길 바란다. nova와 horizon, cinder 다음으로 오류를 잘내는 서비스이니 log 위치를 알아두면 좋다 해당 서비스의 로그는 디폴트로 "/var/log/neutron/"에 존재하며 권한 설정상 root 상태로 들어가야한다. 컨트롤러 노드 DB, 서비스 사용..