Machine May Lie

카푸카(KAFKA)란? Apache Kafka(Kafka)는 실시간 이벤트 기반 애플리케이션 개발을 지원하는 것을 비롯하여 많은 이점을 가진 오픈 소스 분산형 스트리밍 플랫폼이다 (출처) Pub-Sub 모델의 메세지 큐 형태로 동작하며 각 아키텍처간의 중간 파이프라인을 맡아 동작하며 분산환경에 특화되어 있다. 설치 환경(OS): Ubuntu 22.04 JDK 유무 확인 KAFKA는 java로 작성되었으므로 JDK가 필요하다 그러므로 JDK의 존재 유무를 확인하여 없을시 설치해야한다 root@ubuntu:/home/ubuntu# apt list default-jdk Listing... Done default-jdk/jammy,now 2:1.11-72build2 amd64 [installed] #jdk가 설..

들어가며 그런일은 있으면 안되겠지만 'apt remove'를 사용하다가 예상치못한 관련성 패키지까지 삭제되버리는 그런 상황이 한번쯤은 일어나게 되는데 그때의 절망감은 생각하기도 싫을 정도이다. 일단 관련성 패키지가 삭제에 해당하는걸 보자마자 빠르게 중지시키는게 베스트겠지만 이미 진행되었다면 걱정마라 그럴 때를 대비해서 아래의 방법을 소개하겠다. 삭제한 패키지 확인하기 제일 성급한것은 삭제한 것이 무엇이냐 알아내는 것이다. "cat /var/log/dpkg.log | less" 명령어를 사용해서 목록을 확인하는게 중요하다. root@testserver:/home/ubuntu# cat /var/log/dpkg.log | less 2024-03-21 15:21:20 status half-configured p..

내용: KISA에서 제공하는 사용자및 관리자의 각종 패스워드를 구성할때 필요한 권장사항을 간략하게 정리한 문서(안내서) 사용용도: 기업 내 사용자용 계정 PW, 서버 PW 등 패스워드가 필요한 곳에는 가이드라인으로 써 유용하게 적용가능 출처: https://seed.kisa.or.kr/kisa/Board/53/detailView.do

Metricbeat 란? 운영 체제 및 서버에서 실행되는 서비스에서 주기적으로 메트릭(Metric)을 수집하는 경량 수집기이다. 주로 하드웨어 위주의 수집파트를 맡는 beat로 실시간 리소스 사용량을 전달해줘 서버의 서비스 상태를 실시간으로 모니터링할 수 있다. 내가 Metricbeat를 설치하게 된 이유는 로그 수집 서버의 시스템 로그를 가져오기 위해 진행했다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) Metricbeat 설치 root@ubuntu:/home/ubuntu# curl -L -O https://artifacts..

Filebeat란? 일종의 경량화 로그 수집기 선택된 특정 로그 및 파일을 경량화 시켜 전달하며 정보의 중앙집중화를 도와주는 역활을 한다. 주로 ELK로 수집한 정보를 파싱하여 전달한다.(주로 Logstash로 보낸다) 사실상 filebeat와 같은 beats 계열 애들이 수집 대상서버에서 수집 정보를 모아 보내는 역활을 하므로 중요하다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) filebeats 설치 root@ubuntu:/home/ubuntu# wget -qO - https://artifacts.elastic.co/GPG..

Logstash 란? 데이터를 수집 및 변환하여 Elasticsearch 같은 분석엔진에 전달하는 파이프라인이다. 들어가는 곳과 나가는 곳 즉 INPUTS랑 OUTPUTS를 반드시 설정해야하며 FILTERS는 선택이다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 설치 및 설정 root@ubuntu:/usr/share/kibana# apt install logstash Reading package lists... Done Building dependency tree... Done Reading state information....

Kibana란? kibana는 Elastic Stack(ELK) 기반으로 구축된 오픈소스 프론트엔드 애플리케이션 Elasticsearch에서 색인된 데이터들을 검색해서 분석 및 시각화하는 대시보드 플랫폼 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 키바나 설치 및 서비스 등록 root@ubuntu:/usr/share/elasticsearch# apt install kibana Reading package lists... Done Building dependency tree... Done Reading state informati..

발단 metricbeat의 관련 덤프 파일을 삭제하는 과정중에서 실수로 설정파일인 metricbeat.yml를 삭제해 버렸다 해당 metricbeat는 deb파일로 설치한 서비스로 dpkg 명령어를 사용한다 어쨋든 metricbeat.yml가 없으면 서비스가 돌아가지 못하므로 복구를 해야했다 조치 일단 dpkg에 무결성을 확인하는 명령어가 있어서 복구까지 해주나 싶어 해당 명령어부터 사용해봤다 root@ubuntu:/home/ubuntu# dpkg -V metricbeat missing c /etc/metricbeat/metricbeat.yml 안해준다 걍 무슨 파일이 없다고만 알려주는거 뿐이였다. 찾던 도중 dpkg에서 재설치 옵션을 알아내서 사용해봤다 root@ubuntu:/home/ubuntu# d..

ELK란? Elasticsearch, Logstash, Kibana의 약자를 딴 스택을 의미하는 약어 Elasticsearch란? LogStash를 통해서 전송받은 데이터 분석 및 변환, 저장 기능을 담당하는 검색/분석 엔진이다. 단순한 데이터 검색 및 정보 집계를 넘어 데이터의 추세와 패턴을 발견할 수 있게한다. 구축환경 OS: Ubiuntu 22.04 CPU: 4v Cpu RAM: 16GB DISK: 100GB(OS 및 프로그램 설치할 하드) + 100GB(ELK 분석/저장 파일 보관할 하드) ETC: Openstack(IAAS) 사전 마운트 작업 (넘기기 가능) 필자는 ELK에서 생성되는 분석/저장 파일들을 따로 보관할 예정이여서 하드를 하나 더 마운트시켜 거기로 설정해둘 예정이다. 이것은 그 사전..

발단 root@ubuntu:/var/log/elasticsearch# curl -X GET "localhost:9200" curl: (52) Empty reply from server [WARN ][o.e.h.n.Netty4HttpServerTransport] [ubuntu] received plaintext http traffic on an https channel, closing connection Netty4HttpChannel{localAddress=/127.0.0.1:9200, remoteAddress=/127.0.0.1:52654} root@ubuntu:/var/lib# systemctl status elasticsearch ● elasticsearch.service - Elasticsearc..