본문 바로가기
728x90
반응형

분류 전체보기320

[kafka] 카프카 관리를 위한 주키퍼 아파치 산하 프로젝트인 하둡, 나이파이, 에이치베이스, 스톰 등 많은 애플리케이션이 부하 분산 및 확장이 용이한 분산 애플리케이션으로 개발되고 있습니다.이러한 분산 애플리케이션을 사용하게 되면, 분산 애플리케이션 관리를 위한 안정적인 코디네이션 애플리케이션이 추가로 필요하게 됩니다.주키퍼(Zookeper)주키퍼는 본래 하둡의 서브 프로젝트 중 하나였습니다.대용량 분산 처리 애플리케이션인 하둡은 중앙에서 분산 애플리케이션을 관리하는 코디네이션 애플리케이션이 필요했기 때문에, 서브 프로젝트로서 주키퍼 개발 작업을 진행했었습니다.후에 , 탑 레벨 프로젝트로 승격되었고, 현재는 아파치 카프카 뿐만 아니라 여러 분산 애플리케이션에서 사용되고 있습니다.주키퍼란?분산 애플리케이션을 위한 코디네이션 시스템입니다.분산 .. 2025. 4. 1.
[Kafka] 카프카의 동작 방식과 원리 # 카프카 동작방식카프카는 기본적으로 메시징 서버로 동작합니다. 메시지 단위를 보내는 측 (퍼블리셔 또는 프로듀서)에서 카프카에 토픽이라는 각각의 메세지 저장소에 저장하면서, 가져가는 측(서브스크라이버subscriber, consumer컨슈머)이 원하는 토픽에서 데이터를 가져가게 되어있습니다. 중앙에 메시징 서버를 두고 이렇게 메세지를 보내고 받는 형태의 통식을 펍/섭(pub/sub) 모델이라고 합니다. 프로듀서가 메시지를 컨슈머에게 직접 전달하는 게 아니라 중간의 메시징 시스템에 전달합니다. 이때 메시지 데이터와 수신처 ID를 포함시킵니다. 메세징 시스템의 교환기가 메시지의 수신처 ID 를 포함시킵니다. 메시징 시스템의 교환기가 메시지의 수신처 아이디 값을 확인한 다음 컴슈머들의 큐에 전달합니다. 컨슈.. 2025. 4. 1.
[CS 전공지식] 동기화와 교착상태 공유 자원, 동기화, 스레드 안전, 교착 상태까지 완벽 정리운영체제나 멀티스레드 프로그래밍에서 자원 공유와 동기화 문제는 매우 중요한 이슈입니다. 이 글에서는 공유 자원(Shared Resource), 임계 구역(Critical Section), 레이스 컨디션(Race Condition), 동기화 기법, 스레드 안전(Thread Safety), 그리고 교착 상태(Deadlock)까지 핵심 개념을 총정리합니다.✅ 공유 자원이란?공유 자원(Shared Resource)이란 여러 프로세스나 스레드가 동시에 접근할 수 있는 자원을 의미합니다.메모리파일전역 변수입출력 장치 등동시에 접근하면 충돌이 발생할 수 있어 동기화가 필요합니다.🚨 임계 구역(Critical Section)과 레이스 컨디션임계 구역공유 자원.. 2025. 3. 29.
[CS 전공지식] 프로세스와 스레드 프로세스와 메모리 구조, IPC 통신 정리운영체제에서 프로세스, 메모리 구조, 프로세스 상태, 문맥 교환, 그리고 프로세스 간 통신(IPC)은 시스템 프로그래밍의 핵심 개념입니다.📌 포그라운드 / 백그라운드 / 데몬 프로세스포그라운드 프로세스: 사용자와 상호작용하며 실행되는 프로세스백그라운드 프로세스: 사용자 눈에 보이지 않는 곳에서 실행데몬(Daemon): 별다른 상호작용 없이 작업만 수행하는 특별한 백그라운드 프로세스 (Windows에서는 '서비스'라고 부름)🧠 프로세스를 구성하는 메모리 구조커널 영역PCB(Process Control Block): 프로세스 관리 정보가 저장된 구조체사용자 영역코드 영역: 실행 가능한 명령어 저장 (읽기 전용)데이터 영역: 전역 변수, 정적 변수 저장힙 영역: 동.. 2025. 3. 26.
[CS전공지식] 운영체제 시스템 콜과 이중모드 시스템 콜과 이중 모드란? 운영체제 핵심 개념 정리운영체제(OS)는 시스템 자원을 효율적으로 관리하고 사용자와 하드웨어 간의 인터페이스를 제공하는 소프트웨어입니다.오늘은 시스템 콜(System Call)과 이중 모드(Dual Mode)에 대해 자세히 알아보겠습니다.🧠 사용자가 직접 메모리를 관리하면 안 되는 이유사용자가 직접 메모리나 CPU 같은 시스템 자원을 제어할 수 있다면, 운영체제의 안정성과 보안이 위협받게 됩니다.따라서 사용자는 운영체제의 핵심 기능에 직접 접근할 수 없고, 운영체제에게 요청해야 합니다. 이때 사용되는 것이 바로 시스템 콜(System Call)입니다.🔁 시스템 콜(System Call)이란?시스템 콜은 응용 프로그램이 운영체제의 서비스를 사용하고자 할 때, 운영체제에게 요청.. 2025. 3. 26.
[CS전공지식] 운영체제 운영체제(OS)란 무엇인가?운영체제(Operating System)는 컴퓨터 하드웨어와 소프트웨어를 관리하고, 사용자와 컴퓨터 간의 인터페이스를 제공하는 핵심 시스템 소프트웨어입니다.🧠 운영체제의 핵심: 커널(Kernel)운영체제의 가장 핵심적인 부분은 커널(Kernel)입니다.이는 마치 자동차의 엔진, 사람의 심장에 해당하는 부분으로, 시스템 자원을 제어하고 프로세스를 관리하는 역할을 합니다.💾 커널커널은 메모리 상에 상주하면서 CPU, 메모리, 파일 시스템, 네트워크 등 시스템 자원과 직접 상호작용합니다.🛠 운영체제의 주요 기능운영체제는 크게 두 가지 핵심 기능을 수행합니다.1️⃣ 자원 할당 및 관리 (Resource Management)CPU, 메모리, 저장장치, 입출력 장치 등의 시스템 자원.. 2025. 3. 26.
AI로 무장한 네이버 2기, 최수연 대표의 정면 승부 선언! 🤖 “AI로 무장한 네이버 2기, 최수연 대표의 정면 승부 선언!”26일, 네이버 제26기 주주총회에서 최수연 대표의 사내이사 재선임 안건이 통과되며‘최수연 2기 체제’가 공식 출범했다. 핵심 키워드는 명확하다: AI와 글로벌.📌 “모든 서비스에 AI 입힌다”… 온 서비스 AI 전략최 대표는 “검색, 커머스, 광고 등 네이버 핵심 서비스 전반에 AI를 입힌다”는 전략을 강조했다.특히 최근 선보인 AI 기반 쇼핑 앱 ‘네이버플러스 스토어’를 필두로,발견 → 탐색 → 구매까지 지원하는 에이전트형 AI 서비스들을 연내 잇달아 출시할 계획이다.“커머스 영역에서 세계 최고 수준의 뾰족한 AI 서비스를 만들겠다.” – 최수연 대표🌎 글로벌 사업 확대… 웹툰·라인을 넘어 또 하나의 성공스토리최 대표는 기존의 웹.. 2025. 3. 26.
산불에 끊긴 통신, 정부와 통신사 긴급 복구 작전 돌입! 🔥“산불에 끊긴 통신, 정부와 통신사 긴급 복구 작전 돌입!”🔥올봄 유난히 자주 발생한 산불이 이제는 우리 일상 속 ‘통신’까지 삼키고 있습니다.경남 산청, 하동, 경북 의성, 울진 등 전국 곳곳에서 동시다발적으로 발생한 산불로 인해 이동통신 서비스와 방송이 끊기는 사태가 벌어졌습니다.그런 가운데, 과학기술정보통신부(과기정통부)가 발 빠르게 대응에 나섰습니다.🚨 전국적 통신 장애, 왜 생겼나?의성, 안동 등지의 통신 장애는 대부분 한국전력의 선제적 전력 차단 조치 때문입니다.이는 산불로 인한 2차 사고를 막기 위한 필수적 선택이었죠.울진 지역에서는 SK텔레콤의 이동통신이 전면 중단되었지만, KT가 '재난로밍 명령'을 받아임시 망을 통해 통신을 복구하는 협업이 이뤄졌습니다.이는 재난 상황 속 이통사 .. 2025. 3. 26.
EC2 시스템 침투 분석 보고서 🔍 시스템 침투 분석 보고서1. 개요시스템 유형: AWS EC2 (Amazon Linux)발생 시점: 수동 분석 시점 기준 (2025.03.26 11:00)주요 증상: dub 프로세스 반복 실행, watch 및 위장 경로 생성, 메모리 내 자가 복제, 루트킷 수준 은폐2. 의심 프로세스 정보dub 프로세스가 /usr/local/bin/dub, /usr/*/usr/bin/python3 등을 통해 반복 실행PID 지속 변경, watch 등 사용dub을 실행한 watch 명령조차 위장됨정상적인 find, ps, top 명령어로는 완전히 탐지되지 않음3. 감염 경로 조사 결과docker ps -a 확인 결과, dub 관련 컨테이너 없음dub은 Docker 컨테이너 내부가 아닌 호스트 OS(ec2-user 또는.. 2025. 3. 26.
[Backend] Kafka 명령어 Kafka 서버에서 로그 확인 및 주요 운영 명령어를 정리했습니다.Kafka를 운영 및 디버깅할 때 필요한 모든 명령어를 포함합니다.1. Kafka 서버 상태 확인먼저, Kafka가 정상적으로 실행 중인지 확인해야 합니다.1.1 Docker 컨테이너 상태 확인Kafka 및 Zookeeper가 실행 중인지 확인:docker ps -aKafka와 Zookeeper가 실행 중이어야 합니다.Kafka 컨테이너가 kafka라는 이름으로 실행 중이라면, 다음 명령어로 컨테이너 내부로 진입할 수 있습니다.docker exec -it kafka bash2. Kafka 로그 확인Kafka의 실행 로그를 확인하려면 다음 명령어를 사용합니다.2.1 Docker 컨테이너 로그 확인Kafka 컨테이너의 최신 로그를 확인:doc.. 2025. 3. 15.
728x90
반응형

티스토리툴바