주식 매수 프로그램을 짜기전에 우선 아키텍처 부터 설계하고 들어가기 위해 필요한 것들을 공부했다.
우선 redis가 필요함을 느꼈다.
모의 투자 프로그램을 만드는데 수많은 데이터를 빠르게 받아와 처리해야하는데
redis는 메모리에 데이터를 저장하는 방식으로써 db에 접근하는 것보다 훨씬 빠르게 데이터를 처리할 수 있음을 알게되었다.
하지만 redis는 메모리에 작성하기 때문에 데이터 유실 가능성이 존재했다.
물론 스냅샷과 OAF방식(?)으로 db에 저장하는 방식이 존재하지만
주식 거래는 절대 데이터가 유실되면 안된다.
위의 방식은 메모리에 데이터가 올라가고 db에 데이터를 전송하는 시간 차에 서버가 다운되거나 에러가 발생하면 데이터의 유실로 이어진다.
그래서 카프카를 적용해보려고 한다.
카프카에 대한 정확한 정의는 힘들지만 내가 사용하는 이유는 명확하다.
redis에서의 데이터 유실을 막기위해서이다.
redis에서 메모리에 저장한 데이터를 카프카로 보내면 해당 큐에 데이터를 넣어 처리한다.
그리고 이를 처리함으로써 데이터 유실을 막는다.
하지만 이때 데이터 redis가 카프카로 데이터를 보내고,
카프카에서 db로 데이터를 저장하는 시간 사이에 서버가 다운되면 문제가 발생할 수 있다고 생각했다.
하지만 offset방식으로 항상 보낸 데이터의 위치를 정확히 기록하고 있기에 서버가 다운되더라도 데이터 유실의 가능성은 없다고 한다.
실제로 큰 서비스를 운영하는 곳에서도 카프카를 사용함으로 믿고 사용해도 되겠다.
오늘은 설날이라 가족끼리 시간을 많이 보냈다.
그래서 공부에 많은 시간을 할애하지 못했는데 앞으로 시간을 투자하면서 속도를 올려보겠다.
그리고 이번주 목표는 아키텍처를 완성하는 거다.
내 목표는 주식(코인)뭐가될진 모르겠지만 이 API를 활용해 거래가 되도록 만들고,
그리고 이 거래한 데이터를 금융 AGENT라는 것을 구현해서 이 타이밍 좋았는지 나빴는지 정도로 구현해 보고싶은 마음이 있다.
물론 이게 될진 모르겠지만 AI를 믿고 한번 구현해보겠다.
물론 AI를 완전히 의존하겠다는 건 아니다. 왜냐하면 AI에 의존하면 에러가 나면 도저히 복구가 하기 어려움것 같기 때문이다.
그래서 사전 프롬프트를 내가 묻는것에만 답하고, 그 이상의 것에는 답을 하지 못하도록 만들었다.
이제 1일차다.
계속 정진해보겠다.
'취업준비' 카테고리의 다른 글
| 나와 같은 취업준비를 하는 취준생들에게... (0) | 2026.02.17 |
|---|
