티스토리

JADE's Repository

검색하기

블로그 홈

JADE's Repository

kjy042386.tistory.com/m

E-mail : jk042386@gmail.com Github : JadeKim042386

구독자: 6

방명록 방문하기

728x90

주요 글 목록

[Huggingface Spaces] Your push was rejected because it contains binary files Huggingface Spaces에 모델 파일을 git push 하는 과정에서 다음과 같은 에러가 발생했다. remote: -------------------------------------------------------------------------remote: Your push was rejected because it contains binary files.remote: Please use https://git-lfs.github.com/ to store binary files.remote: See also: https://hf.co/docs/hub/repositories-getting-started#terminalremote:remote: Offending files:remote: - ge.. 공감수 2 댓글수 1 2024. 12. 25.
[PostgreSQL] NL Join과 Hash Join은 어떻게 선택된걸까 Table우선 식당(restaurants)과 게시글(articles) 테이블을 가지고 여러 가지 테스트를 해볼 것이다. 식당 테이블에는 약 34만개, 게시글에는 1000개의 데이터가 존재한다. PK인 id만을 가지고 테스트를 해볼 것이기 때문에 스키마는 생략한다. 단, 추가로 articles의 restaurant_id를 가지는 인덱스 restaurant_idx를 생성했다.NL Join & Index Scanselect * from restaurants r , articles a where r.id Nested Loop (cost=0.70..71.30 rows=1 width=855) (actual time=0.047..0.049 rows=0 loops=1) -> Index Scan using r.. 공감수 1 댓글수 4 2024. 10. 2.
Content-based 추천 시스템 구현 (2) 이전 포스트 Content-based 추천 시스템 구현 (1)에서 Content-based 방식의 추천 알고리즘에대해 알아보고 간단하게 구현해보았다. 이때 상품의 카테고리를 기준으로 one-hot encoding한 벡터값을 활용하여 코사인 유사도를 계산하였는데, 이러한 방식은 단순히 많이 구매한 카테고리에 속한 상품을 추천해주는 것으로 밖에 안된다. 이러면 굳이 계산할 필요없이 카테고리 별로 구매한 횟수만 저장해놓고 가장 많이 구매한 카테고리의 상품들을 추천해줄 수 있다. 또한 가장 많이 구매한 카테고리에만 편향(Bias)되어 다른 카테고리에 속한 상품은 추천 대상에서 제외되는 문제가 발생하게 된다.상품 프로필 구성위와 같은 문제를 해결하기위해 카테고리 뿐만 아니라 상품 등록시 작성한 제목과 본문도 활용.. 공감수 0 댓글수 0 2024. 8. 17.
Content-based 추천 시스템 구현 (1) 휴리스틱 알고리즘으로 추천 시스템을 구현하는 방법으로 Content-based와 Collaborative Filtering이 있다. 이 두 가지 방법 중 Content-based를 적용할 것이고, 이에 대해 먼저 간단히 살펴보겠다.Content-based 추천Content-based 추천 방법은 각 사용자가 구매/만족했던 상품과 유사한 것을 추천하는 방법이다. 동작 순서는 다음과 같다.상품 프로필 수집사용자 프로필 구성사용자 프로필과 다른 상품들의 상품 프로필 매칭사용자에게 상품 추천이제 하나씩 순서대로 어떤 것을 하는지 간단하게 알아보겠다.1. 상품 프로필 수집상품 프로필이란, 상품의 특성을 나열한 벡터이다. 이를 Feature라고도 부른다. 예를 들어, 영화의 프로필의 특성을 나열한 벡터라고 한다면 .. 공감수 0 댓글수 0 2024. 8. 14.
Spring Data Repository 를 사용하여 Redis에 캐싱할 경우 Connection을 사용하는 문제 Repository로 Redis를 사용?Redis Repositories에서 CrudRepository를 상속받아 JpaRepository를 사용하여 DB에 데이터를 조작하는 것처럼 사용할 수 있다고 한다.예시로 다음과 같이 Repository 인터페이스를 정의할 수 있다.interface UserRepository extends CrudRepository { long countByLastname(String lastname); } id를 key 값으로 lastname이라는 value가 저장되는 것이다. 만약 객체 자체를 저장하게될 경우 JSON 형식이 아닌 HSET 명령어로 저장하는 것과 같은 결과로 저장된다. 그리고 실제로 동작할 때, 구체 클래스는 SimpleKeyValueRepository.. 공감수 0 댓글수 0 2024. 8. 2.
알람 기능의 Template Method + Strategy 패턴 적용기 이전 포스트에서 Template Method 패턴을 적용하여 확장성을 개선해보았다. 하지만 이후 알람을 보내야하는 이벤트가 추가됨에따라 해당 알람을 전송하는 클래스를 추가하고 변경해야하는 코드가 많아지게 된다는 문제가 있다. 따라서 이러한 문제를 개선하기 위해 Strategy 패턴을 적용한 경험을 설명해보려고 한다.설계이전 구조에서 AlarmTemplate이라는 인터페이스와 AlarmMappingHandlerAdapter라는 클래스를 추가해주었다.AlarmTemplate: Template Method를 적용한 추상 클래스의 다형성을 제공한다.AlarmMappingHandlerAdapter: 알림 전송 기능 수행을 대신 진행해준다.구현AlarmTemplateAlarmTemplate 인터페이스를 추가하고 지.. 공감수 0 댓글수 0 2024. 7. 30.
알림 기능의 Template Method 패턴 적용기 [Design Patterns] Template Method Pattern 에서 간단한 예시로 Template Method 패턴에 대해서 이해할 수 있다.기능 요구사항중고 거래 서비스를 개발하면서 판매자, 구매자에게 알림을 보내는 기능을 구현하게 되었다. 각 알림은 다음과 같은 경우 발생한다.거래가 완료되었을 경우, 판매자와 구매자에게 알림을 전송하고 채팅을 통해 관심을 가졌던 사용자들에게도 알림을 전송한다.판매 상태가 예약 중으로 변경 되었을 경우, 예약을 신청한 사용자에게 알림을 전송한다.예약이 취소되어 판매 상태가 판매 중으로 변경 되었을 경우, 예약을 취소한 사용자를 포함하여 채팅을 통해 관심을 가졌던 사용자들에게 모두 알림을 전송한다.구현 (패턴 적용 X)RabbitMQPublisher알림 기능.. 공감수 0 댓글수 0 2024. 7. 27.
운영(배포) 환경에서 jpa.show_sql=false 로 설정해야하는 이유 배경1:1 채팅 기능이 구현되어있고 상대방을 어떤 이유로 신고하는 기능이 있다고 하자. 그리고 신고할 수 있는 횟수가 제한이 없다고하면 상대방을 계속 신고할 수 있다.이때, 여러명이 상대방을 쉼없이 신고할 경우를 가정하여 테스트를 진행해보았다.부하 테스트Spring Boot로 구현한 API는 Docker 환경에 올려서 실행했으며, [CPU 2, Memory 4G]로 Resource를 설정했다.Jmeter 테스트부하 테스트는 Jmeter를 사용하여 수행했다.아래 설정은 200명의 사용자가 60초 동안 쉼없이 상대방을 신고하는 경우를 테스트하기 위한 설정이다.실행 후 TPS 그래프를 확인해보면 7 ~ 8 초 이후 갑자기 TPS가 떨어지고 중간중간에 멈추는 구간이 발생하는 것을 볼 수 있었다. 왜 요청을 잘 .. 공감수 0 댓글수 3 2024. 7. 16.
[JaCoCo] 코드 커버리지 측정 테스트 커버리지테스트 범위를 측정하는 테트 품질 측정 기준이며, 테스트의 정확성과 신뢰성을 향상시키는 역할테스트 케이스의 부족한 부분을 파악하고 추가적인 테스트 케이스를 개발할 수 있음테스트 커버리지의 종류1. 구문 커버리지 (Statement Coverage)모든 구문에 대해 한 번 이상 수행하는 테스트 커버리지테스트 케이스 집합에 의해 실행된 문장의 수 / (전체 실행 가능한 프로그램 문장의 수) * 100%if (x > 0) { y = x * 2;} else { y = x / 2;}x의 값을 3으로 설정한 경우 -> 첫 번째 구문이 True가 되어 두 번째 구문이 실행x의 값을 -2 또는 0으로 설정한 경우 -> 첫 번째 구문이 False가 되어 네 번째 구문이 실행이처럼 모든 구문을 한.. 공감수 0 댓글수 0 2024. 7. 10.
[JMeter] org.apache.http.NoHttpResponseException 문제JMeter를 사용하여 테스트 중 NoHttpResponseException가 발생했다.org.apache.http.NoHttpResponseException: localhost:80 failed to respond at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:141) at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56) at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMe.. 공감수 0 댓글수 0 2024. 7. 2.
[Design Patterns] Template Method Pattern 커피와 홍차 클래스를 구현해보면 다음과 같이 추가할 수 있다.public class Coffee { void prepareRecipe() { boilWater(); brewCoffeeGrinds(); pourInCup(); addSugarAndMilk(); } public void boilWater() { System.out.println("물 끊이는 중"); } public void brewCoffeeGrinds() { System.out.println("필터를 통해서 커피를 우려내는 중"); } public void pourInCup() { System.out.println(".. 공감수 0 댓글수 0 2024. 6. 19.
[Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Dead Letter Queue(DLQ) 이전 포스트: [Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Consume Dead Letter Queue는 실패하거나 전달되지 못한 메시지를 보관하는 queue이다.Dead Letter Exchange & Dead Letter Queue 생성메시지가 전달에 실패하면, 실패한 메시지는 DLX(Dead Letter Exchange)로 라우팅된다.public static final String topicExchangeName = "spring-boot-topic-exchange"; public static final String dlqExchangeName = topicExchangeName + ".dlx"; public static final String queu.. 공감수 0 댓글수 0 2024. 6. 16.
[Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Consume 이전 포스트: [Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Publish안전하게 메시지 Consume 하기 위한 설정우선 auto-ack를 false로 설정해주어야한다.auto-ack가 true로 설정되면 다음과 같이 동작한다.queue로 메시지 publishconsumer로 메시지 전달consumer는 queue에게 ack 리턴queue에서 메시지 삭제이때 실제로 consumer에서 메시지를 처리하는 시간이 더 길기 때문에 queue에서의 메시지가 먼저 삭제된다. 따라서 consumer에서 문제가 생겼을 경우 메시지 유실이 발생하게된다. 그리고 메시지 전달에 실패했을 경우는 DLQ(Dead Letter Queue)로 가도록 해야한다.코드 적용Spring AMQP에.. 공감수 0 댓글수 1 2024. 6. 15.
[Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Publish 이전 포스트: [Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Durability안전하게 Publish하기 위한 설정메시지는 메모리에 저장되며 재실행되거나 라우팅할 수 없는 경우 유실될 수 있다.mandatory를 true로 설정해주면 queue에 메시지가 추가되었을 경우 success를 반환하고 라우팅되지 않을 경우 error를 반환한다.persistent를 true로 설정해주면 메시지가 disk에 저장된다. (동시에 RAM에 저장됨)open channel에서 waitForConfirmsOrDie을 호출하여 메시지가 정상적으로 확인되었는지 알 수 있다. Spring AMQP에서는 ReturnsCallback 또는 ConfirmCallback을 사용할 수 있다.또한 l.. 공감수 0 댓글수 0 2024. 6. 14.
[Spring AMQP(RabbitMQ)] 안전하게 메시지를 전달하기 위한 설정 - Durability durable이란 broker가 재시작되어도 queue가 삭제되지 않고 남을 수 있게 만드는 속성이다.(RabbitMQ를 Docker 컨테이너로 올려 실행했다.)Non-Durabledurable을 false로 설정할 경우 broker가 재시작되면 queue가 삭제될 것이다. 실제로 그런지 한 번 확인해보았다.Broker 실행broker를 처음 실행하면 아래처럼 queue가 아무것도 없을 것이다.백엔드 서버 실행Spring Boot로 개발한 백엔드 애플리케이션을 실행하게되면 다음과 같이 설정한대로 queue가 생성된다.Broker 재실행broker가 재실행할 때 두 가지 경우를 생각해볼 수 있다.백엔드 서버가 실행되는 중 Broker가 재실행되는 경우백엔드 서버가 다운되었을 때 Broker가 재실행되는 경.. 공감수 0 댓글수 0 2024. 6. 13.
경매 입찰 기능에서 발생하는 동시성 문제 문제 상황팀 프로젝트에서 경매 기능이 추가되면서 여러 사용자가 하나의 경매에 입찰할 수 있도록 기능을 구현하게 되었다. 먼저 경매(auctions) 테이블은 다음과 같이 정의되었다.CREATE TABLE `auctions` ( `id` bigint AUTO_INCREMENT NOT NULL, `member_id` bigint NOT NULL, `file_name` varchar(255) NOT NULL, `title` varchar(255) NOT NULL, `content` text .. 공감수 0 댓글수 1 2024. 6. 7.
[Nginx] event-stream(SSE), WebSocket의 지속 연결 문제Nginx는 기본적으로 Upstream으로 요청을 보낼때 HTTP/1.0 버전을 사용한다. 따라서 Nginx에서 WAS로 요청을 보낼 때 HTTP/1.0을 사용하여 Connection: close 헤더를 사용하게 된다. 하지만 SSE(Server Side Event) 또는 WebSocket은 지속 연결이 필요하기 때문에 HTTP/1.0을 사용하게되어 Connection 요청 후 바로 끊기게된다.해결SSE(Server Side Event)의 경우 다음과 같이 지속 연결이 될 수 있도록 Nginx에 Http Version과 Connection 헤더를 keep-alive 로 설정해주면 해결된다.proxy_set_header Connection 'keep-alive';proxy_http_version 1.1.. 공감수 0 댓글수 0 2024. 5. 31.
[Design Patterns] Decorator Pattern 음료(Beverage)라는 추상 클래스에 여러 메뉴들을 서브 클래스로 구현한다고 하면 다음과 같이 HouseBlend, DarkRoast, Decaf, Espresso 등을 추가할 수 있다. 하지만 스팀 우유나 두유, 모카와 같은 첨가물이 추가되면 메뉴가 달라지고 추가해야하는 클래스가 무수히 많아지게된다. 추가로 커피 가격까지 달라지게된다. 이와 같은 문제를 해결하기위해서 Beverage 클래스에 첨가물에 대한 정보를 추가해주고 주 메뉴들만 서브 클래스로 구현해주도록 할 수 있다.하지만 위와 같이 구현해주면 첨가물의 가격이 변경되었을 경우 기존 코드를 수정해야한다는 문제와 첨가물의 종류가 추가되면 메소드들도 추가/수정되어야될 수 있다. 그리고 만약 아이스티와 같이 메뉴가 추가될 경우에 whip이 필요없.. 공감수 0 댓글수 0 2024. 5. 30.
Message Broker를 사용하는 이유 SSE(Server-Sent Events)를 사용하여 서버에서 클라이언트로 알림 메시지를 전송할 경우 아래와 같이 단순하게 구현할 수 있다.이때 서버는 저장해둔 SseEmitter를 사용하여 클라이언트에게 메시지를 전송한다. 하지만 이후 서버가 추가되어 여러 대가 될 경우 다음과 같은 문제가 발생한다.클라이언트가 4개, 서버가 3대일 경우 다음과 같은 순서로 동작한다고 해보자.Client A는 Server A에게 SSE 연결을 요청Client A는 댓글 작성과 같은 이벤트 발생Server B에서 Client A의 이벤트를 처리Server B에서 Client A로 알림 메시지를 전송하기위해 SseEmitter를 조회Client A에 대한 SseEmitter는 Server A에 저장했지만 이벤트를 Serve.. 공감수 0 댓글수 0 2024. 5. 21.
Redis의 OOM(Out Of Memory)과 Memory 설정 메모리 확인Redis를 Standalone으로 Docker Container에 올리고 docker stats로 메모리를 확인해보았을 때 다음과 같았다. 그리고 로그인 후 유저 정보를 캐싱하고 캐싱한 키와 값이 메모리를 얼마나 사용하고 있는지 확인해보았다. 저장된 유저 정보마다 할당되는 크기가 다르겠지만 임의로 하나의 유저 정보가 사용하고 있는 메모리를 확인해보았을 때 1046byte(1.046kb) 만큼 사용하는 것을 확인할 수 있었다. ElastiCache의 데모 옵션(0.5 GiB)을 기준으로 계산해보면 약 50만명의 유저 정보를 저장할 수 있다. 하지만 Redis의 메모리는 데이터를 저장하는 것 이외에도 다양한 기능을 통해 사용되기 때문에 동시 접속 사용자가 50만명보다 적더라도 충분히 OOM(.. 공감수 0 댓글수 0 2024. 5. 19.
업데이트 쿼리에서 발생하는 TransactionRequiredException @Modifying @Query("update Alarm a set a.readAt = now() where a.id = ?1") void updateReadAtById(Long alarmId);위와 같이 알람의 readAt 속성 값을 현재 일시로 업데이트하는 쿼리메소드를 실행하면 다음과 같은 예외가 발생한다. TransactionRequiredException: Executing an update/delete query@Transactional예외를 해결하기위해서 @Transactional을 추가해주면 된다.@Transactional@Modifying @Query("update Alarm a set a.readAt = now() where a.id = ?1") void updateReadAtBy.. 공감수 0 댓글수 0 2024. 5. 17.
Dive into @Transactional SimpleJpaRepository먼저 Spring JPA에서 기본으로 구현된 SimpleJpaRepository 코드를 확인했다. SimpleJpaRespository 는 전체 메소드에 @Transactional(readOnly = true) 를 적용하고 save, delete를 수행하는 메소드에서는 @Transactional 에 적용한 것을 확인했다. 일반적으로 조회할 때 사용하는 메소드 findById, findAll , 저장할 때 사용하는 메소드 save 가 SimpleJpaRepository 에서 구현된 메소드를 호출한다는 사실도 알게되었다. 따라서 직접 @Transactional을 추가/적용하지 않아도 Transaction이 걸리는 것을 로그를 출력하여 확인했다.@Transactional을 직.. 공감수 0 댓글수 0 2024. 5. 17.
React + Spring 통합 빌드 시 CSR(Client Side Routing) 문제 build.gradle에 다음과 같이 node에 대한 build 설정을 추가해주면 빌드 시 react까지 같이 빌드한다.plugins { ... id "com.github.node-gradle.node" version "5.0.0" }...node { nodeProjectDir = file("") version = npmVersion = download = true } //react build task npmBuild(type: NpmTask) { args = ['run', "build"] } //static copy task copyFrontEnd(type: Copy) { from "" into 'build/r.. 공감수 0 댓글수 0 2024. 5. 17.
프론트엔드와 백엔드 연동 시 CORS 에러 프론트엔드(React) 애플리케이션을 실행하면 localhost:5173, 백엔드(Spring Boot) 애플리케이션을 실행하면 localhost:8080이 지정된다고 할 때 프론트엔드에서 백엔드로 API 요청을 하게되면 CORS(Cross-Origin Resource Sharing)에러가 발생한다.NOTECORS(Cross-Origin Resource Sharing) 에러는 서로 다른 두 서버 간의 Origin(Protocol + Hostname + Port)이 다를 경우 발생한다. CORS에러를 해결하기위해 다음과 같은 방법들을 적용할 수 있다.1. WebMvcConfigurer@Configuration @EnableScheduling @EnableTransactionManagement publ.. 공감수 0 댓글수 0 2024. 5. 17.
RabbitMQ Listener에서 예외가 발생할 때 무한 반복 요청되는 문제 /** * 거래 완료 메시지 전송 Listener */@RabbitListener( queues = {"#{wasteCompleteQueue.name}", "#{wasteCancelQueue.name}", "#{wasteChangeStatusQueue.name}"}) public void receiveWasteTransaction(@Payload MessageRequest messageRequest) { log.debug("receive complete transaction message"); Alarm alarm = saveAlarm(messageRequest); receive(messageRequest.memberId(), AlarmResponse... 공감수 0 댓글수 0 2024. 5. 17.
[AWS] EC2(Public Subnet)와 RDS(Private Subnet) 설정 일반적으로 Amazon EC2에 Application을 배포하고 EC2를 통해 RDS에 접근한다. 이때 RDS는 Public이 아니라 Private으로 설정하여 외부에서 접근할 수 없도록 해줄 것이다. 그러기 위해서는 먼저 VPC를 생성하고 Public Subnet과 Private Subnet을 생성해야한다. 그리고 Public Subnet은 IGW(Internet Gateway)를 통해 외부와의 통신을 하기 때문에 Router Table에 IGW로부터 들어오는 요청에 대한 접근을 허용해주도록 설정한다. 반면 Private Subnet은 IGW가 아닌 EC2가 속해있는 Public Subnet에 대한 요청에 대한 접근을 허용해주도록 설정해준다. VPC (Virtual Private Cloud) 생성 VP.. 공감수 1 댓글수 2 2024. 3. 27.
게시글의 좋아요를 업데이트할 때 발생할 수 있는 동시성 이슈 위는 ERD의 일부만 캡처한 이미지로 article에는 좋아요 수를 나타내는 like_count 속성이 있고 각 좋아요의 정보를 담는 article_like 테이블이 있다. 게시글의 좋아요를 업데이트하는 경우는 추가할 때, 혹은 삭제할 때 뿐이다. 당연히 기본 값은 0이 되어야할 것이다. 좋아요 추가 좋아요를 추가할 때를 기준으로 테스트를 해볼 것이기 때문에 추가하는 코드를 살펴보자. 편의를 위해 추가적인 메소드 코드와 엔티티 코드는 생략한다. @Transactional public void addArticleLike(Long articleId, Long userAccountId) { // 좋아요 추가 articleLikeRepository.save(ArticleLike.of(userAccountId, .. 공감수 0 댓글수 0 2024. 3. 20.
[Spring Mail] 존재하지 않는 메일은 어떻게 확인하지? 이메일의 형식은 spring validation 등을 사용하여 확인할 수 있다. 다음과 같이 말이다. @NotBlank @Email String email 그렇다면 만약 존재하지 않는 메일일 경우 전송에 실패하게 될 것인데 서버에서는 어떻게 이 사실을 알아 낼 수 있을까? 메일 전송 먼저 메일 전송을 수행해보기위해 spring mail을 사용해볼 것이다. Dependency implementation 'org.springframework.boot:spring-boot-starter-mail' spring mail는 jakarta.mail에 의존한다. Properties application.yml 에도 다음과 같이 속성 값을 설정해준다. spring: mail: host: smtp.gmail.com po.. 공감수 1 댓글수 1 2024. 3. 19.
[Spring Boot 2] Spring Security - JWT 토큰을 이용한 인증 구현 Dependency dependencies { implementation 'org.springframework.boot:spring-boot-starter-security' implementation 'org.springframework.boot:spring-boot-starter-web' compileOnly 'org.projectlombok:lombok' annotationProcessor 'org.projectlombok:lombok' testImplementation 'org.springframework.boot:spring-boot-starter-test' testImplementation 'org.springframework.security:spring-security-test' //JWT /.. 공감수 0 댓글수 0 2024. 3. 5.
[Spring Security] @EnableWebSecurity 무엇을 해주는 걸까? Spring Security는 첫 번째로 Configuration을 추가해주어야한다. Configuration은 springSecurityFilterChain라 불리는 모든 security에 대한 Servlet Filter를 생성한다. 아래 예시 코드는 Spring Security의 가장 간단한 Configuration이다. import org.springframework.context.annotation.*; import org.springframework.security.config.annotation.authentication.builders.*; import org.springframework.security.config.annotation.web.configuration.*; @Configura.. 공감수 1 댓글수 1 2024. 3. 4.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.