본문 바로가기

전체 글85

Tensorflow custom dataset 만들기 주의할 점 generator must be python callable 에러에 주의할 것 왠만하면 야매로 generator 만들지 말고 class로 만들어서 쓰도록 하자 참고자료 https://jins-sw.tistory.com/14 대용량 훈련 데이터 처리 - Generator로 TF Dataset 만들기 1. 너무 큰 데이터 tf.data.Dataset는 Tensorflow의 훈련 데이터를 다룰 때 참 편리합니다. Padding, Batch, Shuffle, Map 등을 다 지원해주니까요. 일단 데이터를 Dataset으로 변환만 시키면 그다음부터는 아주 편 jins-sw.tistory.com https://medium.com/the-owl/creating-a-tf-dataset-using-a-data.. 2023. 5. 31.
[논문읽기] Action Recognition in Video Sequences using Deep Bi-Directional LSTM With CNN Features 1. 개요 및 연구동기 CNN과 LSTM 네트워크를 이용하여 영상데이터에서의 action recognition 방법을 제안한다. 1. 비디오의 6번째 프레임마다 깊은 특징이 추출된다. 2. DB-LSTM 네트워크를 사용하여 프레임 특징들 사이의 순차적인 정보를 학습한다. 본 논문에서는 LSTM 을 사용하여 이전 프레임의 정보를 고려하게 한다. 제안하는 방법은 LSTM을 사용하여 프레임 간 변화를 분석한다. RNN은 시간 t에서 활성화되어 테이터를 순서대로 선택적으로 처리할 수 있다. 3. Proposed Framework CNN은 이미지 표현 및 분류를 위한 지배적인 방법이다. 영상 데이터의 경우 각각의 프레임을 CNN feature 로 표현한 뒤 DB-LSTM 을 사용하여 프레임 간의 순차적인 정보를 .. 2023. 5. 30.
[논문읽기] BEIT: BERT Pre-Training of Image Transformers 1. 개요 및 연구동기 Image Transformer 의 Bidirectional Encoder representation 을 나타내는 self-supervised 비전 표현 모델인 BEIT 를 소개한다. 자연어 처리 분야에서 개발된 BERT 에 이어 비전 트랜스포머를 pretrain 하기 위한 마스크 이미지 모델링 작업을 제안한다. 각 이미지는 사전훈련에서 이미지패치 (예: 16*16 픽셀) 와 시각적 토큰 (즉, 이산 토큰)의 두 가지 보기를 가진다. 먼저 원본 이미지를 시각적 토큰으로 "토근화" 한다. 그런 다음 일부 이미지 패치를 임의로 마스크하고 backbone transformer 에 입력했다. pretraining 의 목표는 손상된 이미지 패치를 기반으로 원래의 시각 토큰을 복구하는 것이다.. 2023. 5. 27.
[원두후기] 카페 윈드밀 / 에티오피아 예가체프 G1 안산 한양대 에리카 캠퍼스 정문 근처에 있는 카페 윈드밀에서 주문한 프렌치로스팅 원두입니다. 프렌치로스팅 특유의 바디감과 쌉쌀한 향을 풍부하게 느낄 수 있으며 예가체프 원두가 가지고 있는 적당한 수준의 바디감으로 너무 진하지 않게 즐길 수 있습니다. 추출시 과하게 추출할 경우 안그래도 강배전이라 잘 나타나지 않는 원두의 특징이 더 죽고 쓴 맛과 바디감만 강조될 수 있으니 그 부분을 주의하며 추출한다면 맛있게 즐길 수 있겠습니다. 카페 윈드밀의 프랜치로스팅 원두는 300g 이상 개인주문으로만 구매할 수 있습니다. 2023. 5. 27.
[논문읽기] CBAM: Convolutional Block Attention Module 개요 및 연구동기 합성곱신경망을 위한 간단하면서도 효과적인 attention module 인 CBAM을 제안한다. 채널과 공간의 두 가지 개별 차원을 따라 attention map을 순차적으로 추론한 다음 adaptive feature refinement 를 위해 attention map 을 입력 feature 에 곱한다. CBAM 은 가볍고 general 한 모듈이기 때문에 적은 오버헤드로 CNN 구조에 통합할 수 있으며 end-to-end 학습이 가능하다. 광범위한 실험으로 성능을 검증한다. attention 은 집중해야 할 부분을 알려줄 뿐만 아니라 representation power 도 향상시킨다. 채널과 공간에서 무엇과 어디에 집중할지 학습할 수 있도록 한다. 3. Convolutional B.. 2023. 5. 27.
Markov Process, Markov Reward Process, Markov Decision Process) $MP \equiv (S,P)$ S : 상태의 집합 $S= \{s_0, s_1, s_2, s_3, s_4\}$ $P$ : 전이확률행렬 전이확률행렬은 하나의 상태에서 다른 상태로 가는 확률이 나타나있는 행렬을 나타낸다. $MRP \equiv (S,P,R,\gamma)$ $R$ : 보상함수 $\gamma$ : 미래에 얻을 보상에 비해 당장 얻을 보상을 얼마나 더 중요하게 여길 것인지를 나타내는 파라미터 $MDP \equiv (S,A,P,R,\gamma)$ $A$ : action 의 집합 2023. 5. 26.
강화학습에서 해결하고자 하는 문제 강화학습에서 해결하고자 하는 문제는 sequential decision making 이다. 각 상황에 따라 하는 행동이 다음 상황에 영향을 주며, 결국 연이은 행동을 잘 선택해야 하는 문제이다. 2023. 5. 25.
공부를 위해 참고하고 있는 웹사이트 모음 http://incompleteideas.net/book/ebook/the-book.html Book incompleteideas.net 2023. 5. 25.
에이전트와 환경 (Agent, Environment) 순차적 의사결정 문제를 도식화하면 다음과 같다. 용어 설명 Agent(에이전트) : 학습하는 대상이며, 동시에 환경 속에서 행동하는 개체. 운전중인 자동차를 예로 들면 운전자가 에이전트가 된다. Environment(환경) : 에이전트가 어떤 action 을 했을 때 그 결과에 영향을 미치는 모든 것. Agent 에서 하는 일 1. 현재 state $s_t$ 에서 어떤 action을 해야 할지 $a_t$ 를 결정 2. 결정된 action $a_t$ 를 environment 로 보냄 3. environment 로 부터 그에 따른 보상과 다음 상태의 정보를 받음 Environment 에서 하는 일 1. Agent 로 부터 받은 action $a_t$ 를 통해서 state 변화를 일으킴 2. 그 결과 stat.. 2023. 5. 25.
[원두후기] 우리동네커피공장 - 콜롬비아 / 후일라 / Castillo, Colombia, Caturra / Decaffeine 콜롬비아 디카페인 원두입니다. 콜롬비아 디카페인 가공방식에서 오는 군고구마향과 단맛이 느껴집니다. 추가적으로 우리동네커피공장의 로스팅 스타일에 맞게 오렌지, 레몬그라스의 향을 찾아볼 수 있었습니다. 디카페인이기 때문에 밤에 마셔도 크게 부담이 없었습니다. (하루에 원두커피 3잔까지는 괜찮은 저의 기준입니다.) 추천하는 추출방식 : 핸드드립 (다른 콜롬비아원두와 마찬가지로 바디감이 묵직한 편이기 때문에 농도를 잘 조절하시기 바랍니다.) 2023. 5. 24.
커피중독 원두의 산지별 특징이 어떤지, 그리고 다양한 커피 음료의 레시피가 공개되어있는 책이었다. 커피를 공부하지 않은 사람도 부담없이 읽을 수 있을 만큼 친절하며 진입장벽이 높지 않게 쓰여진 책이었다. 커피를 전문적으로 공부하는 사람에게는 얕은 지식이기 때문에 그 니즈를 충족시키기 어렵겠지만 홈카페를 위해 공부하거나 취미로 공부하는 사람에게 커피를 어떻게 고르고 어떻게 즐길 것인지에 대해 많은 지식과 영감을 줄 수 있는 책이라고 생각한다. 아래는 이 책의 목차이다. (출처 : http://www.yes24.com/Product/Goods/15542127) yes24 광고는 아니다. 이 책은 도서관에서 빌려봤다. 커피란 무엇인가 카페 문화 커피는 어떻게 세계인의 음료가 되었을까 커피의 품종 가계도 커피 재배와 수.. 2023. 5. 24.
[카페후기, 광고아님] 파머스빌리지플러스 양주점 빵, 브런치, 커피를 판매하는 파머스빌리지플러스 양주점에 다녀왔습니다. 시그니처 음료로 펜지슈페너가 있습니다. 펜지꽃 + 아인슈페너의 조합으로 커피, 크림, 꽃의 조합을 느낄 수 있게 하는 음료였습니다. 공간이 쾌적하고 테이블간 거리가 충분하기 때문에 편히 이야기하기 좋습니다. 점심을 먹으러 간게 아니었기 때문에 브런치 음식은 주문하지 않고 빵과 음료만 주문했는데 브런치 메뉴가 많이 구성되어있어서 한 번 먹어보고 싶어졌습니다. 당분이 들어가는 음료들은 대체로 그 당도가 높은데, 커피의 bitter한 향과 맛도 있습니다. 참고하시고 음료를 주문하시기를 추천합니다. 많이 단 음료를 싫어하신다면 카푸치노, 카페라떼 정도의 음료를 주문하는게 좋겠습니다. non coffee 음료는 주문하지 않아 잘 모르겠네요. .. 2023. 5. 23.
[논문읽기] REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION 1. 개요 및 연구동기 픽셀 단위 레이블을 획득하는 것은 비용과 시간이 많이 든다. 그리고 현실적인 segmentation 데이터세트는 매우 불균형하다. 이미지 분할 작업에서 강화학습을 사용한 새로운 active learning 전략을 제안한다. 강화학습을 사용하는 현재의 AL 기술은 label budget 이 충족될때까지 단계당 하나의 샘플에 레이블을 지정한다. 이는 각 단계마다 segmentation 네트워크의 업데이트 및 보상이 포함되기 때문에 매우 비효율적이다. 우리는 분류 네트워크가 최소한의 레이블링 된 데이터로 좋은 성능을 달성할 수 있도록 레이블을 요청할 데이터를 통해 policy를 학습하는 것을 목표로 한다. 전체 이미지 대신 영역을 선택하면 그림 1과 같이 알고리즘이 가장 관련성이 높은 .. 2023. 5. 22.
맥 애플실리콘(m1~) 에서 pytorch 사용할 때 체크리스트 1. 아나콘다를 mac 에 호환이 되는 버전으로 설치할 것 2. pytorch 를 애플실리콘 호환되는 버전으로 설치할 것 (2.0 부터는 호환이 되는 것 같음) 3. 패키지들을 pip install 할 때 기존의 requirements.txt 중 arm64 버전에서 호환이 안되는 버전으로 적혀있으면 수정할 것. 4. cuda가 아닌 mps를 사용하기 위해 device 를 설정하는 변수들을 변경할 것. 4-1. device 설정할 때 다음과 같이 하면 된다. device = torch.device('mps' if torch.backends.mps.is_available() else 'cpu') device = torch.device('cuda' if torch.cuda.is_available() else .. 2023. 5. 17.
[논문읽기] Do Convnets Learn Correspondence? 개요 및 연구동기 레이블이 지정된 대규모 데이터세트에서 훈련된 CNN은 이미지 분류 및 객체 탐지에서 좋은 성능을 보였다. 하지만 시각적 이해를 위해서는 사물 범주보다 더 미세한 수준에서 대응관계를 설정해야 한다. 본 연구에서는 correspondence가 필요한 작업에 대한 convnet activation features 의 효율성을 연구한다. convnet 이 객체 부분간의 정확한 대응 관계도 찾을 수 있는가? 1.1 Preliminaries 네트워크는 alexnet과 거의 유사한(normalization layer와 pooling layer 의 순서를 바꾼 것이라고 한다) 네트워크를 사용했다. 이미지넷으로 훈련시켰다고 한다. 모든 실험은 caffe 를 사용하여 구현되었다. 각 레이어의 activa.. 2023. 5. 17.
[논문읽기] Real-Time Intermediate Flow Estimation for Video Frame Interpolation 개요 및 연구동기 Video Frame Interpolation (VFI) 달성하기 위한 Intermediate Flow Estimation 알고리즘인 RIFE 를 제안한다. 중간 Flow를 빠른 속도롤 추정할 수 있는 IFNet 이라는 신경망을 사용한다. RIFE 는 사전훈련된 Flow Model 에 의존하지 않으며, temporal encoding input 으로 임의의 시간 단계 프레임 보간을 지원할 수 있다. SuperSlomo, DAIN 방법과 비교하여 빠르고 더 나은 결과를 생성한다는 것을 보여준다. VFI 가 까다로운 이유는 2가지이다. 1. 복잡한 비선형 모션 2. 실제 비디오의 조명 변화 (매칭되는 픽셀을 찾아내기 힘듦) 최근의 Flow 기반 알고리즘은 이러한 문제를 해결하기 위한 프레임.. 2023. 5. 16.
[펌] Entropy 부터 KL-divergence 까지 참고자료 https://hyunw.kim/blog/2017/10/14/Entropy.html 초보를 위한 정보이론 안내서 - Entropy란 무엇일까 딥러닝을 공부하다 보면 KL-divergence, cross-entropy 등에서 entropy라는 용어를 자주 접하게 됩니다. 이번 글을 통해서 정보이론의 아버지라 불리는 Shannon이 주창한 기초 개념인 entropy를 정리해봅니다. hyunw.kim https://hyunw.kim/blog/2017/10/26/Cross_Entropy.html 초보를 위한 정보이론 안내서 - Cross Entropy 파헤쳐보기 Cross entropy는 두 분포 사이에 존재하는 정보량을 나타내는 개념이다.라는 식의 설명을 너무 많이 들었습니다. 하지만 이 개념이 정확.. 2023. 5. 10.
[원두후기] 우리동네커피공장 - 코스타리카 / 카투라,카투아이 / De Fuego / anaerobic fermentation 안산 한양대 에리카 근처 로스터리카페 우리동네커피공장의 코스타리카 무산소발효 원두 약배전의 원두이고 보편적인 코스타리카 원두에서 느낄 수 있는 부드러운 감칠맛과 후미에서 오는 단맛이 주가되는 것이 아닌, 라임, 자몽계열의 산미가 주인공이 되는 원두였다. 산미를 최대한 매력적으로 추출해야 한다는 의도가 분명하고 보편적으로 집에서 추출하는 레시피가 이 의도와 잘 맞지 않기 때문에 약배전의 원두를 많이 다뤄보지 않았다면 추출 난이도가 높아 수 회의 시행착오를 겪을 수 있다. 추천 추출방법 : 핸드드립 2023. 5. 10.
728x90

티스토리툴바