본문 바로가기

전체 글162

카이스트 대학원 생활 - 학점 서론 1학기가 지났습니다. 이제 방학이 된지도 좀 됐고 현재 잠깐 휴가도 나와 있습니다. 카이스트에서 학점을 받아본 기억도 없고 대학원에서 학점을 받아본 기억도 없어서 성적 발표되는 전날까지도 전혀 감이 안 잡혔습니다. 사실 대학원은 학점을 그렇게 중요하게 보지도 않고 잘 나오기만 하면 잘 준다는 말을 많이 들어보았는데, 카이스트 애들에게 물어보면 또 막 그렇지는 않았습니다. 연대 졸업하고 카이 대학원 간 선배 얘기를 들어봐도 열심히 하면 A를 주고 마냥 퍼주는 건 절대 아니라고 하더라고요. 카이 대학원 1학기 해보면서 느낀 점인데 타대 대학원 (해봐야 연대지만)에 비해서 코스웍을 왜 그렇게 빡세게 하는지 모르겠습니다.ㅋㅋ 물론 정말 배우는 것을 잘 익힐 수 있고 도움이 되는 경우가 있는데 수업이 나름 .. 2020. 7. 21.
FNN, CNN, RNN 장단점 FNN (Fully connected Neural Network) Pros : 단순하고 매우 Powerful함. 많은 관계를 모델링 할 수 있음 Cons : 파라미터의 개수가 매우 많이 필요하여 메모리, 컴퓨팅 파워 필요, Curse of dimension(차원의 저주)로 오버 피팅(over fitting)이 일어나기 쉬움 CNN (Convolutional Neural Network) Pros : 파라미터의 개수를 굉장히 줄었다. local information을 효율적으로 볼 수 있어 컴퓨터 비전 분야에서 가장 많이 사용됨. Cons : Local information은 좋지만 멀리 있는 픽셀 들 간의 관계를 보려면 layer를 많이 쌓아야 한다. 다시 말해 Field of View 늘리려면 Deep .. 2020. 5. 19.
깃허브 프로(Github pro) 공짜로 받기 아마 코딩 좀 하는 대학생/대학원생이라면 깃허브를 사용할 텐데, PRO 계정을 무료로 얻을 수 있습니다. 학생임만 증명하면 됩니다. 저는 그냥 학교 이메일가지고 바로 됐습니다. 재학증명서 이런게 필요할 줄 알았는데 전혀 아닙니다. https://education.github.com/students Discounted and free plans are available for educational use Teach and learn better, together. Learn to ship software like a pro. education.github.com 위 사이트에서 아래 Get benefits for students를 누르면 학생인지 선생님인지 체크하고, 이메일 주소 주고 나면 됩니다. 그러면 .. 2020. 5. 16.
러닝레이트 줄이기 vs 배치사이즈 키우기 "[1] Don't decay the learning rate, increase the batch size" 리뷰, 설명입니다. Learning rate decay 라는 것을 들어보셨나요? 머신 러닝에서 굉장히 중요하고 민감한 learning rate라는 하이퍼 파라미터를, 학습이 진행됨에 따라 점차 줄이는 것입니다. 대부분의 머신 러닝 테크닉이 그렇듯이 learning rate decay를 해보니 generalization이 잘 되더라, 로 시작해서 이러이러해서 잘 되는 것 같다라고 설명합니다. "[2] On large-batch training for deep learning: Generalization gap and sharp minima"라는 논문에서 해답을 찾을 수 있습니다. 1. General.. 2020. 5. 16.
대학원 신생랩 - 서버 세팅 저는 현재 흔히들 말하는 신생랩에 있습니다. 완전 처음은 아닙니다. 자세하게는 못 말하겠네요. 많이들 신생랩에 대해 들어보고 찾아보셨을 겁니다. 뭐 신생랩 가면 세팅만 주구장창 한다, 너가 모든 걸 다 해야 한다 와 같은 우려부터 교수님이 좋으면 진짜 '도제식 교육'을 받을 수 있다. 배우는 게 많을 거다 와 같은 장점들도 있죠. 저는 그 분야와 달라 잘 모르지만 특히 생물, 화학 분야는 뭔가 더 심할 것 같긴 합니다. 이번주는 정말 여러 가지로 바빴는데 서버 세팅이 조금 걸렸습니다. 엔비디아 드라이버랑 xrdp가 자꾸 문제가 생기더라고요. 방금 막 해결해서 pytorch 설치 중입니다. 덕분에 지하에 있는 서버실에 자주 가게 됐는데 멋있더라고요. 여러 연구실의 서버 컴퓨터가 다 모여있기도 하고 불 났을.. 2020. 5. 16.
[Overleaf] Latex 웹 에디터, 설치 없이 latex 쓰기 공대 대학원생이라면 무조건, 학부생이라면 잘하면, Latex을 들어봤을 겁니다. Latex은 정말 복잡하고 귀찮으면서 많은 사람들이 사용하고 아마 그 근본적 이유는 심미성 때문일 것입니다. 제가 고등학생 때 선생님께서 한시간 정도 알려주신 적이 있으신데, 그 때에도 단순히 예뻐서 사용한다고 하셨습니다. 그리고 그 예쁨에 비해 귀찮고 필요성을 느끼지 못해서 그런지 전교생 중에 저를 제외하고는 굳이? 라며 사용하지 않았습니다. 저는 그 때 그냥 신기하기도 하고, 글을 쓰는데 컴파일이 필요하다? 라는 신기함 때문에 사용했었습니다. 대학원생이라면 졸업논문이나 과제 등에서 latex으로 제출하라고 할 텐데요, latex을 추가적인 설치 없이 웹 상에서 사용할 수 있는 overleaf라는 사이트가 있습니다. 제가 .. 2020. 5. 6.
[torchsummary] Pytorch에서 keras처럼 모델 출력하기 [수정 2022/06/12] torchsummary 패키지는 torchinfo 라는 패키지로 업그레이드되며 이름이 바뀌었습니다. pytorch와 함께 사용할 수 있는 torchsummary라는 파이썬 패키지입니다. pip install torchsummary git clone https://github.com/sksq96/pytorch-summary 위와 같이 pip를 통해서 설치할 수 있고, 아래와 같이 직접 깃허브에 있는 소스코드를 다운받아 사용할 수 있습니다. Pytorch는 keras에 비해 모델을 출력했을 때 깔끔하게 볼 수 가 없습니다. keras의 경우는 파라미터의 개수 레이어의 종류, 넘버 등을 표로 정리해서 알려주는 것과 비교해보면 말이죠. 위 torchsummary 라는 패키지가 pyt.. 2020. 5. 6.
[Pytorch] 모델 '적절하게' 저장하기 (+ 여러 모델) 파이토치에는 모델을 저장하는 방법이 여러 가지 있습니다. 단순히 1. torch.save(path, model) 이렇게 하면 모델이 통채로 저장이 되기는 합니다. 2. torch.save(path, model.state_dict()) 이렇게 하면 모델 안에 있는 파라미터들을 저장하는 것입니다. 첫번째 방식의 경우 1. model = torch.load(path) 이렇게 하면 load가 가능하고 두 번째 방식의 경우에는 모델을 선언도 해줘야 하고 모델의 구조가 다르면 안됩니다. model = MODEL().cuda() model.load_state_dict(torch.load(path)) 이렇게 모델을 선언하고, 그 모델에 파라미터들을 대입하는 과정이 필요합니다. 아무리 생각해도 첫 번째 방식이 편한 것 .. 2020. 4. 15.
[Pytorch] Dataloader 다양하게 사용하기 (custom loader) 파이토치의 데이터로더는 아래의 형태와 같이 사용합니다. path = 'C:/test' dataset = torchvision.dataset.ImageFolder(root=path, transform=transforms.Compose([ transforms.Grayscale(), transforms.ToTensor(), ])) dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, shuffle=True) 이미지든 어떠한 형태의 데이터를 모두 다룰 수 있지만, 위에 사용한 ImageFolder는 이미지를 다루는 애고 다른 형식의 데이터는 조금 후에 말하겠습니다. 데이터로더는 만들어진 이유가 Classification 태스크를 다루기.. 2020. 4. 15.
[아이폰 아이패드] 동물의 숲 : 포켓 캠프 (모바일) 최근 코로나19 사태가 오랫동안 지속되면서 사람들이 밖에 잘 못 돌아다니는데요, 집에만 있어 너무 답답하다보니 사람들이 게임을 하거나 달고나 커피를 만드는 등 방 안에서 할 수 있는 일들을 찾고 있는 것 같습니다. 특히 닌텐도 스위치에서 동물의 숲 게임이 이상하게 엄청 인기가 많은데요. 동물의 숲이라는 게임이 약간 힐링의 요소도 있고 자연에서 캠핑하는 그런 느낌이라 현재 상황에서 탈출구가 될 수 있는 것 같습니다. 게다가 최근에 재고가 부족한 품귀현상까지 벌어져 가격이 오르기까지 했습니다. 저도 1년전 슈퍼 마리오 메이커2 라는 게임을 닌텐도 스위치로 빌려서 한 적이 있었는데 잘 만들었던 것 같습니다. 그런데 제가 그걸 사기에는 삼십몇만원이라는 돈이 좀 비싼 것 같기도 했고 게임을 너무 많이 하게 될까봐.. 2020. 4. 5.

티스토리툴바