Black_AIEngineer

[JEPA] Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture저자: Mahmoud Assran, Quentin Duval, Ishan Misra발행년도: 2023년인용수: 450회논문 링크: https://arxiv.org/abs/2301.08243arXiv ID: 2301.08243 이미지 자기지도학습의 새로운 방향: I-JEPA가 제시하는 표현 예측의 가능성문제 정의 (Problem Definition)컴퓨터 비전 분야에서 자기지도학습(self-supervised learning)은 라벨이 없는 대량의 이미지 데이터로부터 유의미한 표현을 학습하는 핵심 기술이다. 최근 몇 년간 대조학습(contrastive lea..

[DPT] Vision Transformers for Dense Prediction

Vision Transformers for Dense Prediction저자: René Ranftl, Alexey Bochkovskiy, Vladlen Koltun발행년도: 2021년인용수: 2500회논문 링크: https://arxiv.org/abs/2103.13413arXiv ID: 2103.13413 Vision Transformer를 Dense Prediction에 적용하기: DPT 논문 리뷰문제 정의 (Problem Definition)Vision Transformer(ViT)가 이미지 분류에서 CNN을 능가하는 성능을 보여준 이후, 많은 연구자들이 자연스럽게 던진 질문이 있었다. "ViT를 semantic segmentation이나 depth estimation 같은 픽셀 단위 예측 작업에도..

[SegFormer] SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers

SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers저자: Enze Xie, Wenhai Wang, Zhiding Yu발행년도: 2021년인용수: 3500회논문 링크: https://arxiv.org/abs/2105.15203arXiv ID: 2105.15203 SegFormer 논문 읽고 정리해봤다Vision Transformer가 나온 이후로 semantic segmentation에 트랜스포머를 어떻게 잘 활용할 수 있을까 고민이 많았다. 특히 CNN 기반의 모델들이 워낙 잘 되어 있어서, 굳이 트랜스포머로 바꿔야 하나 싶은 생각도 들었다. 그런데 기존 ViT 기반 방법들을 보면 좀 아쉬운 점들이 있었다...

ByteTrack: Multi-Object Tracking by Associating Every Detection Box저자: Yifu Zhang, Peize Sun, Yi Jiang발행년도: 2022년인용수: 850회논문 링크: https://arxiv.org/abs/2110.06864arXiv ID: 2110.06864 ByteTrack: 모든 검출 박스를 활용한 다중 객체 추적문제 정의 (Problem Definition)다중 객체 추적(MOT)에서 가장 근본적인 딜레마가 하나 있다. 검출기의 confidence threshold를 어디에 맞춰야 하는가? 높게 설정하면 정확한 검출만 남지만 폐색(occlusion)이나 모션 블러가 발생한 객체들을 놓치게 된다. 낮게 설정하면 모든 객체를 포착할 수..

Bitcoin: A Peer-to-Peer Electronic Cash System저자: Satoshi Nakamoto발행년도: 2008년인용수: 25000회논문 링크: https://bitcoin.org/bitcoin.pdf Bitcoin: P2P 전자 화폐 시스템의 혁신적 설계문제 정의 (Problem Definition)디지털 시대가 도래하면서 온라인 거래는 일상이 되었지만, 여전히 우리는 은행이나 결제 대행사 같은 신뢰할 수 있는 제3자에 의존해야만 했다. 이들 중개자 없이는 디지털 화폐의 이중 지불 문제를 해결할 방법이 없었기 때문이다. 디지털 파일은 무한히 복사가 가능하므로, 같은 돈을 여러 번 사용하는 것을 막을 중앙 권한이 필요했다.하지만 이러한 중개자 의존 시스템은 근본적인 한계를 가지..

Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra저자: Darioush Kevian, Usman Syed, Xingang Guo 외 2명발행년도: 2024년인용수: 0회논문 링크: https://arxiv.org/abs/2404.03647v1arXiv ID: 2404.03647v1 대형 언어 모델이 제어공학을 이해할 수 있을까? - GPT-4, Claude 3 Opus, Gemini 1.0 Ultra의 제어 문제 해결 능력 평가문제 정의 (Problem Definition)최근 GPT-4, Claude 3 Opus 같은 대형 언어..

XGBoost: A Scalable Tree Boosting System저자: Tianqi Chen, Carlos Guestrin 발행년도: 2016년 인용수: 45000회 논문 링크: https://arxiv.org/abs/1603.02754 arXiv ID: 1603.02754 ---XGBoost: 대규모 데이터를 위한 확장 가능한 트리 부스팅 시스템문제 정의 (Problem Definition)머신러닝이 산업 전반에 활용되면서 처리해야 할 데이터의 규모가 기하급수적으로 증가했다. 특히 웹 검색, 광고 추천, 이상 탐지와 같은 실제 응용에서는 수백만에서 수십억 개의 샘플을 다뤄야 하는 상황이 일상이 되었다. 이런 환경에서 그레이디언트 부스팅 트리(Gradient Boosting Trees)는..

K-means Clustering저자: James MacQueen 발행년도: 1967년 인용수: 50000회 arXiv ID: 2310.01195 ---K-means Clustering: 군집화의 시작점이 된 단순하지만 강력한 알고리즘문제 정의 (Problem Definition)1967년, James MacQueen은 데이터 과학 분야의 가장 근본적인 질문 중 하나에 답하려 했다. "구조화되지 않은 데이터에서 어떻게 의미 있는 그룹을 찾을 것인가?" 당시 통계학과 컴퓨터 과학이 만나는 지점에서, 연구자들은 대량의 데이터 포인트들을 유사성에 기반해 자동으로 분류하는 방법을 찾고 있었다. 레이블이 없는 데이터에서 패턴을 발견하는 것은 시장 세분화부터 생물학적 분류까지 다양한 분야에서 필수적인 작업이..

Random Forests저자: Leo Breiman 발행년도: 2001년 인용수: 120000회 논문 링크: https://www.stat.berkeley.edu/~breiman/randomforest2001.pdf arXiv ID: 1604.07143 ---Random Forests: 단순함 속의 지혜, 그리고 20년 후의 재평가2001년, Leo Breiman이 제안한 Random Forests는 머신러닝 역사상 가장 영향력 있는 알고리즘 중 하나가 되었다. 12만 회가 넘는 인용수가 이를 증명한다. 하지만 정말로 이 방법이 당시의 문제들을 근본적으로 해결했을까? 20년이 지난 지금, 딥러닝 시대의 관점에서 이 고전을 다시 읽어보았다.문제 정의 (Problem Definition)Breim..

The case for motivated reasoning 저자: Ziva Kunda발행년도: 1990년인용수: 11500회논문 링크: https://doi.org/10.1037/0033-2909.108.3.480 --- 동기화된 추론: 인간이 믿고 싶은 것을 믿는 메커니즘 문제 정의 (Problem Definition) 인간의 추론 과정이 항상 합리적이고 객관적일까? Ziva Kunda는 이 근본적인 질문에서 출발했다. 사람들은 종종 자신이 믿고 싶은 결론을 먼저 정하고, 그것을 뒷받침할 증거를 찾는다는 관찰이 이 연구의 시작점이었다. 기존의 인지심리학 연구들은 인간의 추론 오류를 주로 '실수'나 '능력 부족'으로 설명했다. 하지만 실제로는 매우 똑똑한 사람들도 특정 주제에 대해서는 비합리적인 추론을 ..