전체 글 160

[세미나] AI Robotics KR 2025 세미나 - 최성준 교수님 세션 (2025.08.15)

발표 내용 업로드 문제 시 말씀해주시면 즉시 삭제하겠습니다피드백 및 오류 수정 제안 감사합니다 작년에 이어 올해도 방문한 AI Robotics KR의 세미나https://event-us.kr/airoboticskr/event/109568 작년에는 로봇에 대한 막연한 관심을 가지고 참여했다면,올해는 연구 인턴으로 지내면서로봇 연구 활동을 한 후 세미나를 들었다.발표 중에 언급하는 용어나 연구에 대해 더 수월하게 이해할 수 있었고네트워킹에서도 다른 사람들과 이야기 할 때 로봇 연구 관련된 이야기할 때비록 부족하지만, 경험과 지식 기반해서 이야기를 나눌 수 있었다. 더군다나 개인 연구를 위해 최근에 감명 깊게 읽은 논문이 있었는데네트워킹에서 그 논문의 저자 분을 만나기도 한 좋은 현장이였다. 최성준 교수님(..

[Isaac Sim] OmniGibson에서 ROS2 Bridge 설정, ROS2 camera topic , TF topic추가

OmniGibson에서 ROS2를 사용하기OmniGibson에서 rosbag 등을 사용하여 ROS를 통해 카메라 데이터를 받아오려고 한다그렇게 하기 위해 Isaac Sim과 ROS2 를 연결할 Bridge를 설정해야 한다 유의 사항OmniGibson에서 사용하는 Isaac Sim은엔비디아에서 계속 지원해주는 버전이 아닌4.1.0 버전을 포팅해서 사용한다그러므로 공식적으로 ROS와 Isaac Sim의 모든 기능을 지원하지 않기 때문에OmniGibson의 구성 환경에 맞게 실행해야 한다 환경Ubuntu 22.04ROS2 HumbleRTX 4070OmniGibson 1.1.1 ROS2 설치 및 설정아래 사이트를 참고한다https://docs.omniverse.nvidia.com/isaacsim/latest/i..

Robotics/NVIDIA 2025.02.07

Ubuntu 22.04에서 Docker를 통해 ROS Noetic 실행하기 + Hydra 예제 수행

ROS Noetic using DockerUbuntu 22.04 환경에서 ROS1 환경의 작업물을 사용해야 할 때가 있다이 때 간단하게 사용하기 좋은 방법을 정리했다# terminal 1docker pull osrf/ros:noetic-desktop-fullxhost +local:docker # X11 디스플레이 접근 허용# open container for roscoredocker run --gpus all -it \  --name my_ros_container \  --env="DISPLAY" \  --env="QT_X11_NO_MITSHM=1" \  --volume="/tmp/.X11-unix:/tmp/.X11-unix:rw" \  --volume="$HOME:/root/HostHome" \  os..

ROS1 & ROS2 2025.01.23

[NVIDIA Omniverse] OmniGibson 설치

OmniGibson이란 OmniGibson은 Stanford Vision and Learning Lab에서 제공하는 오픈소스로, NVIDIA Omniverse 엔진을 사용한 Embodied AI 연구용 가속 플랫폼이다  https://behavior.stanford.edu/omnigibson/ OmniGibsonOmniGibson a platform for accelerating embodied AI researchbehavior.stanford.edu  설치아래 사이트를 참고한다https://behavior.stanford.edu/omnigibson/getting_started/installation.html 사양최소 컴퓨팅 사양은 아래와 같다OS: Ubuntu 20.04+ / Windows 10+RA..

Robotics/NVIDIA 2025.01.16

LOD 3DGS 렌더링

LOD 3DGShttps://github.com/zhaofuq/LOD-3DGS?tab=readme-ov-file LetsGo는 논문 이름인 듯하다  레포지토리에 명시적으로 나와있지 않은 환경 세팅 값을 미리 설정하여향후 디버깅하는 것을 최소화하도록 한다 Requirements- CMake >= 3.24기존의 CMake 버전이 낮거나 새로 설치해야 한다면 아래 링크를 참고한다https://somjang.tistory.com/entry/Ubuntu-CMake-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95 [Ubuntu] CMake 업데이트 하는 방법nipa에서 지원 받은 서버에 카카오에서 딥러닝 기반으로 개발한 Khaii..

Review/Project 2025.01.15

[Mapping]RTAB-Map in ROS with Realsense d435if

환경Ubuntu 18.04, ROS RealSense D435if RealSenseROS에서 Realsense를 사용하기 위해 Realsens SDK를 설치해야 한다https://github.com/IntelRealSense/realsense-ros/tree/ros1-legacy?tab=readme-ov-file   ROS 버전에 맞는 RealSense ROS 패키지를 설치한다Ubuntu 18.04이므로 ROS melodic에 맞는 버전이 설치될 것이다sudo apt-get install ros-$ROS_DISTRO-realsense2-camera 이후 설치된 라이브러리를 쓸 수 있도록 빌드한다~/.bashrc에 저장하면 더욱 좋을 것이다sudo apt-get install ros-melodic-rtab..

SLAM 2024.11.23

Chat GPT API 사용하기 (Python)

API Key 발급 받기https://platform.openai.com/docs/quickstart?language-preference=pythonChat GPT를 사용해본 적 있다면 그 계정으로 로그인한다없다면 새로 계정을 만든 후 로그인한다 Key 종류User keys의 API keys 사이트에 접속한다Project keys의 사이트의 기능은 잘 모르겠다 API Keys 사이트에 들어왔으면 Key를 새로 만든다 Key를 만드려고 하면'you'와 'service account' 두 가지 옵션이 주어진다  두 옵션의 차이는 아래와 같다보통의 프로젝트에서는 'you' 옵션을 사용하면 될 듯하다Key의 이름을 작성한 후 발급 받는다   Chat GPT API 사용하기python 환경에서 사용하기 위해 패..

NLP/LLM 2024.11.22

[Paper] Room for me?: Mobile navigation for entering a confined space using deep reinforcement learning 리뷰

참고https://ieeexplore.ieee.org/document/10202306 Room for Me?: Mobile Navigation for Entering a Confined Space Using Deep Reinforcement LearningWe consider the navigation problem where a robot tries to enter a confined space where obstacles are populated randomly. The objective is to move into and stay inside the confined space while not colliding with obstacles. Since the robot does not know the..

Review/Paper 2024.09.01

[세미나 리뷰] AI Robotics KR 2024 후기(2024.08.10)

## 발표 내용 업로드 문제 시 말씀해주시면 즉시 삭제하겠습니다 ##  AI Robotics KR 2024 행사를 다녀왔다로보틱스 및 AI 관련 커뮤니티에서 개최된 행사이다https://festa.io/events/5589 Human and AI Robotics "Together" | Festa!Festa에서 당신이 찾는 이벤트를 만나보세요.festa.io  이번 행사는 역삼역 부근의 마루180에서 진행되었다  다양한 곳에서 이번 세미나를 함께 했다다른 로봇 회사들의 이야기도 조금 궁금했는데다음 기회에 들어볼 수 있으면 좋겠다  이번 행사는 발표 자료 촬영이 안된다고 하셨다로봇 분야 특성 상 산업과 긴밀히 연관된 분야이므로발표 내용이 구체적으로 드러나지 않는 선에서 기록할 예정이다  1.  표윤석 박사..

[세미나 리뷰] SLAM KR 2023 후기 (2023.11.25)

약 1년 전 방문한 행사를 기록한 것으로다르게 기록될 수 있습니다 SLAM KR 2023 행사를 다녀왔다SLAM 관련 커뮤니티에서 개최된 행사이다 https://festa.io/events/4260 2023 SLAM KR Offline Event | Festa!Festa에서 당신이 찾는 이벤트를 만나보세요.festa.io 제공된 가방을 보다시피기존의 SLAM 위주의 커뮤니티에서 Spatial AI 커뮤니티로 나아가겠다는 말씀을 해주셨다실제로 커뮤니티 이름도 그 날 부로 'Spatial AI KR'로 바뀌었다 클로봇, 누비랩을 포함한 다양한 기업의 채용 부스가 있었다 1. 임형태 박사님SLAM 분야 대학원생이 알았더라면 좋았을 것들: 슬알못에서 MIT 포닥까지KAIST URL에서 박사를 마치시고 MIT ..

[RL] Do it 강화 학습 입문 6장 - 분산 강화 학습

6-1. 분산 학습 기초분산 학습의 필요성학습해야 할 데이터의 양이 너무 많아졌다 분산 학습 환경분산 학습은 분산 컴퓨팅을 기반으로 한다분산 컴퓨팅은 여러 컴퓨터를 연결하여 문제를 빠르게 해결하는 방법이다 분산 학습 환경의 큰 축은 클러스터 컴퓨팅과 클라우드 컴퓨팅, 멀티스레드와 멀티코어, 하드웨어 가속기로 총 3가지이다클러스터 컴퓨팅과 클라우드 컴퓨팅은 컴퓨터를 여러 대 연결하여 컴퓨팅 자원을 늘린다멀티스레드와 멀티코어는 한 번에 여러 작업을 진행하도록 한다하드웨어 가속기: GPU, TPU 등 클러스터 컴퓨팅은 컴퓨터 여러 대를 하나의 그룹으로 묶어 연산력을 높이는 컴퓨팅 환경이다클러스터 컴퓨팅은 원하는 자원을 주문하고 바로 사용하며, 사용한만큼 지불하는 유연한 컴퓨팅 환경이다 멀티스레드는 한 CPU ..

AI/RL 2024.07.30

[RL] Do it 강화 학습 입문 5장 - 영화 <아이언맨>의 자비스 만들기

5-1. 자연어 처리가 뭐죠?컴퓨터는 사람의 언어를 어떻게 표현할까?자연어: 사람이 사용하는 언어기계어: 컴퓨터가 사용하는 언어 비트로 표현하는 자연어컴퓨터가 표현하는 2진수를 비트(bit)라 한다영어는 알파벳 하나씩 나열하므로 비트로 나타내기 편하다한글은 2진수로 나타내기에는 경우의 수가 매우 많아 담기 어렵다예) a: 10000001, 삵: ...? 그래서 우선 영어 기준으로 설명한다 'A'를 10000001, 'B'를 10000010과 같이자연어를 기계어로 변환하는 과정을 문자 인코딩이라 한다기계어를 자연어로 바꾸는 과정을 문자 디코딩이라 한다 문자 인코딩 방식아스키 코드가 대표적유니코드 2.0은 한글도 표현할 수 있다 5-2. 자연어 처리 기법정형 데이터컴퓨터가 이해하기 위한 정형 데이터비정형 데..

AI/RL 2024.07.30

[RL] Do it 강화 학습 입문 4장 - 딥레이서로 구현하는 자율주행

4-1. PPO 알고리즘PPO 알고리즘이란2017년 OpenAI 팀이 발표한 논문에서 소개된최신 알고리즘 기법 구현하는 것에 비해 성능이 뛰어나다 PPO 알고리즘은 로봇 제어, 게임 등 다양한 강화 학습과 제어에서 우수한 결과가 나타났다 정책 경사정책 경사는 정책 반복법에 기초한다가치 반복법에 기초하는 Q함수와 다르다 특정 상태에서 취하는 행동의 확률 분포로 이루어진 정책 네트워크를 학습시킨다상태를 입력으로 하고 출력은 행동의 확률 분포이다 정책 경사의 장점1. 정책 경사는 출력인 확률 분포를 정규 분포라 가정하고 샘플링을 진행하면 에이전트의 연속된 행동을 추출할 수 있다DQN은 에이전트가 취할 수 있는 행동이 불연속한 경우에만 적용할 수 있다2. 정책 네트워크는 확률 분포를 기반으로 해서 행동을 선택하..

AI/RL 2024.07.30

[RL] Do it 강화 학습 입문 3장 - 알파고 도전을 위한 첫걸음

3-1. 게임을 스스로 플레이하는 에이전트 만들기강화 학습을 게임 환경에서 공부하는 이유현실에서는 환경 통제가 거의 불가능하다게임 환경을 통해 에이전트, 환경, 보상을 통제하도록 한다 OpenAI Gym 레트로를 위한 환경 준비(환경 설정 문제로 추후 수정)OS에 맞는 conda 환경을 설정한다 Ubuntu Not windows 준비가 되었으면git clone  environment.yml에서 channels and dependencies를 수정한다가상환경이 생성된 이후 GL에서 문제가 발생하는데구글링 해본 결과 pyglet 1.5.11 버전으로 해결한다고 하여pyglet 버전도 수정한다 name: rl-gym-retrochannels: - defaultsdependencies: - ca-certif..

AI/RL 2024.07.30

[RL] Do it 강화 학습 입문 2장 - 강화 학습에 딥러닝 조합하기

2-1. 딥러닝 복습다른 자료 참고 2-2. DQN(Deep Q Network) 공부하기Q학습 복기Q학습은 상태 s와 행동 a에 대한 행동 가치 함수 Q(s,a)를 학습한다s와 a를 무작위로 선택하여 행동 a의 결과로 변한 상태 s'에서 행동 a'에 대한 행동 가치 함수의 값을 Q(s,a)에 대입하여 학습 진행 DQN의 구조상태(게임 화면)을 입력층으로 넣고마지막 분류 단계에서는 에이전트가 취할 수 있는 행동에 해당하는 노드를 출력층에 배치각 노드의 출력은 입력 화면s와 해당 노드의 행동 a에 해당하는 Q함수의 값인 Q(s,a)이다 이렇게 구성한 네트워크를 학습시키면 모든 종류의 입력에 따른 각 행동의 Q 함수의 값을 구할 수 있다 DQN 학습 순서1. Q(s,a) 무작위로 초기화s와 a에 대한 테이블이..

AI/RL 2024.07.27

[RL] Do it 강화 학습 입문 1장 - 강화 학습이란?

1-1. 강화 학습 멀리서 훑어보기머신러닝 내의 학습지도학습이란데이터와 각 데이터에 대한 레이블이 주어졌을 때 새로운 데이터에 대한 레이블을 매기는 방법을 학습하는 것 비지도학습이란레이블 없이 주어진 데이터에 대해 데이터를 분류하거나 밀도를 추청하는 방법을 학습하는 것 강화학습이란상태에 따른 행동에 대한 보상으로 상태에 대한 행동을 찾는 것 의사 결정을 위한 강화 학습강화학습은 의사 결정을 위한 인공지능 방법론이다. 다르게 말하면 강화 학습을 제대로 구현하기 위해서 사람의 의사 결정이 어떻게 이루어지는지 이해해야 한다.  1-2. 마르코프 결정 과정(MDP, Markov Decision Process)MDP 정의상태(state, s1): 에이전트가 환경 내 특정 시점에 관찰할 수 있는 것을 수치화행동(a..

AI/RL 2024.07.27

[Paper] PIDNet: A Real-time Semantic Segmentation Network Inspired by PID Controllers 리뷰

참고https://openaccess.thecvf.com/content/CVPR2023/papers/Xu_PIDNet_A_Real-Time_Semantic_Segmentation_Network_Inspired_by_PID_Controllers_CVPR_2023_paper.pdf PIDNet 논문을 번역했습니다.기록용으로 올립니다.아직 미완성 번역이지만 추후에 다시 읽을 때 수정하겠습니다.오번역, 오타 지적해주시면 감사하겠습니다. 0. AbstractfTwo-branch Network 구조는 실시간 Semantic Segmentation에서 효율성과 성능을 입증했다. 그러나 고해상도 디테일과 Low-frequency Context를 직접 Fusion하는 것은 Detailed Feature가 주변 정보에 의..

Review/Paper 2024.06.07

PIDNet Train & Test하기

1. Train 준비PIDNet을 test한다 위 사이트의 내용을 번역? 보기 쉽게 정리하려고 한다Train도 직접 할 수 있으니 필요하면 참고바랍니다 PIDNet을 사용하기 위해Cityscapes dataset과 CamVid dataset을 사용할 수 있다 원하는 디렉토리에 git clone한다우리는 아래의 data에 데이터셋을 추가해야 한다  pytorch 등의 버전은 본인의 학습 환경에 맞춘다아래는 RTX 4060에 적합한 환경이다conda create -y -n PIDNet python=3.10.6conda activate PIDNetconda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pyto..