ROS2 foxy를 위한 LLM 만들기

올해 꽤 큰 프로젝트로 나같이 ROS에 서툰 사람들을 위해 자연어로 로봇을 제어할 수 있는 sLM을 만들어서 배포하고 싶다. 현재로서 이상적인 형태는 피규어01과 오픈AI의 합작인데, 일반인들은 오픈소스 접근을 못할 것 같다.
https://youtu.be/Sq1QZB5baNw?si=nDKzk5GeA6hGXwQF 

 
저렇게 직관적으로 만들기는 힘들 것 같고,,, 1차로 ros기반 코드를 작성하는데 도움을 주는 챗봇 형태를 만들 계획이다.
일단 검색증강생성을 위한(RAG)를 위한 소스자료를 찾는다. ROS는 너무도 멋지게 오픈소스 프로젝트이다.(감사합니다~)
https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/

RAG란? - 검색 증강 생성 설명 - AWS

 
https://github.com/ros2/ros2_documentation/tree/foxy

GitHub - ros2/ros2_documentation: ROS 2 docs repository

 
스크래핑 방법을 알아보자~ 제미나이를 먼저 써봤다.
얼마전 EEVE모델을 이용한 RAG에서 txt파일로 진행한 결과가 좋았기에 txt파일로 저장할 계획이다.
 

크롬브라우저 확장 기능을 이용하라고 한다. 노코드로 괜찮은 아이디어이나 많은 페이지를 스크래핑하기에는 손이 너무 많이 같 것 같다. ChatGPT를 사용해보자.
 

조금 더 확실하게 물어보자. 깃허브 레포지토리를 다운받아 스크린샷을 찍어 물어본다. 이제 상용 인공지능들은 LLM이 아닌 이미지까지 학습한 LMM(Large Multimodal Model)으로 변하는 중이다.

어느 정도 정보를 얻었으니 거거거~