LLMLink

LLM 자료 모음

Cover

https://cdn.aitimes.com/news/photo/202309/153902_164502_2517.png

Slug

useful-llm-link

Published

Date

Mar 19, 2024

Useful-LLM-Link

개인기록용 링크모음

Used for Korean

LLM 모델

내용	링크
ChatGPT by OPENAI	https://chat.openai.com/
Claude by anthropic	https://claude.ai/chats
오픈소스 모델 챗봇	https://labs.perplexity.ai/
오픈소스 모델 데모	Explore – Replicate
상업적 이용가능한 LLM	https://github.com/eugeneyan/open-llms?fbclid=IwAR1dW3jADiCLrUUXZsRz8FpQnpkcsu5Hl_bhPa4iClyH8vyTMU9UIE1Ufy4
한국어 언어모델 사고력 벤치마크	LogicKor \| 한국어 언어모델 다분야 사고력 벤치마크 - LogicKor \| 한국어 언어모델 다분야 사고력 벤치마크 (instruct.kr)

프롬프트 엔지니어링 & 업무 효율화

내용	링크
프롬프트 엔지니어링을 통한 업무 효율화	https://jehyunlee.github.io/2024/02/22/General-43_kierchatgpt/
프롬프트 엔지니어링 가이드	https://www.promptingguide.ai/
프롬프트 엔지니어링 논문	https://www.promptingguide.ai/papers
파인튜닝,프롬프트 튜닝,프롬프트 엔지니어링 차이	https://moon-walker.medium.com/the-art-of-prompt-engneering-1-prompt-engineering이란-무엇인가-4a7a88ce67c
Delimiter를 활용한 Prompt Formatting - 정확한 지시사항 전달의 핵심	https://velog.io/@samuel_cogdex/Delimiter%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-Prompt-Formatting-%EA%B8%B0%EB%B2%95-%EC%A0%95%ED%99%95%ED%95%9C-%EC%A7%80%EC%8B%9C%EC%82%AC%ED%95%AD-%EC%A0%84%EB%8B%AC%EC%9D%98-%ED%95%B5%EC%8B%AC

Langchain & RAG(Retrieval-Augmented Generation)

내용	링크
랭체인 한국어 튜토리얼	https://github.com/teddylee777/langchain-kr
RAG for LLMs 관련 논문 링크	https://www.promptingguide.ai/research/rag
Vector DB로 ChatGPT 보정하기(feat. OpenAI)	https://breezymind.com/vector-db-openai-response-optimize/
LangChain이란? LangChain으로 강력한 LLM 서비스 구축하기	https://hipster4020.tistory.com/m/189
Chroma - Vector database	https://opentutorials.org/module/6369/32376
빵형: 여러 문서에서 검색/질문/답변하는 QA 챗봇 만들기	영상: https://www.youtube.com/watch?v=ftXLn9DE7YY <br>소스: https://colab.research.google.com/drive/1MlrF0Mo8KHrxcrAeulCP3t9hroc073YN?usp=sharing
Chroma DB Tutorial: A Step-By-Step Guide	https://www.datacamp.com/tutorial/chromadb-tutorial-step-by-step-guide
랭체인 공식 문서	https://python.langchain.com/docs/get_started/introduction
LangChain을 이용한 Linkendin 이력서 요약 / 질문하기 , QA	https://velog.io/@acdongpgm/ChatGPT-LangChain을-이용한-Linkendin-이력서-요약-질문하기
테디노트 - 랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약	https://teddylee777.github.io/langchain/langchain-tutorial-05/
테디노트 - 랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법	https://teddylee777.github.io/langchain/langchain-tutorial-02/
파이썬 Chat GPT로 인사 평가 의견을 자동 요약하기 (엑셀 읽어서 요약)	https://jgws.tistory.com/6
Falcon7B + Chromadb - Hands On Guide <br> 랭체인 없이 크로마DB와 Falcon7B와 결합했고, 임베딩의 경우도 오픈소스 활용하여 구현	https://mlengineering.medium.com/integrating-vector-databases-with-llms-a-hands-on-guide-82d2463114fb
llmware - RAG을 포함한 LLM 기반 어플리케이션 개발용 통합 프레임워크	https://github.com/llmware-ai/llmware
메타데이터 강화가 포함된 LangChain 문서만들기	https://medium.com/@fabio.matricardi/metadata-metamorphosis-from-plain-data-to-enhanced-insights-with-retrieval-augmented-generation-8d1a8d5a6061
엔디비아 GEN AI 실습 예제	https://github.com/NVIDIA/GenerativeAIExamples/blob/main/docs/README.md#getting-started
RAG에 대하여	영상: https://www.youtube.com/watch?v=NfQrRQmDrcc <br> 발표자료: https://aifactory.space/task/2719/discussion/830
LangChain으로 Multimodal과 RAG 활용하기	https://github.com/kyopark2014/llm-multimodal-and-rag
프로덕션을 위한 고성능 RAG 응용 프로그램 구축	https://docs.llamaindex.ai/en/stable/optimizing/production_rag/
LlamaParse를 사용한 고급 RAG	https://github.com/run-llama/llama_parse/blob/main/examples/demo_advanced.ipynb
밑바닥부터 시작하는 RAG 예제	rag-from-scratch/rag_from_scratch_10_and_11.ipynb at main · langchain-ai/rag-from-scratch (github.com)
카카오톡 RAG	teddylee777/kakaotalk-gpt: 카카오톡 GPT (github.com)
한국어 순위 재정렬을 활용한 RAG 성능 올리기	https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/
그래프 RAG	https://aws.amazon.com/ko/blogs/tech/amazon-bedrock-graph-rag/

llama 활용 개발 예제

내용	링크
GPU에서 동작하는 Llama2 챗봇 구현 샘플	https://junia3.github.io/blog/chatbotgpu
Langchain으로 LLaMA2 cpp 버전 사용하기	https://knowslog.tistory.com/entry/Langchain으로-LLaMA2-cpp-버전-사용하기
로컬 환경에 ollama로 Llama 2 실행 및 LangChain으로 애플리케이션 개발	https://suwani.tistory.com/163

LLM 비동기처리

내용	링크
Langchain을 이용한 비동기 호출에 대한 아주 간단한 샘플	https://bcho.tistory.com/1409
세마포어(Semaphore) / 비동기 링크 모음 / 요약	https://cafe.naver.com/aidev/480
socket, 큐, fastapi에서 BackgroundTasks의 Semaphore - 비동기 공유메모리 - pending 제어 대화 내용	https://cafe.naver.com/aidev/474

cpu 또는 저사양 동작 가능한 llm 관련 참고 사이트

내용	링크
최대 24배 빠른 vLLM의 비밀 파헤치기	https://tech.scatterlab.co.kr/vllm-implementation-details/
Llama2 13B 이용 text-generation-webui	https://github.com/oobabooga/text-generation-webui
vLLM vs llama.cpp	https://www.reddit.com/r/LocalLLaMA/comments/18g21af/vllm_vs_llamacpp/
저사양 서버로 LLM 실행 기술 - vLLM	https://doooob.tistory.com/1118
QLoRA 4090 1개로도 lama2 7B 파인튜닝 가능??	https://github.com/vllm-project/vllm
CPU에서llama2 cpp 설치	https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
오리온 모델	https://github.com/OrionStarAI/Orion
맥북에어와 미니에서도 7B모델 파인튜닝 가능한 시대 ?? - Mistral-7B QLoRA	https://github.com/ml-explore/mlx-examples/tree/main/lora

책

제목	링크
딥러닝을 이용한 자연어처리 입문	https://wikidocs.net/book/2155
만들면서 배우는 생성AI	https://www.yes24.com/Product/Goods/122338458
쉽고 빠르게 익히는 실전 LLM	https://www.yes24.com/Product/Goods/124721227

강좌

내용	링크
Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning	https://fastcampus.co.kr/data_online_llmpaper?utm_source=media&utm_medium=viral&utm_campaign=prd^231123^234291&utm_content=teacher^up_teacher^234291
ChatGPT API를 활용한 챗봇 서비스 구축 with LangChain & Semantic Kernel	https://fastcampus.co.kr/data_online_langchain
비용을 줄이는 LLM	https://fastcampus.co.kr/data_online_prompt

한국어 특화 LLM

내용	링크
kiqu-70b : Miqu-70B-Alpaca-DPO 모델을 기반으로 한국어 데이터셋을 사용하여 SFT+DPO 훈련을 진행하여 제작	https://huggingface.co/maywell/kiqu-70b
Synatra-Mixtral-8x7B	https://huggingface.co/maywell/Synatra-Mixtral-8x7B
Bge-m3 한글 임베딩	https://python.langchain.com/docs/integrations/text_embedding/bge_huggingface <br> https://huggingface.co/BAAI/bge-m3
젬마 7B 한국어 모델	https://huggingface.co/beomi/gemma-ko-7b
투디지트 한글 LLM 파인튜닝	허깅페이스 : https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard 깃허브 : https://github.com/davidkim205/nox
Gemma 한국어 요약 모델 파인튜닝	Gemma 한국어 요약 모델 파인튜닝 빠르게 해보기 (sk.com)

Pseudo-Lab/Korean_LLM_Benchmark_Test: GitHub: https://github.com/Pseudo-Lab/Korean_LLM_Benchmark_Test

오픈 코-LLM 리더보드: https://littlefoxdiary.tistory.com/124

*Bge-m3 한글 임베딩 Config

논문:

한국어 LLM 성능 평가를 위한 벤치마크 구축: https://github.com/Pseudo-Lab/Korean_LLM_Benchmark_Test

K-MMLU: 한국어 언어 이해 평가 벤치마크: https://www.sedaily.com/NewsView/29VSXCSWOD

한국어 LLM 모델 성능 비교 분석: https://www.youtube.com/watch?v=rQIG_B6XcUw

각 사이트 및 논문의 특징:

Pseudo-Lab/Korean_LLM_Benchmark_Test: 한국어 LLM 모델들의 성능을 다양한 Task로 평가하는 벤치마크 테스트

K-MMLU: 한국어 시험 데이터를 기반으로 만든 한국어 언어 이해 평가 벤치마크

오픈 코-LLM 리더보드: 누구나 한국어 LLM 모델을 등록하고 다른 모델과 성능을 비교할 수 있는 공개 플랫폼

한국어 LLM 성능 평가를 위한 벤치마크 구축: 한국어 LLM 모델 성능 평가를 위한 벤치마크 구축 방법을 제시하는 논문

K-MMLU: 한국어 언어 이해 평가 벤치마크: K-MMLU 벤치마크의 설계 및 평가 결과를 소개하는 논문

한국어 LLM 모델 성능 비교 분석: 다양한 한국어 LLM 모델들의 성능을 비교 분석하는 논문