⚠️あまりに膨大だと圧縮が止まらなくなります。LangChainのgitを試したところ、データ量が膨大すぎて時間がかかります（20分ぐらい？？）＆容量がものすごいです。外付けHDか、USBをおすすめします。
終わっても多分取り込めないかも..そういうものもあります。様子を見て使ってみてください。
🔽1filellm
https://github.com/jimmc414/1filellm
🔽こちらのオープンソースを開発された、Jim McMillanさんのGithubページ
https://github.com/jimmc414
専門知識をLLMに学習させるのは大変！トークン制限やプログラミングコードの処理は特に厄介です。
そこで今回は、Githubリポジトリを圧縮してLLMで取り込めるようにするオープンソースコードの使い方と、RAG（Retrieval-Augmented Generation）について解説します。
このコードを使えば、トークン数を大幅に削減し、GoogleのGeminiにもスムーズに取り込むことができます。（Webページや、YUTUBEのTranscriptも！）
実際に、Googleが発表したGemmmaのGithubリポジトリを圧縮してGeminiに取り込んだ結果、Gemmaについて驚くほど正確な回答を得ることができました。
この動画では、以下の内容を詳しく解説します。
🟠githubリポジトリをLLM学習用データに自動変換するオープンソースコードの使い方
🟠RAG（Retrieval-Augmented Generation）の概要
🟠実際にGemmmaのGithubリポジトリをGeminiに取り込んだ手順と結果
1filellm/MITLICENCE
MIT License
Copyright (c) 2024 Jim McMillan
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the “Software”), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS ORIMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHERLIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
#ai活用 #ai #chatgt #gemini #rag #生成ai
