このリポジトリでは、Amazon Bedrock、RAG、Gradio、sklearn などのツールを使って自学自習で作ってみた自然言語処理のコードを紹介しています。
プロンプトエンジニアリング、構造化出力、UI を含む NLP アプリケーションの構築に関心がある方に適しています。
- Amazon Bedrock（AWS 上の LLM アクセス）
- Amazon Nova（AWS）（大規模言語モデル）
- Claude（Anthropic）（大規模言語モデル）
- ChromaDB（軽量なベクトルデータベース）
- LangChain（LLM 構成フレームワーク）
- Transformers（LLM 構成フレームワーク）
- Gradio（機械学習アプリのUI作成）
- sklearn（次元削減やクラスタリング等）
- Python 3.10 以上
| ディレクトリ名 | 概要 |
|---|---|
amazon-nova_usecase |
Amazon Nova を使った文章分類 |
aws_bedrock |
Amazon Bedrock を使ったプロンプトエンジニアリングの基礎 |
bedrock_chroma_simple_rag |
Chroma + Claude によるシンプルな RAG パイプライン |
bert_classification |
Transformersを用いたBERTの文章分類のファインチューニング |
claude_gradio_app |
Claude を活用した Gradio ベースのチャットアプリ |
claude_structured_output_usecase |
Claude を使った JSON 形式の構造化出力例 |
claude_structured_output_usecase_2 |
Claude を使った JSON 形式の構造化出力例2 |
dim-reduction_clustering |
embedding -> 次元削減 -> クラスタリング |
rinna-gpt2_generate |
Transformersを用いたGPT2の文章生成のファインチューニング |
t5_summarize |
Transformersを用いたT5の文章要約のファインチューニング |