AI 31 10月 2023 中国発のLLM Xwin-LM ローカル環境で動かしてみた 2023年9月にOpenAIの生成AI「GPT-4」を上回る性能をうたってリリースされたXwin-LM。中国科学院や清華大学の研究者らが開発したようです。ロゴ格好よし。 GitHub、Hugging Face上で公開されているので、実際に使って試してみました。 Google Colabolatory… 続きを読む
python 2 7月 2023 Python PDFファイルをテキストファイルに変換してみる PDFファイルの内容をAIを使って要約したり、Q&A応答のできるプログラムが組んでみたいと思い、まずはPDFファイルからテキスト情報を抜き出したいと思います。 今回は「PDFminer」と言うライブラリを使用してみました。 (さらに…)… 続きを読む
AI 2 7月 2023 Rinna社の日本語特化GPT言語モデル Google Colabの無料枠で動かしてみた 久しく更新できていませんでした。 2023年5月にRinna社が公開した日本語に特化した36億パラメータを持つ対話GPT言語モデルを実行して行きます。GPUメモリサイズに応じて、model読み込みのオプション変更できるようです。 指定なし torch_dtype=torch.float16 load… 続きを読む
AI 30 4月 2023 ReazonSpeech 日本語に適した音声認識モデル・自動書き起こしAIを試してみた Whisperについて、高速化したfast-whisperについては、過去に記事を書いてきました。 今回は、ReazonSpeech（約19,000時間の放送音声からなるラベル付き日本語音声コーパス）を用いて文字起こしをして行きたいと思います。 ちなみに、精度に関してはWhisper Large-v… 続きを読む
AI 22 4月 2023 Dolly 2.0 + Hugging Face + googletrans LLMを翻訳機能と合わせてみた 前回の記事で、Dolly2.0が日本語を入力してもうまく応答してくれませんでした。Google翻訳の機能と合わせて応答の精度が向上するのか、試してみたいと思います。 (さらに…)… 続きを読む
AI 16 4月 2023 Dolly 2.0 + Hugging Face オープンソース＋商用利用可能なLLM（Language Large Model）を試してみる オープンソースの商用利用可能なLLMのDolly 2.0が公開されましたので、Google Colaboratoryを使用して実際に試していこうと思います。Hugging Faceを通して公開されているため、簡単に使用することができます。 (さらに…)… 続きを読む
python 6 4月 2023 Python stweet＋WordCloud Twitterのトレンドを可視化してみた Twitterの投稿内容をサードAPIで取得するライブラリstweetと、文中の出現頻度の高い単語を抽出して可視化するツールWordCloudを用いて、Twitterのトレンドを可視化してみました。 検索キーワードを変更することで、自分の取得したい情報を可視化して捉えることができるので、有用かと思い… 続きを読む
python 4 4月 2023 Python WordCloudを学習してみた WordCloudとは、文中の出現頻度の高い単語を抽出して可視化するツールです。日々の情報収集の結果を、視覚的に捉えるのには有効なツールと言えます。某情報番組では、毎日、番組の冒頭で紹介されていたので、見たことがある人も多いのでは。 公式サイトのサンプル画像を載せておきます。 (さらに&hellip… 続きを読む
python 2 4月 2023 Python Webスクレイピング 実践してみた③ 前回の記事（Webスクレイピング 実践②）の続きを記載してきます。 前回までに、実際にウェブサイトから情報を取得してCSVファイルに出力するまで学習しました。今回は、以下のようなパターンを想定して、Seleniumを使った方法を記載したいと思います。 Google、Yahooなどで、指定したキーワー… 続きを読む
python 28 3月 2023 Python Webスクレイピング 実践してみた② 前回の記事（Webスクレイピング 実践①）の続きを記載してきます。 前回は、HTMLファイルから必要な情報を取得する方法を紹介していました。今回は、結果をファイルに出力するようにして、もう少し実践的な内容にしていきたいと思います。 (さらに…)… 続きを読む
