池上 有希乃 オープンソースソフトウェア

テキスト前処理

neologdn

形態素解析器MeCab用辞書mecab-ipadic-neologd向けの前処理ツール. Cythonで書かれているため高速です.

紹介記事1: mecab-neologd 前処理用 Python モジュール neologdn 公開しました - debug me

紹介記事2: テキスト前処理用Pythonモジュールneologdnの紹介

GitHub: neologdn

Libraries.io: neologdn

OSS Insight: neologdn

neologdn-java

上記 neologdn の Java バージョン

紹介記事: Java で NEologd の前処理 neologdn-java - Qiita

GitHub: neologdn-java

OSS Insight: neologdn-java

jaconv

ひらがな・カタカナ・半角カナ・全角カナの文字種変換をほどほどに高速に行える Pure-Python ライブラリ. 自然言語処理の前処理用のツールとして開発しました.

紹介記事: Python3での日本語変換モジュールの比較 - Qiita

GitHub: jaconv

Libraries.io: jaconv

OSS Insight: jaconv

pytypo

英語テキストの前処理モジュール. typoを修正したり, 文字の連続表現を正規化します. 例えば, Cooooool を cool に, thanxxx を thanx に変換します.

GitHub: pytypo

Libraries.io: pytypo

OSS Insight: pytypo

テキスト分析

mecab

形態素解析器 MeCab のPythonモジュールを簡単にインストール出来るようにPyPIにアップロードしたもの. Windows, mac OS, Linuxに対応しています. また少しバグ修正も行っています.

紹介記事: WindowsやmacやLinuxにpipでPython用MeCabバインディングをいれる - Qiita

GitHub: MeCab

Libraries.io: mecab

OSS Insight: mecab

rakutenma-python

オンライン機械学習による解析モデルのアップデートが可能な形態素解析ツール Rakuten MA の Python ポートライブラリ.

紹介記事: Pure Python なオンライン形態素解析ツール Rakuten MA - Qiita

GitHub: rakutenma-python

Libraries.io: rakutenma

OSS Insight: rakutenma-python

pymlask

感情分析器 ML-Ask の Python ポートライブラリ. テキストから感情や評価極性など様々な特徴を推定します.

紹介記事: ML-Askでテキストの感情分析 - Qiita

GitHub: pymlask

Libraries.io: pymlask

OSS Insight: pymlask

oseti

東北大学の乾・鈴木研究室のページで公開されている日本語評価極性辞書を使った Sentiment Analysis (いわゆるネガポジ判定) ライブラリ. 日本語評価極性辞書を用いて文の評価極性 (ポジティブ/ネガティブ) のスコアを計算します.

紹介記事: 日本語評価極性辞書を利用したPython用Sentiment Analysisライブラリ oseti を公開しました - Qiita

GitHub: oseti

Libraries.io: oseti

OSS Insight: oseti

asa-python

意味役割付与システム ASA のPythonクライアントライブラリ. 入力文に対して述語項構造解析を行い,その後,述語の語義を同定して,係り関係にある項の意味役割を付与します.

紹介記事: 意味役割付与システム ASA のPython client - Qiita

GitHub: asa-python

Libraries.io: asa

OSS Insight: asa-python

zunda-python

日本語拡張モダリティ解析器 Zunda のPythonクライアントライブラリ. 文中のイベント (動詞や形容詞など) に対して,その真偽判断 (イベントが起こったかどうか),仮想性 (仮定の話かどうか) などを解析します.

紹介記事: 日本語拡張モダリティ解析器 Zunda のPython client公開しました - Qiita

GitHub: zunda-python

Libraries.io: zunda-python

OSS Insight: zunda-python

かな漢字変換

mozcpy

Mozc 辞書を MeCab 辞書形式に変換することで Python でかな漢字変換を行うことを可能とするライブラリ.

紹介記事: Pythonでかな漢字変換 mozcpy の紹介 - Qiita

GitHub: mozcpy

Libraries.io: mozcpy

OSS Insight: mozcpy

テキスト検索

shellinford-python

ウェーブレット行列/木での FM-index ライブラリ shellinford の Python ラッパー. Python で手軽に全文検索を実現できることや, 検索の速さとインデックスのサイズが小さい(省メモリ・ディスク)ことが特長です.

紹介記事: Pythonでお手軽テキスト全文検索 shellinford-python の紹介 - Qiita

GitHub: shellinford-python

Libraries.io: shellinford

OSS Insight: shellinford-python

機械学習

oll-python

オンライン機械学習ライブラリ OLL の Python ラッパー. 手軽に Python でオンライン学習を行えるのが特長です.

GitHub: oll-python

Libraries.io: oll

OSS Insight: oll-python

その他

madoka-python

Count-Min Sketchライブラリ madoka の Python ラッパー. Python 標準の dict 型や Counter 型およびRedisよりも省メモリで Key-Value データを扱えます.

ベンチマーク

GitHub: madoka-python

Libraries.io: madoka

OSS Insight: madoka-python

python-tr

tr コマンドのアルゴリズムを Python で利用するためのライブラリ.

GitHub: python-tr

Libraries.io: python-tr

OSS Insight: python-tr

flati

ネストされた iterable なオブジェクトを flatten するためのライブラリ. たとえば、[(1, 2, 3), (4, (5, 6))]というリストを[1, 2, 3, 4, 5, 6]という風に変換します.

紹介記事: コピペはもうやめよう。Pythonでflattenするモジュールflatiの紹介 - Qiita

GitHub: flati

Libraries.io: flati

OSS Insight: flati

kpy

UserAgent から携帯電話のモデル名を抽出するライブラリ.

紹介記事: Python - UserAgentから携帯電話の機種名を抽出 - Qiita

GitHub: kpy

Libraries.io: kpy

OSS Insight: kpy


<< 戻る