意味の折り畳み（いみのおりたたみ、）理論は、自然言語テキストの意味を意味論的に基礎づけられた二値表現にエンコードする手続きを記述する。このアプローチは言語データが大脳新皮質によってどのように処理されるかをモデル化するための枠組みを提供する。
理論 意味の折り畳み理論は、ダグラス・ホフスタッターの「認知の核としての類推」から着想を得ており、それは脳が類推を特定・適用することによって世界を理解するという考えを示唆している。 この理論は、意味データは類似度測定の適用を可能にする形式で大脳新皮質に導入されなければならないと仮定し、解決策として分布参照フレームとして二次元トポグラフィック意味空間を採用した疎な二値ベクトルを提供する。この理論は階層型時系列メモリ（HTM）として知られる人間の皮質の計算理論の上に構築されており、言語意味論の表現のための補完的理論として位置づけられる。
このアプローチが主張する特定の強みは、結果として得られる二値表現により、複雑な意味的操作が最も基本的な計算レベルで単純かつ効率的に実行できることである。
二次元意味空間 大脳新皮質の構造に類似して、意味の折り畳み理論は意味空間の実装を二次元グリッドとして仮定する。このグリッドにはコンテキストベクトルコンテキストベクトルは特定のコンテキスト内のすべての単語を含むベクトルとして定義される。が、競合学習の原理を用いるなどして、類似したコンテキストベクトルを互いにより近くに配置するように配置される。このベクトル空間モデルは、情報検索の文献に記載されたよく知られた語空間モデルとの等価として理論内で提示されている。
意味空間（上述のように実装された）が与えられると、ある語 に対する語ベクトル語ベクトルまたは語SDRは意味の折り畳み理論では「セマンティック・フィンガープリント」と呼ばれる。は次のアルゴリズムを用いて得ることができる。 各位置 X に対して（Xは意味マップ上のデカルト座標を表す）： 語 Y が位置 X にあるコンテキストベクトルに含まれる 場合、 Y の語ベクトルの対応する位置に1を加える そうでない場合、 Y の語ベクトルの対応する位置に0を加える このプロセスの結果は語 Y が現れるすべてのコンテキストを含む語ベクトルとなり、意味空間内でその語の意味を代表するものとなる。結果として得られる語ベクトルも疎分散表現（SDR）形式 [Schütze, 1993] & [Sahlgreen, 2006]であることが分かる。計算意味論に関して特に興味深い語SDRのいくつかの特性は以下の通りである。
高いノイズ耐性：類似したコンテキストが基礎となるマップ上でより近くに配置されるため、語SDRは偽または移動した「ビット」に対して高い耐性を持つ。 ブール論理：ブール（OR、AND、排他的OR）および/または算術（SUBtract）関数を使用して、意味のある方法で語SDRを操作することが可能である。 サブサンプリング：語SDRは意味情報の顕著な損失なしに高度にサブサンプリングできる。 トポロジー的二次元表現：SDR表現は基礎となるマップのトポロジー的分布を維持するため、意味が類似した語は類似した語ベクトルを持つ。これは、ベクトル要素の単純な重複からユークリッド距離、ハミング距離、ジャッカード係数、コサイン類似度、レーベンシュタイン距離、Sørensen–Dice係数などの距離測定まで、様々な測定が意味的類似性の計算に適用できることを示唆する。
意味空間 自然言語領域における意味空間分散意味空間または分散意味メモリとも呼ばれるは、意味を捉えることができる自然言語の表現を作成することを目指す。意味空間の本来の動機は自然言語の二つの核心的な課題から生まれる。語彙の不一致（同じ意味が多くの方法で表現できるという事実）と自然言語の曖昧さ（同じ用語が複数の意味を持てるという事実）である。
自然言語処理（NLP）における意味空間の適用は、キーワードレベルで動作するルールベースまたはモデルベースのアプローチの限界を克服することを目指す。これらのアプローチの主な欠点はその脆さと、ルールベースのNLPシステムまたはモデル学習のためのトレーニングコーパスを作成するために必要な大きな手作業である。 ルールベースと機械学習ベースのモデルはキーワードレベルに固定されており、語彙がルールで定義されたものや統計モデルに使用されたトレーニング素材と異なると機能しなくなる。
意味空間の研究は20年以上前に遡る。1996年に意味空間作成の一般的なアイデアに多くの注目を集めた二つの論文が発表された。Microsoftからの潜在的意味分析とカリフォルニア大学からの言語の超空間類似語である。しかし、それらの意味空間を構築・使用するために必要な大きな計算量によって採用は限られていた。語間の連想関係（例：「クモ-巣」、「ライター-タバコ」）のモデリングの精度に関する突破口は、2007年に明示的意味分析（ESA）によってもたらされた。ESAは、語を100,000次元のベクトル（各次元はウィキペディアの記事を表す）の形式で表す新しい（機械学習を用いない）アプローチであった。しかし、ベクトルに必要な大きな次元数のため実用的な応用は限られている。
より最近では、ニューラルネットワーク技術の進歩が他の新しいアプローチ（テンソル）と組み合わさり、多くの新しい開発をもたらした。Googleからのword2vecとスタンフォード大学からのGloVeなどである。
意味の折り畳みは意味空間への新しい生物学的に着想を得たアプローチを表し、各語は2D意味マップ（意味宇宙）内の16,000次元の疎二値ベクトル（セマンティック・フィンガープリント）として表現される。疎二値表現は計算効率の面で有利であり、非常に多くの可能なパターンの保存を可能にする。
可視化 サムネイル|「犬」と「車」という用語を比較したセマンティック・フィンガープリントの画像。 サムネイル|「ジャガー」と「ポルシェ」という用語を比較したセマンティック・フィンガープリントの画像。 二次元グリッド上のトポロジー的分布（上述）は任意の語またはテキストの意味のビットマップ型可視化に適しており、各アクティブな意味特徴を例えばピクセルとして表示できる。ここに示す画像から分かるように、この表現は二つ（またはそれ以上）の言語項目の意味の直接的な視覚比較を可能にする。
画像1は、「犬」と「車」という二つの異なる用語が予想通り明らかに異なる意味を持つことを明確に示している。
画像2は、「ジャガー」の意味コンテキストのうちの一つ（車「ジャガー」）のみがポルシェの意味と重なることを示している（部分的な類似性を示す）。「ジャガー」の他の意味コンテキスト、例えば動物の「ジャガー」は明らかに異なる重複しないコンテキストを持つ。 意味の折り畳みを用いた意味的類似性の可視化は、A.G. Huth らによる研究で作成されたfMRI画像に強い類似性を持っており、その研究では語が脳内で意味によってグループ化されていると主張されている。脳の小さな体積セグメントであるボクセルは、意味情報が視覚野の境界に沿って表現されるパターンを示し、視覚的・言語的カテゴリーがそれぞれ後部と前部に表現されることが分かった。
注釈
脚注