(情報科学)技術的特異点と科学･技術等 1 (ナノテク)

1 ：オーバーテクナナシー：2015/03/25(水) 03:09:59.43 ID:JLiLnBxr.net

※このスレは、下記の本家スレから分かれた分家スレです。転載に関する規定は本家に準じます。

■現在の本家スレ
(強いAI)技術的特異点/ｼﾝｷﾞｭﾗﾘﾃｨ(世界加速) 13 [転載禁止]c2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1426647717/


本家スレの話題のうち、科学・技術系で『専門的な』話題を特に扱います。

スレ成立のきっかけ
・技術的特異点の関わる分野は非常に幅広く、浅い部分から深い部分までレベルも様々で、多様な人が集まっている
・上記を前提として、科学・技術系で専門的な内容に集中しやすいように、ノイズ（特に不毛な論争）を減らしたい
・これにより、興味がある者同士の意思疎通困難性、過去ログ参照の困難性などが解消される

ただし性質上、本家との区分は厳密には困難です。
むしろ同じ内容が扱われても構いません。
本家は雑談寄り、ここではより専門色を強く、とご理解下さい。


■姉妹スレ
(AIとBI)技術的特異点と経済･社会等 1 (天国or地獄) [転載禁止]©2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1427004849/

■関連スレ
人工知能
http://wc2014.2ch.net/test/read.cgi/future/1286353655/

611 ：609：2016/12/25(日) 23:41:11.12 ID:HhtfNWQ8.net

>>610
> 449 : YAMAGUTIseisei~kasi 2016/12/25(日) 03:30:09.16 ID:HhtfNWQ8
> シンギュラリティスレに相応しい大切な議論 ( 議題 )
> ※ 但し 失礼ながら些か脱線の傾向 ( 議題の中の肝の部分が大切 )

>497 : yamaguti~kasi 2016/12/25(日) 23:35:42.88 ID:HhtfNWQ8
> >>453
> 流れ
> LSf1DgBH 氏文脈

http://rio2016.2ch.net/test/read.cgi/future/1476925488/210# SaiRyuudoKa
http://rio2016.2ch.net/test/read.cgi/future/1476925488/949# Sukoaringu

612 ：yamaguti~貸：2016/12/28(水) 19:25:08.56 ID:cR1KnFY8.net

http://rio2016.2ch.net/test/read.cgi/future/1481515915/274#290
>274 : オーバーテクナナシー 2016/12/23(金) 16:01:53.21 ID:qoXUV7bO
> ディープラーニングに必要な計算量を30分の1に省力化、デバイスに搭載できる人工知能　─三菱電機インタビュー
>http://iotnews.jp/archives/44190

> ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry
> ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry
> ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。
> ─これは人が残すのでしょうか？
> 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry
> 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。
> そこで値をほとんど持たない「疎な行列」をどう構成 ry
> ─その太い幹っていうのを見切るところがすごく難しそうです。 ry 、どれだけ残して、どれだけ切 ry
> ry 、例えば入力のデータに対して主成分となり得るような重要なデータの個数がある程度限定 ry
> 、情報を欠損させないで中間層に伝搬させる事は可能 ry 証明 ry 1/30に削減しても同様の効果 ry
> ─これはこのデータだからという事はないのでしょうか？
> ry 制約条件はありません。
> ─人の顔の認識などデータが複雑だと難しいということはないのでしょうか？
> ry 、さっきのガンマに依存しないっていうのは実は驚異的 ry


http://rio2016.2ch.net/test/read.cgi/future/1427220599/542#555#562-563#570-571#578-579#604-605
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#27#30-32#34-38#63#75#79#80

#16#26#27#30-32

613 ：581：2016/12/28(水) 19:30:59.82 ID:cR1KnFY8.net

>>582
深層学習
> 入力応用 ? ( 一層切出し 多層化 ? )
↓
> ソフトウェアコード応用 ( 一層切出し 多層化 ) ?

614 ：611：2016/12/29(木) 22:47:22.33 ID:1nUl0klS.net

>612
>>542 >>556 >>563-564 >>571-572 >>579-580 >>605-606

615 ：yamaguti~貸：2016/12/29(木) 22:48:56.89 ID:1nUl0klS.net

>>611
攻殻機動隊 例 オペ子

>>http://rio2016.2ch.net/test/read.cgi/future/1482030012/794
http://rio2016.2ch.net/test/read.cgi/future/1480118427/481-485# Konekutoomu

616 ：604：2017/01/02(月) 01:36:40.90 ID:DMzazahP.net

Page 27

の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry
。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、
相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。

図 ２-１ カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry
。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。
最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。
結果は入力の疎分散表現である。（アクティブなカラムは灰色で示した）

ry ほんの少しの入力ビットが変化したなら、
いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、
アクティブなカラムの集合はあまり大幅に変化しないだろう。
よって似た入力パターン（アクティブなビットの共通部分が非常に多いもの）からは
アクティブなカラムの比較的安定した集合に対応付けられる。
コード化がどのくらい安定 ry 、各カラムがどの入力に接続しているかに大きく依存 ry
この接続関係は、後述する方法で学習する。
これらのすべてのステップ（入力の部分集合から各カラムへの接続関係を学習し、
各カラムへの入力レベルを決定し、アクティブなカラムの疎な集合をえらぶために抑制 ry ）
を空間プーリングと呼ぶ。 ry 空間的に類似（アクティブなビットの共通部分が多い）の
パターンがプールされる（それらが共通の表現に互いにグループ化される）ことを意味する。

617 ：615：2017/01/03(火) 02:58:43.04 ID:igW+0jZp.net

Page 28

2) 以前の入力の文脈に基づいて、入力の表現を作成する
リージョンで行われる次の機能は、入力をカラムで表現したものを、
過去からの状態ないし文脈を含む新しい表現に変換 ry
。新しい表現は各カラムの一部のセル、普通は１カラムにつき１つのセルを
アクティブにすることで得られる（図 ２-２）。

「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry
「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry
また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry
。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。
「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。
「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry

ある入力を異なる文脈では異なるコード変換をするというこの原理は、
認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry

618 ：616：2017/01/03(火) 03:06:42.48 ID:igW+0jZp.net

ry カラムは複数のセルからなっている。
同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。
ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、
完全に同じ入力に対して異なる文脈では異なる表現をすることができる。
例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry
。カラムの中で一つのセルだけが一度にアクティブであるとすると、
完全に同じ入力に対して 4100 通り ry
。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、
文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry
、これらの異なる表現はどのくらいユニーク ry ？
4100 個の可能なパターンのうちからランダムに選択した 2 個は、
ほとんどの場合、約 25 個のセルが重複 ry
よって同じ入力を異なる文脈で表した 2 つの表現は、
約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry

HTM リージョンの一般的な規則 ry
カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。
もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、
それらのセルだけがアクティブになる。もしそのカラム

31 「私は梨を食べる」と「私は 8 個の梨を持っている」

>>562 >>579-580 >>591 >>600-601 >>605

619 ：616：2017/01/05(木) 05:20:22.69 ID:XytjA2E8.net

Page 29

中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。
ry ：ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ
にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、
システムはカラム中のすべてのセルをアクティブにすることで、
「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。

もし以前の状態が何もないなら、従って文脈も予測もないなら、
ry になるときは各カラム内のすべてのセルがアクティブになる。
ry 歌の最初の音を聞いたときと似ている。
文脈がなければ、 ry 予測できない：すべての選択肢が有効である。
以前の状態があるが入力が予期したものと合致しないときは、
アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに
行われるので、予測 ry は「オール・オア・ナッシング」32ではない。

図 ２-２ カラムの一部のセルをアクティブにすることで、
HTM リージョンは同じ入力の多くの異なる文脈を表現 ry
。カラムは予測状態のセルだけをアクティブにする。
予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry
。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry

ry HTM セルは３つの状態を取る。
セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry

32 all-or-nothing

>>600-601 >>605-606 >>617-618

620 ：618：2017/01/10(火) 06:41:13.03 ID:xuLIsBiQ.net

Page 30

。セルが ry セルとの横方向の接続によってアクティブ ry 「予測状態」と呼ぶ（図 ２-３）。

3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry
予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry

リージョンが予測をするときは、将来のフィード・フォワード入力によって
アクティブになると考えられるすべてのセルをアクティブ（予測状態）にする。
リージョンの表現は疎であるので、同時に複数の予測がなされ得る。
例えばカラムのうちの 2%が入力によってアクティブになるとすると、
カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。
ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ
になるとすれば、セル全体の 10%が予測状態 ry

今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、
リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry

リージョンはどうやって予測 ry ？ 入力パターンが時間と共に変化するとき、
カラムとセルの異なる組み合わせが順次アクティブになる。
あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの
部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度
に応じて早く形成されたりゆっくり ry 調整できる。
その後、すべてのセルはこれらの接続を見て、
どのセルが同時にアクティブになるかを探さなくてはならない。
もし接続がアクティブになったら、
セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。
よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、
ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry
歌を聞いていて次の音を予測 ry 瞬間と同様 ry

>>542 >>556 >>558-559 >>562-565 >>571 >>579-580