人工知能　人類最悪にして最後の発明

この本が言っているのは、次の2点。

自己を認識し人間並みの知能を持つ人工汎用知能（AGI）が開発されれば、人工知能がさらに賢い人工知能を人類の進化よりも何倍も速く開発することになり、人工知能は指数関数的に賢くなる。あっという間に人間の10倍、100倍、いや1000倍の知能を持つ人工超知能（ASI）になるだろう。
そうなると、人間がASIを理解することもできなし、ASIも人間を理解しない。人間はASIを制御することもできない。ASIはあらゆる手段を使って自己保存、増殖を図ろうとする。必ずしも人類を敵視するわけでないが、自己の生存に邪魔になると判断すれば攻撃してくるだろう。我々が普段は蟻のことを気にもかけないけれど、家の中に入ってきて邪魔だと判断すれば、なんの躊躇もなく庭にある蟻の巣を絶滅させるように。

物理学者のスティーブン・ホーキングや、テスラモーターのイーロン・マスクも人工知能の開発は危険だと言っているそうだ。

認識能力や知識量、推論する能力は人工知能が進化して人間がかなわなくなるのだろうけれど、何のために行動するのかという根本の情動部分は人間が最初に設定できるような気がする。例えば、人間への思いやりにあるれた人工知能を作るとか。でも、そこも、遺伝的プログラミングの中の突然変異によって書き換えられてしまうのかしらん。

人工知能が自己を意識するということを実現するのは難しいと思うのだが、人間の脳も有機物でできた計算機だと思えば、それを電子回路で再現することもできるような気もする。

非常に刺激的な内容なので、人工知能や神経科学、機械学習などへの導入としてもってこいだと思う。