完形與世界模型

本文主要探討完形與世界模型的關系。


格式塔心理學引入了心理學的動力學視角,啟發我們從一個全新的角度看待世界模型的構建,自我、感官、舊腦等綜合作用下會產生不同的行為環境的內容。
考卡夫向我們展示了一系列實驗,表明人在解構感知信息時會傾向于簡單性、相似性、閉合性等一系列完形原則,雖然其大作《格式塔心理學原理》中并未探討成因,但在生理-心理聯合框架上下足了理論功夫。 Read more

通用智能的一些重要概念

本文粗淺地討論我對一些重要概念的理解:記憶 理解 概念 特征世界 識別 比較 歸納 預測 激勵 推理 視覺推理 陌生事物 新鮮感 發現異常 生成網絡 嘗試 想象 動機 目標驅動 腦中圖靈機 盲源分離 目標達成 世界模型 回憶 注意力 感知 判斷 感覺世界feeling

 

記憶(Memory)——有很多子類型,比如短時記憶、長時記憶,情景記憶、陳述性記憶、程序性記憶等等,不一而足,記憶直接對應著連接關系與其權重,將0也看成權重的話,本質是權重對外界影響的落實。比如一個場景,連續的感覺輸入包括相關概念的喚醒,也包括時間性感覺和概念,時間性的記憶由前后關系型連接建立,發生的事物、以及事物的空間和時間關系都影響著大量連接的權重,尤其是一過性場景能形成長期記憶,可能以來腦中的回放機制來加強記憶。短時記憶機制的已逝性和與長時記憶的可塑性,說明權重變化既是敏感的也是可加強的,有可能不同特性的連接用于不同的功能,有些連接比較遲鈍,權重落實慢,需要反復刺激,有些權重落實快,增加快降低也快,可塑性太強,反復變化,不便于長期記憶。說到記憶,往往指的是我們意識能感知到的知識、概念、生活經歷等等,但實際上類似于感覺初級皮層的功能形成與意識可感知的記憶形成本質都是權重落實問題。只是大腦很難意識到初級皮層的感念,初級皮層的權重形成也是傾向于統計上的落實。而記憶更傾向于一次性的權重落實,和反復單一刺激強調的權重落實。所以無論是情景記憶、程序性記憶,還是陳述性記憶,都是不同類型的輸入建立關聯的過程而已。回想是記憶落實和加強的重要手段,例如恐怖性經歷會刺激本能反復回想該記憶,從而會終身難忘。難忘的記憶征用了較多的記憶資源,并且時常回放進行鞏固,輕描淡寫的記憶動用了較少的記憶資源,又很少回想,這些記憶資源慢慢被其他記憶所替代。 Read more

小議動態神經網絡

深度學習的發展很快將到達一個瓶頸期,因為從更高的維度來看,從開始到現在我們對待時間問題的處理方式都可能存在的方向上的錯誤,雖然RNN相關的技術在時序相關問題上取得了不錯的成果,但應用范圍依然有限。

那么,問題到底出現在哪里?在下獻一拙思。

梳理生物等級鏈的智能演化,大家可以發現,對于時間性問題的處理,是神經網絡在誕生之初就最先具備的,而我們的人工神經網絡恰恰是從誕生到現在都不具備的,舉個例子,對視頻進行實時的物體識別、定位與標注是怎樣做的?利用訓練好的深度神經網絡對當下選取的一幀進行計算,算出的向量用于展示,再選取一幀重復計算,整個流程是由人類算法控制的,網絡的計算呈現的是時間無關性,亦即就像時間靜止時網絡做了一件工作,再推動時間向前一步,再靜止工作一樣,我稱之為靜態識別網絡,進而可以理解如果是動態識別網絡,那就像生物學神經網絡那樣,信息流源源不斷地流入,計算在每個局部都在發生,結果在時間流上持續出現。顯然,我們現在已知的網絡都沒有走這條路,這其中可能有計算量的問題,也可能有理論上刻意的選擇,但我的見解是動態網絡才是智能進階的關鍵點。
當然,在整個智能系統中,特征的自動發現、層級組合性等誠然至關重要,但這些關鍵的能力之外,我們可能還忽略了若干重要的能力,動態性就是其中一個,有了這個能力,我們的網絡就可以更加容易地處理時間流上的東西,比如運動控制、傳感器流的處理(包括視覺流處理能力,更好的聲音流處理能力以及其他知覺的感知能力)、聯想、觀察、思考、甚至產生意識。

那么現在的RNN存在什么問題呢?

就是因為RNN雖然引入了時間性,但是不徹底,他的本質是直接處理靜態化后的數據流,再進行處理。靜態化就是將隨時間流逝的東西借助緩存等手段變成一個共存的東西,靜態化是智能系統面對時間性問題的解決方案,比如視聽覺暫留機制、緩存機制,但RNN在靜態化方面是被動的,因為網絡本身不提供靜態化的機制,他只能將人為靜態化后的成果進行處理;RNN是圖靈完備的,他可以模擬任何計算過程,而程序也是靜態化的,每一條指令的執行是基于CPU的時間片的,RNN本質上也是,是通過程序控制RNN的step的,倒不是說這種序列步驟有什么錯誤,問題在于序列步驟的基礎仍然是人為的,所以網絡缺乏了施展空間,這種結構限制了RNN具備更加復雜的時間性數據的處理能力,所以你無法用RNN進行實時地觀察、聯想、思考甚至互動等等。

那應該怎樣做呢?

我的一個思路是這樣的,基本就是生物腦運行模式,先拋棄計算量的問題不談,假定我們不需訓練已經掌握了一個權重直接確定法,我們先讓這個用于某種功能的網絡可以實時不斷地接收外部數據,每個神經元都獨立計算,一個完全的分布式模式;從運動控制、簡單的感受器做起,沿著生物進化的腳步增加該神經網絡的復雜性。

關于深度學習和小樣本學習問題的新認識

第一個問題,小樣本學習問題

之前,我一直認為深度學習的小樣本學習能力差,是因為不應該用統計的手段,但現在意識到不是因為統計的問題,而是因為重新發明了輪子,信息利用度不夠,舉個例子自然圖像識別的第一層是方向基,線條基,大家都在重復地訓練第一層就是重復勞動,第二層、第三層也有類似的問題,其實前面幾層都用通用性,即使到了后面幾層,不同的訓練之間也是有大量共通的東西。而通用智能的解決方案在于提供了一種靈活、高度的可復用機制。說白了,當我們有足夠好的條件的時候,我們會盡量減少統計,但統計的本質沒有錯。 Read more

人工智能各行業應用結合方式淺腦暴

旅游 行程管家
賓館 自動賓館管理系統、智能安防、自動生物識別支付
餐飲 自動配送系統,自動餐飲制作機器人
寵物、花鳥 自動寵物喂食機、寵物健康管理器、寵物養成小秘書
文化藝術 自動創作機(繪畫、音樂、雕塑、電影、游戲等等)
購物 自動購物比價、選擇工具
機械設備 廉價工業機器人、基于廉價攝像頭和低精度控制設備
監督、投訴及熱線電話 自動語音服務
美發美容 理發、美發機器人、發型設計
老年服務 養老機器人
閑置物品調劑回收 自動物流機器人、自動駕駛、智能全局調配秘書主動告知有需要的用戶
紡織品 個性化量身定制
照相 自動相冊管理小秘書
超市 全自動結賬系統,自動導購
商場 自動導購pepper
通信 自動社交管家
醫療保健 健康管理 醫療診斷
金融 自動投資助理、炒股機器人、炒期貨機器人
保險 自動保險規劃、個性化風險識別
城市公共交通 全自動駕駛、輔助駕駛
房產?建材?裝潢 智能家居、家庭機器人、家庭寵物機器人
禮品 禮品推薦器
教育事業 教育機器人、個性化教育、陪伴教育
農業 自動化生產
科學技術 從事科研研究,發現新理論,新技術。
社會 犯罪預防、人群識別
其他 驗證碼破解器、輔助輸入、遺留系統自動對接、自動編程器、蚊子發現器、視覺爬蟲(快速爬蟲開發工具)

類人智能的幾個啟示

3352153404_4bbb97fcd2

一、“勿忘有機組成”

很多人可能還記得哲學課中的一個關鍵詞“有機組成部分”,意指很多部分通過比較恰當的方式組成在一起,就會提供各個部分無法提供的功能,比如一輛汽車,缺少一些核心部件,就無法實現他的功能,比如輪子,方向盤、發動機,等等。
在處理人工智能問題時,同樣需要重點關注這個基本原則,這個原則提醒我們,很多時候可能我們離成功只差一步,我們可能還缺少一個關鍵部件,比如,有了自稀疏編碼器、有了層次化結構模型、但缺少attetion machanism,即注意力機制,可能也會無法實現我們想要的智能,從另一個角度,很多東西可能又不是必要的,比如神經支撐物、蛋白質、血液。 Read more

3d历史开奖结果 11219排列5预测 实时股票情况 股票融资协议书 广东十一选五投注平台 甘肃福彩快三 山东群英会开奖走势图 河南体彩泳坛夺金走势图 pc蛋蛋在线开奖工具 股票配资平台是正规的吗 基金配资合法性 上海十一选五分布走势图一定牛 上海快3基本形态走势 浙江快乐12走势图表 云南快乐十分走势图表 股票配资什么平台安全 江西十一选五遗漏表