基于事件和因果關(guān)系的人機(jī)交互的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明主要涉及一種用于在用戶界面上進(jìn)行人機(jī)交互（human-computer interaction, HCI)的方法。
【背景技術(shù)】
[0002] Buxton(1993)設(shè)想了與計(jì)算機(jī)交互的兩種模式：描述性方法（如在DOS中所實(shí) 現(xiàn)）和直接操作系統(tǒng)（如圖形用戶界面（GUI))。兩者都有不足之處。理想的將是同時(shí)具有 這兩者的特征的系統(tǒng)。
[0003] 在最基本的層面上，人機(jī)交互由動(dòng)作（動(dòng)詞）和對(duì)象（名詞）（Buxton 1993)的配 對(duì)來(lái)管理。這可以在描述性模式中通過(guò)指定需要運(yùn)行的應(yīng)用和隨后必須應(yīng)用該應(yīng)用的文件 來(lái)實(shí)現(xiàn)，例如，打開文本文件的文本編輯器。這同樣適用于直接操作方法；選擇一個(gè)動(dòng)作，然 后是需要應(yīng)用該動(dòng)作的對(duì)象。這種配對(duì)也可以看作是動(dòng)作和對(duì)象之間的邏輯關(guān)系的創(chuàng)建。 許多其它邏輯關(guān)系可存在于動(dòng)作之間、對(duì)象之間或動(dòng)作與對(duì)象兩者之間，例如，具有一定擴(kuò) 展性的文件與某些應(yīng)用在邏輯上被配對(duì)。Buxton (Buxton 1993)給出的實(shí)例，利用反相器跟 隨的與門和沒有反相器跟隨的與門之間的邏輯區(qū)別，披露了在將這種組合轉(zhuǎn)換為單個(gè)與非 門時(shí)的直接操作方法的缺點(diǎn)。相反地，利用這一區(qū)別特征，描述性方法可以將這種操作應(yīng)用 到所有轉(zhuǎn)換器跟隨的與門。
[0004] 這些觀察結(jié)果導(dǎo)致了一個(gè)自然的問題：如果使動(dòng)作和對(duì)象配對(duì)的邏輯關(guān)系，或任 何其它邏輯關(guān)系，也被幾何編碼，形成圖形界面的整體部分并提供交互的基礎(chǔ)，會(huì)出現(xiàn)什么 情況？這種整合的框架是眾所周知的；如在Einstein的相對(duì)論中被幾何編碼那樣，它利用 了因果關(guān)系的概念。這構(gòu)成了本發(fā)明的基本原理。
[0005] 因果關(guān)系的概念（即一個(gè)事件引起另一個(gè)事件，且不能改變順序）對(duì)于我們的日 常經(jīng)驗(yàn)是至關(guān)重要的。這是自然和直觀的概念。
[0006] Einstein相對(duì)論的核心是光速是信號(hào)可以傳輸?shù)淖畲笏俣鹊挠^察結(jié)果。這導(dǎo)致 有因果聯(lián)系和沒有因果聯(lián)系的事件的概念，即，如果它們有因果聯(lián)系使得光可以在比分離 這兩個(gè)事件的時(shí)間更短的時(shí)間內(nèi)橫向空間分離，則兩個(gè)事件可以僅影響對(duì)方。如果空間分 離太大，則兩個(gè)事件在分離它們的時(shí)間內(nèi)無(wú)法通信且它們沒有因果聯(lián)系。在相對(duì)論的語(yǔ)言 中，這被表述為，一個(gè)事件由另一個(gè)事件引起，該事件必須位于另一個(gè)事件的前向光錐內(nèi)， 或者，它們具有類時(shí)分離，而如果它們位于彼此的光錐之外或具有類空分離，則它們沒有因 果聯(lián)系且不能影響對(duì)方。
[0007] 相對(duì)論的基本原理是，物理現(xiàn)實(shí)并不依賴于坐標(biāo)，因?yàn)樽鴺?biāo)僅僅是觀察器 (observer)引入到標(biāo)簽事件的標(biāo)簽且完全是任意的（在輕微的限制內(nèi)）。因果關(guān)系是物 理現(xiàn)實(shí)；當(dāng)某個(gè)事件導(dǎo)致另一個(gè)事件時(shí)，不管所有觀察器選擇的坐標(biāo)如何，他們必須同意事 件的順序。因此，編碼因果關(guān)系的數(shù)學(xué)量在坐標(biāo)的變化下必須不能發(fā)生改變（為不變量）。 在廣義相對(duì)論中，這通過(guò)引入黎曼（Riemann)流形來(lái)編碼，Riemann流形具有度量g和不變 的平方距離Cls 2(X) =guv(X)CbAkv，其中Xu是局部坐標(biāo)。該度量以這種方式變換，使得坐標(biāo) 改變時(shí)，ds2不變。在狹義相對(duì)論中，該度量在每處都采用閔可夫斯基（Minkowski)，且平方 距離函數(shù)為ds2= c 2dt_dx · dx，其中" ?"為常用的Euclidean標(biāo)量乘積。這在更嚴(yán)格的 坐標(biāo)變換集（洛倫茲（Lorentz)變換）下是不變的。因果關(guān)系在不變量ds 2的符號(hào)中被編 碼，即ds2>0代表類時(shí)分離和有因果聯(lián)系的事件，而ds2〈0代表類空分離和沒有因果聯(lián)系的 事件。然后通過(guò)構(gòu)造，因果關(guān)系的概念獨(dú)立于觀察器的坐標(biāo)選擇，或者換一種表述，事件的 精確圖形表示作為事件的因果關(guān)系被保存在任何演示中。
[0008] 在物理過(guò)程的控制中因果關(guān)系的作用已被Moray和Hancock (2009)認(rèn)識(shí)和分析， 物理過(guò)程的控制涉及人與機(jī)器之間的通信，其中存在通信速度的上限（不一定是光速）。 Darlow和Goldin(2011)研究了因果關(guān)系在HCI中的作用。結(jié)果發(fā)現(xiàn)，遵從因果關(guān)系的交互 過(guò)程比那些沒有這樣做的效率更高，再次強(qiáng)調(diào)了因果關(guān)系的自然和直觀的本質(zhì)。最近，通過(guò) 隱含有因果聯(lián)系和沒有因果聯(lián)系的事件的概念已經(jīng)開發(fā)出模擬相對(duì)論的計(jì)算機(jī)游戲（視 覺和體驗(yàn)的相對(duì)性一一用于教學(xué)的新工具2012)，以在速度接近光速（或光速下降）的相對(duì) 論性的設(shè)置中產(chǎn)生這些概念的更大的直覺。
[0009] 在上面所描述的應(yīng)用中，時(shí)間是物理時(shí)間，由物理時(shí)鐘來(lái)測(cè)量。然而，已經(jīng)認(rèn)識(shí)到， 因果關(guān)系的概念是非常有用的，在邏輯過(guò)程中邏輯關(guān)系可以通過(guò)涉及邏輯而非物理時(shí)間的 因果關(guān)系來(lái)捕獲。這在Broy (2004)的交互式系統(tǒng)以及Hrischuk和Woodside (1996)的分 布式系統(tǒng)中被探索。在這些研究中，重點(diǎn)是具有許多組件的系統(tǒng)中的信息流。它尋求在登 機(jī)等物理過(guò)程（Bachmat等，未注明日期）和電路設(shè)計(jì)（Matherat和Jaekel 2011)中的實(shí) 際應(yīng)用。
[0010] 盡管有了這些研究和應(yīng)用，還沒有人研究這些概念在HCI界面的設(shè)計(jì)中可以應(yīng)用 到什么程度。在這個(gè)方向上最接近的研究是Darlow和Goldin(2011)的工作。然而，即使在 此處還是難以觸及通過(guò)這種方法提供的全部可能性。只有非常有限的例子被研究，這些例 子證明了吸引我們的因果關(guān)系的自然直覺的好處。使用邏輯因果關(guān)系的想法還未被探索。
[0011] 當(dāng)考慮BuXton(1993)提出的關(guān)于直接操作系統(tǒng)以及描述性系統(tǒng)的不足之處的論 點(diǎn)時(shí)，很清楚，我們還沒有達(dá)到HCI的優(yōu)化設(shè)計(jì)，甚至于沒有達(dá)到某些近似設(shè)計(jì)。即使是HCI 的設(shè)計(jì)原則似乎仍然受到強(qiáng)烈爭(zhēng)議（Beaudouin-Lafon，未注明日期，Hinze-Hoare，未注明 日期）。直接操作的主要缺點(diǎn)，特別是GUI系統(tǒng)的主要缺點(diǎn)是，用戶被捆綁到非常嚴(yán)格的僅 提供有限控制的圖形表示，以提高與用戶計(jì)算機(jī)的交互。正如已經(jīng)說(shuō)過(guò)的，從因果關(guān)系的角 度來(lái)看，精確圖形表示變得無(wú)關(guān)緊要，因此很自然地問，這是否提供了其它的、更靈活的、圖 形化的替代品。
[0012] 當(dāng)意識(shí)到，在HCI的最基本層次上，所有過(guò)程涉及動(dòng)作、對(duì)象和邏輯關(guān)系時(shí)，因果 關(guān)系成為一種自然的候選。如果HCI可以在這個(gè)層次上實(shí)現(xiàn)，這種交互的圖形反饋或表示 變得次要，并且可圍繞用戶的需求來(lái)設(shè)計(jì)，提供更大的靈活性。為了了解這點(diǎn)，注意的是，對(duì) 于使用完全相同的計(jì)算機(jī)的兩個(gè)用戶，動(dòng)作、對(duì)象及其邏輯關(guān)系必須是相同的，他們都必須 以某種方式來(lái)實(shí)施它們以實(shí)現(xiàn)相同的結(jié)果。只要它提供了這些的如實(shí)的表示，這些動(dòng)作、對(duì) 象和邏輯關(guān)系如何精確地傳達(dá)給用戶是無(wú)關(guān)緊要的。每個(gè)用戶甚至可以有他的喜好。這是 很強(qiáng)的動(dòng)機(jī)以基于動(dòng)作、對(duì)象和邏輯關(guān)系來(lái)尋求HCI的構(gòu)想，其中坐標(biāo)和圖形表示的選擇 成為次要的考慮，僅取決于選擇和便利。正是在這樣的背景中，廣義相對(duì)論和因果關(guān)系的思 想取得了成果。
[0013] 為了強(qiáng)調(diào)當(dāng)前基于Euclidean的⑶I實(shí)現(xiàn)這一目標(biāo)上的缺點(diǎn)，已經(jīng)注意到（可以 是通過(guò)反例驗(yàn)證）因果關(guān)系的概念不能在Euclidean空間中以與坐標(biāo)無(wú)關(guān)的方式實(shí)現(xiàn)。當(dāng) 試圖在Euclidean空間中對(duì)它們進(jìn)行編碼時(shí)，這進(jìn)而又導(dǎo)致了邏輯關(guān)系的維護(hù)的嚴(yán)重困 難。遠(yuǎn)離基于Euclidean的幾何以促進(jìn)這一點(diǎn)是從現(xiàn)有的圖形界面設(shè)計(jì)轉(zhuǎn)變的基本的范 式。

【發(fā)明內(nèi)容】

[0014] 正如所描述的，當(dāng)用戶與計(jì)算機(jī)進(jìn)行交互時(shí)，用戶想要訪問某些動(dòng)作和對(duì)象，并通 常使它們配對(duì)。普遍存在邏輯關(guān)系，如這些動(dòng)作本身之間、對(duì)象本身之間、動(dòng)作和對(duì)象之 間的有序的層級(jí)。讓我們參照作為事件的一組動(dòng)作和對(duì)象，并將它們組織在事件集E' = {ei，e2，···：}中。注意的是，用戶可以倉(cāng)Ij建和銷毀事件，例如，通過(guò)冊(cè)IJ除或創(chuàng)建文件。因此用 戶已經(jīng)控制了事件集。
[0015] 如果兩個(gè)事件edP e ,邏輯相關(guān)，我們用e來(lái)表示。我們對(duì)這種關(guān)系的唯一假設(shè) 是，它是傳遞的，即如果構(gòu)>今且％，則因此，這不必是等價(jià)關(guān)系，因?yàn)樗赡懿?是反射的或?qū)ΨQ的。我們假設(shè)，在人機(jī)交互的特定模式中，這些邏輯關(guān)系是事件集的基本屬 性，在不破壞用戶的能力情況下，該屬性在這種模式下不能被用戶更改，以高效地與計(jì)算機(jī) 交互。因此，在特定的交互模式中，用戶對(duì)事件的任何控制必須遵從這些邏輯關(guān)系。然而，用 戶或系統(tǒng)設(shè)計(jì)可優(yōu)選改變用于其它交互模式的事件集和/或事件之間的邏輯關(guān)系。注意的 是，圖形顯示只是將事件集的屬性傳送給用戶的方便的工具，它實(shí)際上起著次要的作用，且 該圖形顯示的精確設(shè)計(jì)非常依賴于用戶的目標(biāo)。必須向事件及其邏輯關(guān)系給予中心地位。
[0016] 上面描述的設(shè)置是廣義相對(duì)論中的情況的回顧，其中事件及其因果關(guān)系是關(guān)鍵要 素，而非特定的坐標(biāo)選擇，坐標(biāo)只是觀察器用來(lái)標(biāo)記和圖形顯示事件的簡(jiǎn)單的工具。在這個(gè) 意義上，事件集和事件之間的關(guān)系在廣義相對(duì)論中對(duì)應(yīng)有因果順序的事件和代表坐標(biāo)選擇 的用戶界面，這并不是基本的，但卻是非常重要的選擇和便利。在廣義相對(duì)論中，如何讓我 們擺脫特定坐標(biāo)選擇的限制以及如何以坐標(biāo)無(wú)關(guān)的方式制定基本的物理關(guān)系是眾所周知 的。這與HCI的現(xiàn)狀和具體地圖形表示已成為目的而非手段（Buxton 1993)的⑶I形成鮮 明對(duì)比。本構(gòu)建的目的是使用與廣義相對(duì)論相同的想法，以使用戶和計(jì)算機(jī)之間的交互擺 脫圖形表示的選擇以及利用這種擺脫用于更高效的人機(jī)交互。
[0017] 這樣做的第一步（也是廣義相對(duì)論的精神）是將事件集擴(kuò)展到還包括由用戶控制 的觀察器，并引入擴(kuò)展的事件集E= |eQ，ei，e2，...}，其中e。代表觀察器。觀察器的引入通 常伴隨觀察器和其它事件之間的一組邏輯關(guān)系的引入。由于用戶可以控制觀察器，他還可 以控制這些邏輯關(guān)系。
[0018] 為了使如上面所描述的事件的集合與廣義相對(duì)論之間直接聯(lián)系，有必要與 Riemann幾何的概念相聯(lián)系，這是廣義相對(duì)論的關(guān)鍵組成部分。建立這種聯(lián)系的最明顯的方 式是引入E的元素和Riemann流形（稱為具有度量 &的表示流形Mr)的點(diǎn)之間的映射。然 而，我們也想要給出對(duì)事件集的用戶控制，這種構(gòu)建必須更謹(jǐn)慎地完成。顯然，只要事件集 是有限的，我們可以一直把它當(dāng)作非負(fù)整數(shù)ZJZ?？梢员徽J(rèn)為是用戶可用的所有可能的動(dòng) 作和對(duì)象的集合）的子集Z e。將觀察器映射到{0}，我們總是采取0 e ZEe Z。。引入映射 ζ :MR-Z。，然后我們將事件4設(shè)置為該映射的范圍，即，ζ (Mr) =Ze。這不是一對(duì)一的映 射且是不可逆的。極端的例子是Ze= {0}，即，唯一的事件是觀察器。如果我們定義了 MJ: 的關(guān)系《 ? <=>ζ U ) = ζ U )，其中a，b e Mr，很簡(jiǎn)單就能夠驗(yàn)證這是一個(gè)等價(jià)關(guān)系，從 而仏可以在等價(jià)類中劃分。然后存在E和MJ:的等價(jià)類之間的一對(duì)一映射Φ:Ε -Mr。實(shí) 際上，該映射可以從E中的元素到等價(jià)類中的代表元素，這顯然仍然受限于Φ的構(gòu)建。在 這個(gè)設(shè)置中，由用戶控制的中心實(shí)體為決定事件的集合且本質(zhì)上為映射Φ的映射ζ。
[0019] 盡管ζ、Φ和仏的選擇自由度很大，但也有一些需要強(qiáng)加的限制條件：
[0020] 魯我們需要仏上的機(jī)制，以對(duì)事件集中的元素之間的邏輯關(guān)系進(jìn)行編碼。廣義相 對(duì)論中可以用于這個(gè)目的的最自然的關(guān)系是因果關(guān)系的概念，其在廣義相對(duì)論中通過(guò)不定 度量被編碼。如果兩個(gè)事件的分離為正（類時(shí)），它們有因果聯(lián)系且可以互相影響，否則他 們具有負(fù)的（類空）分離且不能互相影響（此處的符號(hào)規(guī)定是任意的）。事件集中的事件 之間的邏輯關(guān)系，現(xiàn)在可以在表示流形的等級(jí)上按照如下被編碼：兩個(gè)事件（M r上的點(diǎn)）a 和b之間的因果關(guān)系在廣義相對(duì)論中表示為a -b，箭頭捕獲了第二個(gè)事件跟隨（由）第一 個(gè)事件（造成）的概念。注意的是，這是一種傳遞關(guān)系，但不是對(duì)稱的或反射的。兩個(gè)事件 之間的邏輯關(guān)系可以被捕獲如下：
[0022] 注意的是，對(duì)稱的邏輯關(guān)系可以被捕獲為
[0024] 因此，Mr將被分配不定度量gR。注意的是，Mr的維數(shù)在這個(gè)階段是任意的。然而， 在實(shí)際的實(shí)施中，它通常很方便地采用二維流形。下面例子中的重點(diǎn)是這種情況。
[0025] ?局部地，在該流形上的點(diǎn)a處，因果關(guān)系的概念被編碼為平方距離，其由度量確 定：
[0026] ds2R (a) = g μ v (a) dxμ dxv,
[0027] 其中dx11形成了點(diǎn)a處的流形Mr的切向空間的基礎(chǔ)，即，在該點(diǎn)上向量dx 11是流 形的切線。此處使用重復(fù)的求和約定。當(dāng)坐標(biāo)補(bǔ)丁在點(diǎn)a處被引入時(shí)，dx11為點(diǎn)a處的兩 個(gè)無(wú)限小分離的事件之間的無(wú)限小坐標(biāo)