研究顯示:人類閱讀與AI語言處理存在關鍵分歧
導語:為什么讀書時有些句子一掠而過,有些卻必須重讀才能讀懂?一項由紐約大學與麻省大學阿默斯特分校完成的新研究,借助大語言模型(LLM)給出部分答案,也揭示了人類與AI語言處理之間的根本分歧。研究團隊用AI——具體來說是神經網絡大語言模型(LLMs)——發現人類閱讀的部分加工過程與AI平行。然而,另一些「我們為何這樣閱讀」的環節無法被這些技術解釋,從而暴露出人類與AI語言處理的分歧,也保留了閱讀某些階段的神秘性。這項發表于《美國國家科學院院刊》(PNAS)的研究顯示:在閱讀的極早時刻,人類與AI以相似方式處理語言——都依賴「預測下一個詞」;但隨著閱讀推進、文本變復雜(往往需重讀),人類的處理方式不同于完全建立在「下一詞預測」之上的AI,因此AI無法解釋我們如何應對這類段落。研究團隊運用眼動追蹤技術,分析了368名成年讀者的閱讀行為,重點考察他們在精心設計的句子(包括被稱為「花園路徑句」的句法歧義句)上停留與重讀每個詞的時間,并將其......閱讀全文
研究顯示:人類閱讀與AI語言處理存在關鍵分歧
導語:為什么讀書時有些句子一掠而過,有些卻必須重讀才能讀懂?一項由紐約大學與麻省大學阿默斯特分校完成的新研究,借助大語言模型(LLM)給出部分答案,也揭示了人類與AI語言處理之間的根本分歧。研究團隊用AI——具體來說是神經網絡大語言模型(LLMs)——發現人類閱讀的部分加工過程與AI平行。然而,另一
眼動研究取得重大進展
導語:一項發表于《美國國家科學院院刊》(PNAS)的新研究,讓眼動研究取得重大進展——它首次用大規模數據,標出人類閱讀與AI語言處理分道揚鑣的精確節點。 紐約大學與麻省大學阿默斯特分校的團隊,招募368名成年讀者,用眼動儀記錄他們閱讀(及重讀)精心設計的句子所花的時間,并把這些眼動數據,與超過40
人類與AI閱讀差異難題終于有解了
核心看點:紐約大學與馬薩諸塞大學阿默斯特分校的團隊,用368名成年讀者的眼動數據比對400多個神經網絡語言模型,首次清晰揭示人類與AI在閱讀加工上的關鍵分岔點。 為什么書上有些句子一氣呵成,有些卻要回讀才能讀懂?由紐約大學(NYU)與馬薩諸塞大學阿默斯特分校(UMass Amherst)語言學
閱讀認知難題終于有解了
閱讀認知難題終于有解了 為什么讀書時有些句子我們一氣呵成,有些卻要反復重讀才能讀懂?長期以來,語言學界對這一"閱讀認知"之謎爭論不休。一個主流假說認為,句中的理解困難只是單詞"可預測性"(以surprisal量化)影響加工難度的特例;與之相對的理論則將其歸因于句子結構構建過程中的錯誤。由于受試者少、
會“說人話”的AI為何“讀不懂人話”
你有沒有過這樣的閱讀體驗:有些句子一眼掃過便了然于胸,而另一些句子明明每個字都認得,卻非得倒回去再讀一遍,才能恍然大悟其含義。這種差異背后,藏著一個關于人類大腦如何處理語言的微妙謎題。美國紐約大學和馬薩諸塞大學阿默斯特分校的科學家最近借助人工智能(AI),找到了部分答案,同時也發現,在閱讀這件事
大語言模型在線辯論說服力超人類
實驗設計示意圖。圖片來源:英國《自然·人類行為》在線版《自然·人類行為》19日發表的一項人工智能(AI)研究發現,在線辯論中,GPT-4一類的大語言模型(LLM)如能根據對手的個性化信息調整它們的論據,其說服力比人類辯手高出64%。研究結果顯示了GPT-4生成有針對性和說服力論據的能力,揭示出AI工
壓縮算法為大語言模型“瘦身”
據美國科學促進會旗下網站19日報道,美國普林斯頓大學和斯坦福大學團隊開發出一種新壓縮算法CALDERA,能精簡大型語言模型(LLM)的海量數據,為LLM“瘦身”。這項算法不僅有助保護數據隱私、節約能源、降低成本,還能推動LLM在手機和筆記本電腦上高效使用。團隊舉例稱,當人們使用ChatGPT時,請求
8個小技巧“用好”大語言模型
用大語言模型,還需要技巧?在人們的印象中,這是個極其簡單的操作:只需輸入一個問題,立刻就能得到回答。但實際上,如何有效地與這些人工智能模型互動,發揮出它們的最大潛力,卻是一個經常被忽視的話題。中國科學技術大學心理學系特任研究員林志成關注到這一話題,并在他最近的評論文章中提供了一系列的策略和指導,希望
科研人員提出大語言模型復雜執行路徑推理能力分析框架
近日,中國科學院軟件研究所等圍繞動態類型程序語言中復雜執行路徑難以有效分析的問題,分析大語言模型的路徑約束推理能力,并構建覆蓋測試生成、路徑可行性判定和缺陷檢測的評測基準。 執行路徑由程序從入口到出口依次經過的語句和分支構成,是理解程序語義、生成高覆蓋測試和發現特定路徑缺陷的基礎。傳統符號執行
新型AI芯片將大語言模型能耗減半
美國俄勒岡州立大學科研團隊研發出一種新型AI芯片,成功將大語言模型的能耗降低50%。這項成果于近期在波士頓舉行的IEEE定制集成電路會議上發布,是半導體領域的重大突破,有望成為解決大語言模型高能耗問題的“綠色鑰匙”。 當前,以谷歌“雙子座”和OpenAI的GPT-4為代表的大語言模型,因海量參
新引擎實現大語言模型推理速度顯著提升
原文地址:http://news.sciencenet.cn/htmlnews/2023/11/511841.shtm
日本發布大規模語言模型
科技日報訊?(記者李楊)東京工業大學、日本理化學研究所及富士通公司等近日宣布,利用超級計算機“富岳”,他們開發的大規模語言模型“Fugaku-LLM”正式發布。“Fugaku-LLM”是首個完全由日本國產技術構建的AI語言模型,其在處理日語及相關文化內容上表現卓越。模型特別擅長基于日語敬語進行自然對
AI語言模型“提速”藥物發現
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美國麻省理工學院和塔夫茨大學研究人員設計出一種基于大型語言模型(如ChatGPT)的人工智能算法,這種稱為ConPLex的新模型可將目標蛋白與潛在的藥物分子相匹配,而無需執行計算分子結
日本發布大規模語言模型
東京工業大學、日本理化學研究所及富士通公司等近日宣布,利用超級計算機“富岳”,他們開發的大規模語言模型“Fugaku-LLM”正式發布。 “Fugaku-LLM”是首個完全由日本國產技術構建的AI語言模型,其在處理日語及相關文化內容上表現卓越。模型特別擅長基于日語敬語進行自然對話,并展現出在人
首個種業大語言模型“豐登”發布
4月28日,中國農業大學生物學院教授王喜慶團隊聯合上海人工智能實驗室、崖州灣國家實驗室發布首個種業大語言模型“豐登”(SeedLLM)。種業大語言模型“豐登”。中國農業大學供圖“豐登”集成了先進的人工智能技術(書生·浦語2.0)與大數據分析,通過深入學習我國迄今發布的科研文獻、科技書籍、種企報告和歷
研究:狗懂人語因其與人類處理語言方式類似
數千年來,狗一直是人類最好的朋友。自從石器時代開始,狗就是人類的忠誠伴侶。據英國《每日郵報》26日報道,最近科學家猜想他們已經發現了這種關系的根本原因。那就是一只狗真的可以理解主人的聲音。 研究者發現,寵物狗處理語言的方式與人類相似。它們會學著識別人們說的話,也就是一組組的輔音和元音。 但是
人類語言基因讓小鼠變“聰明”
美歐研究人員15日發表的一項新研究表明,如果給小鼠引入人類版本的語言基因Foxp2,那么小鼠的學習能力將得到提高。這一成果有助于研究人類語言的出現和進化。 Foxp2語言基因是十多年前在英國一個存在嚴重語言障礙的家族中首先發現的,缺乏這種基因的人普遍存在學習障礙和語言組織障礙。這種基因并非人類
鯨魚歌聲與人類語言驚人相似
根據《科學進展》發表的一項新研究,鯨魚的歌聲在效率上可以與人類的交流相媲美,在某些情況下甚至更勝一籌。與此同時,《科學》發表的另一項研究,通過對座頭鯨歌聲的錄音,進一步觀察了鯨魚的歌聲是否遵循普遍的語言規律。自然選擇青睞簡潔而非冗長。例如,大喊“躲開!”比大喊“小心,有一枚炮彈來襲,你得閃開!”更快
“AI+教育”,復旦推出大語言模型助力新生報到
8月25日,是復旦大學本科生新生報到的日子。來自全國各地和全球40多個國家的4300余名2024級本科新生,開啟了在復旦的求學生涯。新生報道現場。為幫助來自世界各地的新同學盡快融入復旦大學,學校基于大語言模型,推出“復旦迎新助手”智能Agent。作為新生的貼心小幫手,大語言模型為新同學在迎新階段提供
為何大語言模型越獄漏洞引發整個業界的安全關注?
只需幾句巧妙的提示,全球最先進的大語言模型就能被劫持,吐出制造燃燒彈、甲基苯丙胺乃至鈾濃縮設施的詳細步驟。獨立網絡安全研究員大衛·庫茲瑪在一年多時間里發現了七種越獄方法,而多數模型廠商對漏洞披露幾乎置若罔聞——這正是整個行業必須正視的安全警鐘。一、案例詳情:從泰坦尼克到核材料2024 年 10 月,
大腦處理語言,母語最“省事”
多數人只會說一兩種語言,而美國華盛頓特區的47歲地毯清潔工Vaughn Smith卻精通24國語言。據《科學》報道,在一項新的大腦成像研究中,研究人員仔細觀察了像Smith這樣多語言者的大腦,以了解其語言特定區域在聽到不同語言時的反應。研究人員發現,受試者熟悉的語言引起了他們大腦更強烈的反應。但有一
心理所研究發現不同語言閱讀加工的相似機制
眼睛是心靈的窗戶,眼球的移動(眼動)可以很好地反映大腦思維過程。人們在執行大部分認知活動時,眼動的軌跡并不是平滑的,而是由不連續的注視(fixation)和眼跳(saccade)組成的。人們只能在注視時獲取信息,注視的位置和時間長短均與執行的任務及注視區域的信息有關。通過眼動跟蹤技術,可以獲得人
神經機器模型能翻譯200種語言
科技日報北京6月5日電?(記者張夢然)《自然》5日發表的一篇論文報道了一個Meta人工智能(AI)模型的底層技術。該模型能翻譯200種不同語言,增加了機器翻譯的語言數量。神經機器翻譯模型利用人工神經網絡翻譯各種語言。這些模型通常需要大量可在線獲取的數據加以訓練,但并非所有語言數據都是公開、低成本或是
神經機器模型能翻譯200種語言
自然》5日發表的一篇論文報道了一個Meta人工智能(AI)模型的底層技術。該模型能翻譯200種不同語言,增加了機器翻譯的語言數量。神經機器翻譯模型利用人工神經網絡翻譯各種語言。這些模型通常需要大量可在線獲取的數據加以訓練,但并非所有語言數據都是公開、低成本或是普遍可及的,這類語言被稱為低資源語言。一
研究人員研發出抗體語言模型
近日,中國科學院合肥物質科學研究院研發出基于表型感知對比學習的抗體語言模型BCRInsight。該模型通過對海量序列的自監督學習,實現了對復雜免疫信號的深度解碼,在抗體結合位點預測和B細胞亞群分析等任務上均達到當前最佳性能。B細胞受體(BCR)免疫庫蘊含豐富的生物學信號,決定抗原識別的特異性,記錄B
ChatGPT進入課堂:語言模型如何改變教育
最近,教育心理學家羅納德·貝格托(Ronald Beghetto)以一種引人注目的方式引領一群研究生和教育專業人員,與一系列以創造力為中心的聊天機器人進行了交流。這些聊天機器人由貝格托設計,即將托管在亞利桑那州立大學(ASU)設立的平臺上。這些機器人使用與ChatGPT相同的人工智能(AI)技術,目
東北大學研究團隊發布TechGPT2.0大語言模型
近日,計算機科學與工程學院任飛亮副教授主持的“東北大學知識圖譜研究組”發布了大語言模型TechGPT2.0。 TechGPT-2.0在繼承了TechGPT-1.0全部特性的同時,通過增加多領域、多任務的數據,展現出了嵌套實體的抽取、幻覺回答、回答不可回答問題和回答長文本問題的能力。這些改進使得
科研人員利用大語言模型解釋調節睡眠的分子機制
華中科技大學生命學院張珞穎團隊和薛宇團隊在Nature Communications雜志上合作發表了題為“Large-language models facilitate discovery of the molecular signatures regulating sleep and activ
科研人員利用大語言模型解釋調節睡眠的分子機制
華中科技大學生命學院張珞穎團隊和薛宇團隊在Nature Communications雜志上合作發表了題為“Large-language models facilitate discovery of the molecular signatures regulating sleep and activ
東北大學研究團隊發布TechGPT2.0大語言模型
近日,計算機科學與工程學院任飛亮副教授主持的“東北大學知識圖譜研究組”發布了大語言模型TechGPT2.0。TechGPT-2.0在繼承了TechGPT-1.0全部特性的同時,通過增加多領域、多任務的數據,展現出了嵌套實體的抽取、幻覺回答、回答不可回答問題和回答長文本問題的能力。這些改進使得模型更適