理大研究发现感官及运动信息有助大语言模型表达复杂概念
香港 -Media OutReach Newswire- 2025年6月9日 - 没有闻过花香、触摸过花瓣，或在花园散步过，有可能真正了解什么是「花」吗？这个问题引发了不少的哲学与认知科学争论；有认知理论专家认为，亲身感受和体验是概念形成的关键，但目前飞速发展的大语言模型研究却表明，仅凭语言便有可能建立对现实具有意义的真实表征。
由理大冼为坚基金人文与科技讲座教授、人文学院院长兼理大杭州技术创新研究院副院长李平教授领导的研究团队，透过分析大语言模型和人类在概念表征上的相似度，为语言能在多大程度上推动复杂概念的形成和学习提出新见解。
由香港理工大学 （理大）研究人员与合作者组成的团队，透过分析大语言模型和人类在概念表征上的相似度，为语言能在多大程度上推动复杂概念的形成和学习提出了新见解。研究并揭示「具身化训练」（grounding），即为大语言模型提供感官（如视觉）及运动信息，让模型能将抽象与具体概念联系起来，可以影响其对复杂概念的理解并生成接近人类的表征。此研究与俄亥俄州立大学、普林斯顿大学及纽约市立大学的研究人员合作进行，成果最近于《Nature Human Behaviour》上发表。
理大冼为坚基金人文与科技讲座教授、人文学院院长兼理大杭州技术创新研究院副院长李平教授领导的研究团队选取大语言模型ChatGPT（GPT-3.5和GPT-4）和 Google LLMs（PaLM 和 Gemini）所生成的词汇评分，并将其与公开发表及经过验证的《格拉斯哥词汇范本》（Glasgow Norms）和《兰卡斯特词汇模板》（Lancaster Norms）数据集中近4,500个词语的人类评分进行比较。这些评分涵盖了非感官运动领域，包括情感效价、具体性、可意象性等维度；感官领域，包括视觉、嗅觉、听觉等维度，以及运动领域，包括腿／脚、嘴巴／喉咙等维度。
研究团队以人与人之间的配对结果作为基准，首先将个别人类和大语言模型生成的数据进行比较，以探究人类与大语言模型的词汇评分在上述领域各维度中的相似程度，从中找出大模型和人类在理解不同领域概念上的一致性，例如两者是否都认为某些概念相较其他概念更加具体。然而，这种分析或会忽略不同维度如何共同影响词汇的整体表征。以 「pasta」（意大利面）和「 roses」（玫瑰）为例，两者同样在嗅觉维度拥有较高的评分，但实际上「pasta」与「roses」远远不及「pasta」与「noodles」（面）接近，因为概念之间的相似度需要综合考虑其外观和味道。因此，团队再运用了表征相似性分析（representational similarity analysis），将每个词汇在各领域多个范畴的评分数据整合成一个向量（vector），以进行更全面的人类与模型比对。
研究结果表明大语言模型生成的词汇表征与人类表征的相似度，在非感官运动领域最高，感官领域次之，而在运动领域表现最差。这凸显了大语言模型在表征人类概念上的局限；模型虽然能够有效掌握非感官运动领域的概念，但在理解涉及视觉外观、味觉等感官概念，或需要肢体动作体验的运动概念时，表现明显较为逊色。其中，动作性概念较少被文字完整描述，且高度依赖具身经验，相对于色彩一类能从文本数据学习到的感官概念，对模型而言更具挑战性。
根据研究结果，研究人员进一步检验具身化训练能否提升大语言模型的表现。他们比较了同时接受语言及视觉输入训练的具身化模型（如GPT-4和Gemini），跟仅接受语言训练的模型（如GPT-3.5和PaLM）之间的差异，结果发现结合视觉输入的模型生成的表征与人类表征相似度明显更高。
李平教授表示：「纯语言训练及语言＋视觉输入（如图像及视频等）训练的大语言模型，为研究感官及运动信息如何影响人类概念形成提供了独特的机遇。我们的研究具体展现了多模态学习的潜在优势，因为实时整合多种模态的信息正是人类学习和表征的特点，如大模型能吸取到这个特征，就可更趋近人类的认知模式以及更如人类行为一样高效率。」
值得注意的是，这项发现与以往提出人类表征迁移现象的研究结果吻合。人类透过视觉和触觉的多模态经验获取对象形状知识，如当我们观看或触摸对象时，大脑中同一区域会被激活。研究人员指出，正如人类一样，经过多模态输入训练的大语言模型在接收了多种信息后，或能在连续的高维度空间中进行表征融合或迁移。李教授续解释：「大语言模型嵌入空间所具有的平滑及连续特性或许能解释为何我们观察到源自单一模态的知识能够扩散至其他相关模态。此发现也可能揭示了先天失明人士与视力正常者之间为何会在某些领域上有相似表征。目前的大语言模型在这方面还有明显不足。」
展望未来，研究团队指出今后可以透过类人型机械人技术把大语言模型与多模态数据整合，使其能主动解读真实世界，并作出相应行动。李教授指：「相关技术发展或将催化大语言模型真正实现具身人工表征，从而更切实反映出人类认知所具有的复杂性和丰富性，届时人们将无法指出大模型对玫瑰花的表征与人类的表征有何分别。」
香港国际机场复活节购物礼遇 日本/巴厘岛往返机票、双倍积分及迎新奖赏2024-03-21香港 - Media OutReach Newswire - 2024年3月21日 - 一连四日复活节长假正是旅游好时机。香港国际机场特意为「HKairport Rewards」会员送上丰富购物三重赏，其中更包括日本或巴厘岛往返机票！立即把握机会
2-4到0-3！西蒙尼最大克星诞生，5连败太耻辱，争四格局大乱2024-03-21西甲第29轮迎来重头戏，巴萨做客挑战马竞。 巴萨本赛季杀入欧冠八强，这是巴萨近年来罕见的成就。 不过，在四分之一决赛中，巴萨将对阵姆巴佩的巴黎圣日耳曼。 巴塞罗那想要超越巴黎圣日耳曼将是一件很困难的事情。
巴萨青训掀起新浪潮，生温者继皮克而起？2024-03-21名宿主帅哈维在执教巴塞罗那时面临着巨大的压力，先前他宣布本赛季结束后将辞职。然而，哈维宣布辞职后的巴萨表现却像是接到了转机的信号，自那时起的10场比赛中，巴萨取得了7胜3平的出色战绩，未曾输球。这其中包括
再见曼城！头牌放弃续约！跟队确认，联手穆帅拿高薪，瓜帅不强留2024-03-21曼城在本赛季依旧延续了上赛季的出色状态，球队在英超和欧冠中都有着很大机会拿到冠军。而曼城队内表现出色和球队核心德布劳内表现出色有着很大关系。德布劳内在本赛季复出之后，直接高效的打出来了顶级表现，他的助
秋季多吃这些碱性蔬菜和水果，帮助避免犯困问题，酸碱平衡身体棒2024-03-21秋季是一个宜人的季节，但也是一个容易犯困的季节。在这个时候，我们可以通过调整饮食来缓解犯困的问题。今天，我们要聊的是秋季多吃哪些碱性蔬菜和水果，帮助我们避免犯困，保持酸碱平衡，让身体更健康。首先，让我们来看看碱性蔬菜。秋季的碱性蔬菜包括南瓜、胡萝卜、番茄、红薯等。这些蔬菜都含有丰富的维生素和矿物质，可以帮助我们保持酸碱平衡。特别是南瓜，它含有丰富的钴元素，可以促进身体的新陈代谢，增加体力，缓解疲劳
破解婆媳难题，婆婆的两个秘诀帮你打破僵局！2024-03-21婆媳关系，素来被誉为婚姻中的一块硬石头，难以敲碎。尤其在现代社会，婆媳相处不再只是住在一起、一起吃饭那么简单，思考问题的方式、生活习惯等等都可能成为争执的原因。怎样打破僵局呢？我们就来说说在婆媳关系中，婆婆需要修炼的那两点，给了我们答案。妈宝男与刁蛮媳：最难处理的婆媳关系在此说到婆媳关系，相信许多朋友都深有体会。曾经有一位婆婆直言，看到儿子对媳妇那般宠溺，心里又惊又喜。但这种喜悦很快就被失落取代，
创新服务不止一面，碧桂园服务打造“萌萌哒社区”2024-03-21碧桂园服务聚焦客户体验升级 探索“萌萌哒社区”化解人宠矛盾美好筑家,用心服务。理想人居不仅仅是优质住宅，更需要贴心的物业服务。作为物业服务行业头部企业，碧桂园服务一直秉承“服务成就美好生活”的理念，不断创新服务模式，提升客户体验，致力满足人民对美好生活的向往。2021年起，碧桂园服务首次启动“客户体验创新节”，并将“客户体验创新节”打造成为碧桂园服务的明星产品，通过群策群力，营造全员服务创新氛围，助力将
缤纷四季，畅游绍兴”春之旅启动仪式 在河南郑州举行2024-03-21河南与浙江两省高铁相通，绍兴至郑州日直达车辆有四车次，车程在六小时左右，高铁出行成为了两地旅游的重要交通工具。根据2023年假日及2024年春节旅游大数据分析，河南省游客量占绍兴市接待省外游客量比例位列
“常扫三地，家中财顺”，说的家中哪三个地方？有啥依据2024-03-21俗话说："常扫三地，家中财顺"。这句话虽然简单，但蕴含着深刻的生活智慧。想要生活过得好，家中财运旺盛，客厅、厨房和卧室这三个地方就必须要经常打扫。这句话并非空穴来风，而是老祖宗给我们留下的宝贵经验。客厅是我们生活中最重要的空间之一，它不仅是家人团聚的地方，也是招待客人的场所。试想一下，如果客厅脏乱不堪，灰尘遍布会有什么感受呢？恐怕连自己都无法忍受，更别说邀请朋友来做客了。长期生活在这样的环
2023年美国床垫市场：销售额和销量双双下滑2024-03-21根据美国床垫协会ISPA最新发布的《2023年床垫行业趋势报告》，与2022年相比，2023年美国床垫市场的销售额下降了6.8%，销量总数也下降了8.0%。2023年，美国生产的床垫和床架的销售额下降7.1%至84亿美元，销量下降9.0%至2630万件。2023年美国生产的所有床垫和床架的平均单价上涨了2.1%。目前，ISPA仅发布《2023年度市场行业趋势报告》预览。预览报告包括美国床垫市场销售情况及美国本土生产床垫销售情况总量。报告全文将于四月发布。
