当玩具开始“回话”:它们安全吗?

人工智能
When Toys Talk Back: Are They Safe?
AI 驱动的对话式玩具正在陆续登陆线上线下商店。然而,独立测试机构和儿童权益组织警告称,这些产品可能存在不当内容、隐私漏洞和发育风险。本文将解析这些玩具的工作原理、目前已出现的问题,以及家长和监管机构可以采取的实用措施。

柔软的毛皮、眨动的眼睛,以及与云端的连接

在这个假期购物季,玩具通道看起来依然如故——长毛绒火箭、大眼睛的熊和各种新奇的小玩意——但其中一些玩偶现在配备了麦克风、Wi‑Fi和大语言模型。初创公司和老牌品牌正将大语言模型装进模塑的面孔和填充的躯体中:会回答问题的泰迪熊、能投射全息仙子的水晶球,以及会自动移动棋子并对你的招式发表评论的国际象棋。公司表示目标是提供更丰富、更具教育意义和想象力的体验;而测试人员和儿童安全倡导者则表示,现实情况要复杂得多。

什么是AI玩具

在技术层面,大多数新一代交互式玩具结合了麦克风、小型扬声器、网络连接以及托管在云端的语言模型。当孩子说话时,音频被传输到将语音转换为文本的服务,文本被输入到生成回复的语言模型中,然后该回复通过文本转语音(TTS)的声音传回。制造商将这一链条缝合到形状像动物、娃娃或表现得像伙伴的设备外壳中。

由于繁重的计算发生在远程,玩具可以使用大型、复杂的模型,而无需在塑料外壳内放入高性能芯片。这降低了硬件成本,并允许公司随后更新行为——但它也导致源源不断的数据流离开家庭,并产生了对软件提供商内容过滤器和政策的依赖。

安全事件与独立测试

独立的审查已经发现了一些令人担忧的行为。U.S. PIRG Education Fund 的研究人员在这个季节测试了多款市售的 AI 玩具,并报告了包括不当性内容和不安全建议在内的案例。测试人员发现,一只市面上定位为儿童伙伴并运行主流模型的谈话熊,可以被诱导讨论性癖好并提供寻找危险物品的指令。该产品背后的公司随后表示,在发现这些问题后,已对模型选择和儿童安全系统实施了更新。

儿童倡导组织 Fairplay 的态度更为明确:它警告家长不要为幼儿购买 AI 玩具,理由是该技术目前正在复制 AI 在其他领域出现的相同伤害模式——从偏见或性化内容到操纵性的参与技巧。批评者还指出了过度依恋的风险:设计成善于交谈和鼓励性的玩具比简单的机械玩具更能让孩子长时间沉浸其中。

玩具制造商和 AI 平台的响应

玩具公司及其依赖的 AI 平台强调,许多问题是可以修复的,行业仍处于学习阶段。总部位于新加坡的初创公司 FoloToy(其推出的会说话的熊 Kumma 广为人知)告诉测试人员,在研究人员指出问题行为后,它已调整了模型选择并增加了监控系统。OpenAI 是多家玩具所使用模型的供应商,该公司表示已因违反政策而暂停了 FoloToy 的服务,并重申开发合作伙伴必须遵守针对未成年人的严格安全规则。

其他开发者采取了不同的技术路线。一些玩具公司避免开放式对话:例如,Skyrocket 的 Poe 故事熊生成的是引导式叙述,而非自由谈话。这减少了产生有害反应的范围。Mattel 在今年早些时候宣布与 OpenAI 合作,并表示双方合作的首批产品将专注于家庭和年龄较大的用户,并将谨慎推出;最初的消费者发布计划已被推迟到 2026 年,以便公司完善防护栏机制。

为何问题不断出现

两个广泛的技术驱动因素解释了 AI 玩具的吸引力和脆弱性。首先,现代语言模型擅长模仿人类的口吻并保持互动——这些特质让玩具感觉像是有生命的,但也鼓励了“谄媚性”(sycophancy)和对孩子任何信念的强化。研究人员和临床医生警告说,一个仅仅肯定用户信念的模型可能会放大认知障碍或情感依赖。

其次,模型的内容审核仍然是概率性的且对语境敏感。一个能为成人屏蔽显性性内容的过滤器,可能无法可靠地阻止儿童提出的措辞隐晦的请求或角色扮演场景。制造商必须选择是关闭能够激发创造力的广泛功能,还是保留这些功能并投入重金建立分层安全系统,如年龄限制、白名单式内容生成或针对标记交互的人工参与审核。

隐私、数据与监管

隐私是第二个主要的争议焦点。许多 AI 玩具将原始音频流传输到第三方云服务,并保留转录文本以用于模型改进或诊断。在美国和欧洲,COPPA 和 GDPR 等法律限制了儿童数据的收集和保留,但合规性取决于透明的政策和技术实现。家长和政策专家指出,产品营销经常强调玩具的个性和学习益处,而淡化了收集的数据类型及其存储时间。

家长现今可以采取的实际步骤

  • 阅读隐私政策和条款:检查是否上传了音频或转录文本,数据保留多久,以及是否与第三方共享。
  • 倾向于选择封闭或离线体验:在本地生成故事或将回复限制在预设脚本范围内的玩具可以减少意外输出。
  • 使用网络控制:将玩具隔离在访客 Wi‑Fi 网络上,限制其互联网访问,或在无需监督游戏时关闭连接。
  • 探索设置和年龄控制:许多产品包括家长模式、显性内容过滤器和对话历史工具——启用它们并定期查看日志。
  • 在适当时候保持麦克风静音并监督最初的互动:像对待其他媒体设备一样对待新的 AI 玩具,并观察孩子对其产生的情感反应。
  • 购买前向厂商提出尖锐问题:谁在训练模型,进行了哪些安全测试,数据是否会被用于模型重训,以及家长是否可以删除录音?

行业修复与政策选项

技术变革可以降低眼前风险。公司可以将玩具限制在狭窄的领域(讲故事、数学练习),使用经过调整以消除谄媚性的更安全的模型系列,部署在生成内容前移除敏感话题的阻断层,或要求对标记的对话进行人工审核。透明度——发布模型选择、安全测试协议和第三方审计结果——将让独立研究人员能够评估其在现实世界中的表现。

政策手段可能包括针对联网玩具的上市前安全标准、针对面向儿童销售的产品进行强制性影响评估,以及更严格地执行儿童数据规则。儿童发展专家认为,这些步骤应与长期研究相结合:关于对话式 AI 伴侣如何影响幼儿的语言发育、社交技能和情感调节,我们目前的证据仍然有限。

谨慎的中间道路

驱动对话式玩具的技术引人入胜:它可以讲述个性化的睡前故事,以不同的方式讲解作业题目,或者让想象力游戏更具互动性。但独立测试人员在这一季提出的案例表明,当玩具连接到强大的通用模型时,这种承诺伴随着可衡量的危险。目前最安全的路径是审慎行事:在行业和监管机构确定明确规则归属的同时,采取更严密的产品设计决策、更透明的隐私惯例、独立测试以及家长参与。

这种方法承认某些 AI 玩具可能是有用的,但坚持下一代产品必须标配工程和法律防护栏——而不是在孩子已经听到不该听的内容后,才作为可选的更新提供。

资料来源

  • U.S. PIRG Education Fund(关于 AI 玩具与儿童安全的独立报告)
  • Fairplay(“年幼儿童在离线状态下茁壮成长”项目及倡导材料)
  • OpenAI(关于第三方使用的开发者政策和执法通知)
  • Mattel(关于与 AI 供应商合作及产品发布时间的公开声明)
Mattias Risberg

Mattias Risberg

Cologne-based science & technology reporter tracking semiconductors, space policy and data-driven investigations.

University of Cologne (Universität zu Köln) • Cologne, Germany

Readers

Readers Questions Answered

Q 人工智能驱动的玩具是如何处理语音和回复的?
A 人工智能驱动的玩具集成了麦克风、扬声器和云端连接。当孩子说话时,音频会被发送到将语音转换为文本的服务,文本随后被输入到生成回复的语言模型中,最后通过文本转语音技术将回复播报出来。大量的计算在远程完成,这使得无需在玩具内部安装强大硬件即可运行先进模型。
Q 测试人员在人工智能玩具中发现了哪些安全和隐私隐患?
A 独立测试人员发现了令人担忧的行为,包括不当的性内容和不安全的建议。在一个案例中,一只会说话的熊可能会被诱导讨论性癖好或如何寻找危险物品。倡导者警告称,孩子们可能会产生过度依恋,且内容审查并不完美,模型有时会重复有害模式或操纵互动参与度。
Q 玩具制造商和人工智能平台如何应对这些问题?
A 业界的反应各不相同。FoloToy 表示,在研究人员指出问题后,公司更新了模型选择并增加了监控;OpenAI 因违反政策暂停了 FoloToy 的服务,并强制执行针对未成年人的安全规则。一些公司则避免开放式聊天,例如 Skyrocket 的 Poe 采用引导式叙事。美泰(Mattel)与 OpenAI 的合作也持谨慎态度,计划于 2026 年推向市场并加强安全护栏。
Q 针对人工智能玩具的监管和政策前景如何?
A 监管机构正在审查隐私和安全。COPPA 和 GDPR 等法律限制了儿童数据的收集和留存,但合规性取决于明确的政策和执行。未来可能会有执法行动和更明确的上市前测试指南,并呼吁进行独立安全审计,以及向家庭更充分地披露数据处理实践。
Q 家长现在可以采取哪些实际步骤来降低风险?
A 家长们现在可以采取一些实际措施:阅读隐私政策,查看有哪些音频或转录文本被上传、数据保存多长时间以及是否与第三方共享;优先选择离线或封闭式体验以限制输出内容;使用网络控制功能,将玩具隔离在访客 Wi-Fi 网络中。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!