• 周五. 9 月 20th, 2024

以假乱真?AI数字人+外语学习功能让用户“相见恨晚”


以假乱真?AI数字人+外语学习功能让用户“相见恨晚”缩略图

AI大模型正在被应用于大量行业与具体场景之中,其中,教育场景下的口语学习板块,也延伸出了相应的大模型应用,搭配日益成熟的数字人技术口语练习英语,AI大模型或许可以在教育场景里掀起新的变化。一起来看看本文的分享。

口语练习英语

一项技术能否发挥自身价值和作用,很大程度取决于它在应用场景的选择。现在,AI大模型在各行各业得以应用,如今更是将战场延伸到了教育领域中的口语学习板块。

当喜欢的外语片段可以通过AI生成贴近原声且准确的对口型翻译,或与AI数字人进行一对一对话和外语口语练习,面部表情生动而真实,如此具有真实感的AI,能成为用户在学习方面的强力助手吗?

一、完全对口型翻译?HeyGen平台让AI数字人更生动

近段时间,小红书博主“johnhuu 教英语”发布的一条视频引起海内外的社交媒体纷纷刷屏转发。

视频中将泰勒·斯威夫特、艾玛·沃特森和“憨豆先生”的演员罗温·艾金森的原声视频通过AI技术翻译内容并转化成与本人声音相似的普通话,并同步修改口型生成新的视频。

除了英文原声转中文,博主还反过来,使用蔡明的讲话片段实现了流畅的中文转英文。生成后的视频的仿真程度令人震惊,没有传统译制片配音的腔调,声音也很“贴脸”,更像是本人在用中文说话。

也有网友表示了对AI技术仿真程度越来越高且难以辨别的担忧,博主表示“目前也不是一键搞定的事情,分好几个步骤,翻译,声音克隆和换嘴,每一个步骤都要做到到顶尖才能够毫无破绽。”

在HeyGen的官方X(原推特)转发上,也能看到不少使用HeyGen实现八国语言流畅切换的案例。

多数网友表示:普遍感觉翻译基本准确,但细节仍需要根据上下文进行细微调整;目前更像是“直译”而不是“本地化翻译”,但已经足够理解视频所述内容。尽管如此,网友们还是扒到了拥有如此精细的“AI对口型”能力的视频生成工具HeyGen,其背后的公司是一家总部位于深圳的AI内容生产系统开发商以假乱真?AI数字人+外语学习功能让用户“相见恨晚”,诗云科技。

据了解,诗云科技的联合创始人兼CEO徐卓(Joshua Xu),硕士毕业于卡内基梅隆大学计算机专业,本科毕业于同济大学自动化专业,是Snapchat前100号员工(2014 – 2020)、广告事业部No.2工程师,核心技术Leader;曾在6年间从0到1搭建Snapchat广告平台、推荐算法系统以及机器学习平台Barista(百亿级数据), 并负责AI Camera的技术及产品研发。

口语练习英语

图源:X(原推特)

他认为:“视频翻译对于YouTube用户和教育部门来说有着关键作用。试想一下:打破语言障碍能让全世界的人都可以访问视频内容,而不仅仅是那10%的英语用户……但如果有这样一个平台,每段视频都可以用任何语言观看,而且像母语一样流畅呢?这不仅仅是一个翻译功能,而是一种新的内容消费模式。语言人工智能只是一个起点。一旦我们做到了这一点,个性化和增强用户体验的可能性几乎是无穷无尽的。这不仅能重新定义内容消费方式,还能重新定义内容的创建和盈利方式。”

在HeyGen平台,宣称可以提供一键式视频生成AI工具,以低成本的方式(不用昂贵的拍摄设备、演员、复杂的剪辑工具和第三方剪辑团队)仅需通过三个步骤即可生成一条数字人视频。

陀螺君也尝试用HeyGen平台生成数字人视频。(以下HeyGen平台截图为免费试用版界面)

第一步,从平台中134个AI形象进行选择或上传自己的照片形象。

口语练习英语

图源:HeyGen

第二步,从40多种语言中根据性别和视频场景(包括产品/内容营销、培训学习等)选择不同声线的语音,也可以选择上传自己的一段录音进行克隆。

口语练习英语

图源:HeyGen

第三步,通过内置GPT4脚本编写器修改文本或翻译内容,最终导出AI数字人视频(在几分钟不到的时间内即可生成一条十几秒的视频)。

口语练习英语

图源:HeyGen

通过官方提供的素材模板和AI形象陀螺君导出了一条视频,AI数字人的口型动作都非常自然,HeyGen平台也支持GPT4接入,一定程度上节约了构想文案的时间。

然而GPT4脚本编写器的翻译成中文容易出现“重复的废话”,缩写后也不够流畅,需要人工校对,也正如上文小红书的博主所述,要让AI完全摒弃“人工”这一环节,实现“自动化”产出视频目前不大可能,每一个环节都还需要在细节上进行调整。

口语练习英语

HeyGen用到的AI技术(图源:X)

口语练习英语

即便如此,这样的AI数字人视频生成工具将生活记录、课堂记录、演讲片段等视频转化成各种语言的版本,实现无语言障碍的流畅观看,已经能够满足人们在日常生活中的使用。

二、社恐福音,AI数字人开始成为外语学习“陪练”

生成式AI的流行带火了AI数字人,其以迅雷不及掩耳之势,袭卷业务助手、直播带货、教育培训、虚拟陪伴等各个领域。相关阅读:《30天揽金5千万,AI数字人能否成为普通人的「财富密码」?》

无论是应试、留学、去外企工作还是提高个人能力口语练习英语,通常情况下,倘若要学习一门外语,日常生活中需要保证一定程度的“听说读写”训练。

网络上也有不少的经验总结分享,例如学习英语:配合外语学习APP,多看感兴趣的全英文外语视频,最好不看字幕;用自己的语言翻译自己看到或听到的内容,也包括书籍/新闻;只有输入没有输出还不行,最重要的口语练习不能忽视。

口语练习英语

图源:小红书

然而不少人对使用外语进行对话感到害怕,既难以开口怕说错话,也不敢表达出自己的意思……久而久之,使用线上聊天的社交应用或在小红书找口语“搭子”成为了新的练习口语方式。

如今,AI数字人也开始在口语教学领域占得一席地位。这些AI数字人形象各异,全天候在线,打开聊天窗口就能开始交流。基于对话式AI和LLM大语言模型的能力再结合语音识别和生动的虚拟图像不仅能提供口语表达反馈,纠正语法错误,不同类型的AI数字人还能在不同领域带来有趣的讨论。

口语练习英语

从左到右分别是《Call Annie》《Call Ella》和《Hi Echo》(图源:网络)

其中最受关注的AI数字人之一是《Call Annie》,该应用由Animato.Ai开发,目前仅适用于iOS 16及以上版本进行视频聊天(除了能直接拨号进行虚拟电话聊天,还可在网页进行网络语音聊天),其背后的技术模型为ChatGPT,相当于将ChatGPT拟人化,更像是在进行真人视频对话。

另外两款AI数字人应用《Call Ella》和《Hi Echo》均是国内“类《Call Annie》”的AI智能外教程序。《Call Ella》由K12英语智能教育服务品牌“去上学”提供,而《Hi Echo》则由网易有道推出,搭载其教育大模型“子曰”。两款AI数字人应用同样拥有实时互动、语法纠错、评分和话题切换等功能。

体验下来,要实现正常的交流并不困难,如果要解锁定制化服务则需要付费,只是还做不到能像《Call Annie》那样侃侃而谈的程度,面部表情和语音口型的变化速度稍慢一些,比起《Call Annie》,在英语学习方面,《Call Ella》和《Hi Echo》的定位更加清晰。

这种形式的教学方式也可以更好地模拟真实的教学过程,感觉像是和真实的老师进行交流,如此一来,口语练习的对话环境问题能够得到解决,学生也不会再有太多顾虑。

三、改变教育模式,AI数字人+大模型再上新台阶

AI技术的普及也在改变传统的教育模式,而AI大模型正在成为教育类智能终端以及软件应用的一项重要标配。

IDC预计,到2027年中国教育学习市场将超1500亿美元,AI成为重要竞争力。

口语练习英语

图源:IDC

此前AI功能仅作为教育软硬件的亮点辅助功能,为学生提供AI拍照搜题、AI翻译以及AI作业批改等支持,而AI大模型与教育有着高度适配的能力,具有了多语言理解、文本生成、智能问答、等功能后,此前的AI能力不仅得到提升,还让教学模式更加生动和智能化。

今年5月以来,多家公司公布了教育领域的AI大模型及教育产品,包括上文提到的网易有道AI外教口语练习英语,科大讯飞在今年5月推出了星火认知大模型+AI学习机口语练习英语,作业帮于9月发布自研银河大模型,将应用到旗下APP在内的多项业务场景。

10月,读书郎也发布了读书郎教育大模型及其AI学习机,另一边,2023百度世界大会上,百度发布了基于文心一言4.0技术的小度青禾学习一体机。

在不到半年的时间内,搭载AI大模型的学习机教育产品就已经十分“内卷”。而AI数字人,又能对未来的教育带来怎样的影响?

口语练习英语

图源:央视网

10月31日,2023杭州云栖大会在杭州市西湖区云栖小镇开幕。据悉现场展示了多项AI大模型领域研究成果和行业模型应用。无论是阿里通义实验室的大语言模型“通义千问”,杭州亚运会开幕式上出现的“数字火炬手”,还是展会现场能够与观众吟诗作对的“少年李白”数字人,都进一步证明了以AI大模型为支撑的AI数字人,正在改变知识文化的交流方式。

就像学音乐,有条件的最好跟从名师,但名师也十分稀缺,在同时面对多数学生的情况下,无法做到一对一教学,而AI大模型的加持降低了优秀教学资源的使用门槛,让普通学生也能得到进一步的练习。

但现阶段的AI大模型受限于训练数据的量级和一些错误性信息的影响口语练习英语,可能仍会输出不准确的回答,而教育对内容信息有着非常严谨且科学的高要求,这对所有的AI大模型来说,都是巨大的考验。带有AI大模型的教育产品能否让家长接受,让学生用得好,还需要市场的进一步验证。

作为一项新兴的技术,AI的潜力得以放大,搭配日益成熟的数字人技术,在未来或能带起新的一轮教育行业的变革。

在英国留学四个月,中国高材生很沮丧,上课内容有三分之一听不懂

到国外留学,就一定能说一口流利的英语?

许多中国家长对英语学习都存在这样的认知误区,并寄希望于孩子将来到英语国家留学,英语水平就能突飞猛进。

身边就有家长在孩子高中毕业后将其送到国外留学,以为在英语环境中浸泡几年,至少听力和口语会有质的提升。

事实可不是这样。

最近,在英国伦敦留学的Coco,就这个问题说出了自己的看法。

Coco本科和研究生都毕业于国内985高校,现在在享誉全球的英国老牌名校伦敦大学学院(UCL)攻读早期教育专业的研究生。

出国留学英语口语情景对话

来听听她的现身说法:

很多人都以为我到了英国留学,英语口语一定能说得像英国人一样流利。

我老爸就是这么认为的。他说你在伦敦不是每天都要说英语吗?肯定能越说越好!

我跟老爸说,我一周才上一两次课,这一两次课我能说多少英语呢?上Lecture的时候,都是老师在讲,学生基本不发言;上Seminar的时候,大家互相讨论,每个人都有份说出国留学英语口语情景对话,平均下来一个人最多能说半个小时。

出国留学英语口语情景对话

老爸说,那你平时逛街不也要跟人说英语吗?是,我逛街时也要说英语,但那都是最简单的日常对话,我总不能对着餐厅服务员和超市售货员长篇大论吧!

所以,尽管我已经来伦敦四个月了,英语口语并没有提升,更别说有质的飞跃了。

出国留学英语口语情景对话

其实,我使用英语的机会比一般中国留学生要多一些,因为我申请到了一个包餐的国际宿舍,认识了很多不同国家的朋友,平时一起吃饭或玩的时候也会说英语。

而且我也找了兼职和参加志愿者活动,有空也会去不同的讲座和培训。但是大部分时间我都用在看论文和写论文上,所以口语并没有得到很高强度的训练。

大多数的留学生并没有像我那么幸运,能找到氛围那么好、有那么多社交场景的宿舍。要知道中国留学生的群体数量是非常巨大的,有些学校在分宿舍时,一栋宿舍绝大部分都是中国留学生,大家都是中国人,平时都说普通话,英语水平不退化就要庆幸了。

出国留学英语口语情景对话

据我的观察,出国四五年,英语沟通能力依然普通的人大有人在。我认为主要的原因有这些方面:

出国留学英语口语情景对话

1、上课内容很多都听不懂

出国之前,我的雅思考了7.5分,听力单项成绩是8.5分,在别人看来,我的英语挺好的了,但是到了英国,我发现,口语并不是我最大的挑战,听力才是。

平时上课,老师说的内容我至少有三分之一是听不懂的。我只好用手机录音,回到宿舍慢慢听,原先听不懂的内容,经过反复听,有些听懂了,有些却无论如何都听不懂。

最初我会请教美国的同学,对方给我讲解之后出国留学英语口语情景对话,我还是似懂非懂,最后都不好意思去打扰别人了。

出国留学英语口语情景对话

更要命的是,我去参加学术讲座时,完全听不懂,这真是超级无敌打击!明明听不懂,我还要强迫自己坐在那里听一两个小时,到最后,还是什么都听不懂。

每一次发现自己什么都听不懂的时候,我就精神涣散,怀疑人生, 但,这就是事实。

学习语言肯定是先要有输入,才会有输出,听力不行,口语不可能很厉害。要想口语有一个质的飞跃,必须要能先听懂。

出国留学英语口语情景对话

2、成人的语言环境太抽象

在同样的外语环境中,成年人的学习进度一般会比孩子慢很多,为什么?因为孩子面对的语言环境是具体而简单的,可以循序渐进地学习,而成年人的语言环境是抽象且复杂的出国留学英语口语情景对话,对语言的要求非常高。

出国留学,很多学生一下子被扔到实际会话难度比他们的实际口语水平要高很多的课堂环境,导致他们的英语无法像孩子那样可以循序渐进地提升——因为口语交流是很讲究同级对话的,就是你的语言输入要比较匹配你当下的语言水平,能听得懂,起码能猜得懂,不然语言水平根本无法得到提升。

出国留学英语口语情景对话

而且在跟老外交流时,即便你说错了,只要对方能理解你在说什么,他是不会去纠正你的,所以很多留学生说错的句子会继续错下去。

我在留学期间接触到的说英文非常流畅出国留学英语口语情景对话,而且能够无障碍进行长时间高难度会话的中国学生,数量非常少。这些人要么是从小就在国外生活长大,要么就是从小就在国内外语学校浸泡的,期间也不知有多少次在国外游学交流。

而大多数的中国留学生,像我一样,英语启蒙晚,启蒙阶段并没有注重听力训练在英国留学四个月,中国高材生很沮丧,上课内容有三分之一听不懂,直接跨越了听力的积累阶段,进入文字辨析阶段,在语言的学习中错过了一个至关重要的环节,导致无论听力和口语,都被限定在一个比较低的水平上。

出国留学英语口语情景对话

所以语言问题必须要在出国留学之前就解决掉,可以的话,应该从小就开始。对于孩子的英语学习,我给中国家长的忠告可以总结为六个字:早启蒙,听为先。

早启蒙:在二语习得的理论中,有“关键期”一说出国留学英语口语情景对话,现在普遍认为语言习得的关键期是4-12岁。这个时期,孩子的大脑可塑性强,口腔肌肉灵活、听觉敏锐,辨音和抓音能力强,能够轻松地、自然而然地习得第二语言,达到事半功倍的效果。

听为先:美国实验心理学家赤瑞特拉的实验表明:在人类大脑从外界获取的信息当中,听觉信息约占11%,仅次于视觉信息。12岁以下的孩子,约有45%的时间是通过听觉获取信息的。也就是说,英语国家的孩子启蒙母语也是从“听”开始的。孩子正处于听力的敏感期,大量地听英语是孩子学英语的“源头活水”,因此,在孩子英语启蒙的时候,一定要磨尖孩子听英语的耳朵,大量地让他积累听力内容。

如果孩子的启蒙阶段以听为先,以听为重,那么英语学习之路会越走越轻松,相反,则会事倍功半,得不偿失。

学习一门外语从0到流利交流|一年即可

很多语言学习者很关心这个问题:学习一门外语从0到流利交流究竟需要多久?

从我学习英语、德语和日语的经验上,我觉得一年足矣。请注意,一年的时间只是让你达到流利交流。

很多朋友可能未必认同我的观点:

我十分理解各位会从自身的经验或者观点出发来思考这一过程。但事实就是,一年足矣。

我在德国学习德语的时候,身边几乎大量的朋友从0到C1只用了一年的时间。欧洲共同语言参考标准CEFR把语言分为6个等级:

从零开始英语学习

要实现我们说的流利交流,C1足矣从零开始英语学习,B2也可

就算是在中国国内学习德语,事实上大部分在歌德学院学习德语的朋友也只需要1年从零开始英语学习,学习日语从0-N2就1年左右。这个结论可能和大部分人的直观感受不符,原因如下:

这样的原因还有很多,不再赘述。语言学习有很多的方法,有经验的学习者自然也能找到其中的奥妙之处。我自己一直以来坚信,语言学习不需要复习。

语言和其他学科不同,语言就如修房子一般学习一门外语从0到流利交流|一年即可,不论修多高,每次都得从地底爬上去。不断往深入、高级学习的过程中,有大量的机会对之前的知识进行复习和练习。很多朋友在学习上有一种习惯,就是希望稳扎稳打从零开始英语学习从零开始英语学习,学好这个知识点,再学下一个从零开始英语学习,这样的方法可能过于笨重,而且没有效果。

后续可以给大家分享更多具体的方法。希望大家知道,学习语言没有想的那么困难和复杂,语言学习不仅仅让你掌握了一门交流的工具,也是一种对他国文化的理解,走进了人生中完全不同的一个世界。

记得最开始德语老师问我为什么要学德语,我不假思索地回答到:因为可以读康德的大作。。

加油,共勉。

网站上的内容来自互联网,如无意中侵犯了媒体、公司、企业或个人的知识产权,请及时通知网站,网站将予以删除。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注