主题:
字号:
16
行距:
2.0

第686章 纯注意力机制?你们竟敢这么想[3 / 5]

人正对着屏幕工作。有人在跑代码,有人在白板上写公式,角落里两个人正对着一张打印出来的论文激烈讨论。

一个戴眼镜的年轻人从工位上站起来,朝他们走过来。

“林博士,赵博士?”他伸出手。“任少卿。论文你们应该看过了。”

林之远握上去。这只手的主人,就是那篇让全球AI界炸锅的论文的第一作者。

比他想象中年轻得多,看着也就二十五六岁。

“看过了。复现过了。数据完全对得上。”

任少卿笑了一下:“那就好。省得我还要解释为什么152层能训练。”

楼梯口传来脚步声。一个身材偏瘦、穿着黑色连帽衫的男人走下来,手里端着一杯咖啡,眼睛下面有明显的黑眼圈。

“楼天城。”任少卿介绍道。“我们的系统架构负责人。昨晚应该又通宵了。”

楼天城点了点头,看了一眼林之远的胸牌:

“看资料,你在斯坦福做的是推荐算法方向?”

“对。博士论文写的是用深度学习做推荐系统。”

“那正好。”楼天城喝了口咖啡。

“我们现在在做一个东西,需要你这个方向的人。”

他转身走向白板,拿起马克笔,刷刷刷写了一串公式。

林之远凑过去看。

那是一个注意力权重的数学表达式。

所谓“注意力机制”,通俗地说,就是让AI在处理一段信息时,能像人类阅读一样,自动把目光聚焦在最重要的部分,而不是平均分配精力。

但这个公式和他在论文里见过的不一样。

传统的注意力机制,是让AI在翻译时“回头看”原文。

比如翻译一句英文时,每写一个中文词,都回头看看英文原句里哪个词最相关。

而白板上这个公式,做的事情完全不同:它让一句话里的每个词,都去“看”这句话里的其他所有词。

不是回头看别人,是自己看自己。

“你们在做……序列内部的自相关计算?”

林之远的声音不自觉地提高了。

任少卿和楼天城对视了一眼。

“差不多。”任少卿说。

“我们在探索一种全新的方式来让AI理解语言。不依赖传统的循环结构。就是那种必须一个词一个词按顺序处理的老方法,而是完全用注意力机制,让所有词同时互相

本章未完,请点击下一页继续阅读!

穿书后,我靠氪金伪装隐世神女
大天使伽百列
海贼:我在海军朝九晚五
失眠到三点
毁容退婚?她驭神兽,拿全家祭天!
顾筱筱
回乡小神医,夜夜出门要扶墙
曾经的蚂蚁
崩坏:你告诉我这难度是崩三?!
CR紫枫
阿尔卡拉的幻想1黑水晶
FPT吴教主
校花的贴身高手楚梦瑶林逸
鱼人二代
道具影帝,我的演技无上限
不如去吹吹风
全民求生:我在诡异末日养成少女
我吃西红柿酱
超品渔夫
季小爵爷
超时空奶娃,晋阳公主小兕子
欧阳宇锅锅
我的歌星女友超凶猛叶知秋虞采薇
连衣
我在新手村悄悄苟成了大BOSS步凡大妮
青衫格
重回1982小渔村
米饭的米
公若不弃,愿拜为义父
辣酱热干面
第四天灾从不相信钢铁洪流!
喀秋莎第一可爱
修仙界只有妖女了是吗
月下千早
四合院之扮猪吃老虎
戈壁孤狼夜
青山
会说话的肘子
仙命在我
杜养吾
半岛头号玩咖!
HKDoll
诸天影视从四合院开始
洒家要吃肉
被夺一切后我成了仙道魁首
盛唐无夜
秦时小说家
偶米粉
重生鉴宝:我真没想当专家
眀智
华娱从洪世贤开始
在下励志师
工业克苏鲁,从海岛领主开始
刀如故
娱乐:我就是顶峰
疑似风月
长生修仙:从福修开始
宅到时间尽头
以一龙之力打倒整个世界!
唐宋元明氢
美警生存实录:以德服人
夜叶总差
循规蹈矩能叫重生吗?
法学院新生
穿越者纵横动漫世界
龙之宫
全球觉醒:开局加入聊天群
飞翔的四眼
发薪就能变强,我有十亿员工!
今月曾经照古河
大明:从战场捡属性开创诸天大明
无谅888
税收只在机枪射程内!
践行践远
混沌天帝诀凌峰苏琳
剑轻阳
魔王大人深不可测
晨星LL
穿越,然后被富家JK堵门
晚不鸽
路明非,成为艾尔登之王吧!
苏三十二
人在斗破:天赋绝世竟带系统
仪昔
超武斗东京
木隐红尘
诸天:谁把他放进恐怖片的?
三维的乱象
F1:车神养成日记
诸位贱笑了
从梁祝开始燃烧世界
小黑帽
嫡明
戈昔
人在峨眉,开局获取金色词条
黑白大团子
祭祀百年,我成了部落先祖
山人有妙计
斗罗:三位一体,我贯穿了时间线
我不开挂