bit talk直播回顾｜为什么内容理解能力在百度万亿级网页搜索中如此重要

文章页：主体是一篇图文内容，可能含有图片，视频，一般包含一段不短的文字，具体形式可以是新闻、博客、公告、自媒体文章等。

问答页：页面主题是一个评论和若干个（0~N个）回答

……

（1）站点繁多，半结构化的页面pattern复杂，无法穷举

这个站点非常多的半结构化的页面，pattern非常复杂，无法穷举，要求模型泛化性要强

（2）结构信息与语义信息并存，分类难度大

结构化信息和语义信息都是需要考虑的了，并且可能还会互相干扰。比如一个商品页和商品列表页，很多语义元素和结构元素就是相近的，如下图中语义信息和结构信息会互相干扰

（3）pc和wise端均需要覆盖

模型需要同时覆盖 pc页和wise页，这里指的就是电脑端和手机端，同一个URL在不同的网页下，然后可能会差异很大，指的是内容和结构。如下图相同url在不同agent(pc/wise)下显示效果不同

（4）存在大量未渲染页面

可以看到我们正常一个网页是有 css和js的布局信息，通过css和js会有一个具体的网页的展示，但是由于一些网页不能进行渲染，它首先会丢掉一些布局信息，然后这在我们网页分类中造成了一定的困难。如下图中非渲染页面css/js布局信息丢失

网页区域分类前面我说的分块，我们是将网页拆解成各个区域，如图所示分别是问题回答、相关推荐、提问功能等等。网页最上面是通常的一个导航区域，问题区域一般是在回答区域之前，所以可以想到这类问题和网页分类属于同样的结构，语义混合分类问题，两者其实是有异曲同工之妙的

可以看上方图中这个例子是截取的一个中华消化病与影像杂志的这样一篇论文，它的题目是多层螺旋CT在女性盆腔非生殖源性肿瘤定位诊断中的应用价值，可以感受到缺乏相关专业知识的话对句子的划分还是有很大难度的。那么如果在搜索结果展现上，我们一定要对这个垂类进行更精细的理解，才能进行精准的匹配，满足广大用户在百度搜索相关知识时的需求

下图中我们列举了我们对文字的信息抽取的结果。当一段话被切分的如此细碎之后，之后的应用应该是十分便捷的，不管是去提取知识或者是想做细粒度的匹配，我们都有足量的信息和理解信号，能够提供给任何业务去使用，这也是我们内容理解的一个核心价值

是从自然语言文本中抽取指定类型的实体、关系、事件等信息

传统的命名实体识别 主要是识别人名地名和机构名，但由于传统命名实体识别是类别优先，不能完全满足自然语言处理领域其他任务的需求

细粒度命名实体识别 我们可以多定义一些专门类型，例如就一篇简历中，我们可以识别出细粒度的学校专业毕业时间、项目名称、技能点等

开放域的命名实体识别 具备类别更多且不固定，类别更细且有层次这样一个要求，也导致这一个任务的复杂度显著提升。它面临着的问题可能是没有足量的标注的序列语料，同一个命名实体属于多个不同粒度的类别，这些挑战就是无法用传统的这样一个序列标注的问题来解决

在移动互联网大数据的时代背景下，各类的自媒体文章呈爆发式的增长，在搜索和推荐信息流分发场景下，甄别出优质文章，并分发给用户，具有重要的研究意义和实际的应用价值

我们将任务发布在CCKS2022上，要求参赛者利用文章的知识图谱进行建模，实现优质文章分类。除了文章本身的写作质量以外，我们将把任务聚焦在两个点上，一个是文章的深度，另外是文章的新颖性。扫描下方二维码，获取活动信息

第一名：人民币10000元

第二名：人民币3000元

第三名：人民币2000元

技术创新奖：人民币5000元

备注：技术创新奖和前三名可以兼得

任务组织者：

曹自强 （苏州大学）

王德瑞 （百度内容策略部）

徐扬   （百度内容策略部）

谢文睿 （百度内容策略部）

任务联系人：

QQ群：471919965

曹自强：zqcao@suda.edu.cn

王德瑞：wangderui@baidu.com

回复”bit talk“

获取bit talk微信群进群链接

不错过每一次精彩直播！