方法和伊芙・卡莉有些分歧。
机
学习领域中所谓的降维就是指采用某种映
方法。
还是说将
维模型转化为低维模型?
林灰的语气是那样的风轻云淡。
仔细思索林灰话里的
意。
抑或是什么其他
义?
“……我觉得将向量引
到语义文本相似度的衡量确实是一个不错的主意。
向量在
理一些语义复杂的文本信息时。
经常
现维度爆炸的问题。
到底林灰想表达是将
维数据转化为低维数据?
在应用正式的降维技术之前。
这种
况
很多统计方法都难以应用到
维数据上。
她不知
林灰表达的原意就是将
维转化为低维。
但是所收集到的数据通常会散布在一个极其分散广袤的
维空间中。
现这种
况后,应用场景经常会变得极其糟糕。
在选择降维方法的时候,人们不得不考虑很多因素。
这也是“维度灾难”存在的原因之一。
Dear林,不知
您关于这个问题有什么看法呢?”
伊芙・卡莉很想询问一
。
首先伊芙・卡莉觉得林灰想说的应该不是将
维数据降低成低维数据。
通过降低数据的维度,理论上讲可以把这个复杂棘手的问题变得简单轻松。
这样对研究人员理解原本的
维数据所隐
的结构和模式很有帮助。
维数据模型虽然收集到的数据
很多。
不过在介
向量之后,就像打开了潘多拉的
盒一样。
在分析
维数据时,确实是可以
行降维的。
作为数据去噪简化的一种方法,降维
理对
理大多数现代机
学习数据很有帮助。
伊芙・卡莉还在继续陈述着她的看法:
林灰
:“维度爆炸主要是
维难
理的问题。
彷佛在叙述一件自然而然的事
一般。
不过考虑到林灰先前为了米娜・卡莉
的贴心之举。
首先要考虑输
数据的
质。
极其容易形成一些
维空间,造成维度爆炸。
涉及到降维是一件极其麻烦的事
!
降维?将
维的什么
行降维??
还是说林灰在表述的时候说的是将
维的某
转化的低维但翻译在转达的时候却省略了什么东西。
而有的时候
行预
理时。
但林灰并没有表
来,学术上的交
很多时候也只是求同存异而已。
毕竟不是所有的数据都是样本数据。
这种
况比
维离散还要糟糕。
伊芙・卡莉并不好就这种事
让林灰带来的翻译陷
到不安之中。
如果是省略了一些重要的名词那实在是太糟糕了。
这么
是为了除去噪音同时保存所关注信息的低维度数据。
遇到这种维度灾难,不降维的话
维数据是很难
行
理的。
话虽如此,但降维并不是像科幻书里描述的那般扔一个二向箔就完事了。
她有
想学中文了。
也必须要
行降维!
还要对
维数据
行适当的预
理。
将原
维空间中的数据
映
到低维度的空间中。
在
行自然语言
理时如果
现了
维数据的话。
既然如此,为什么不考虑将
维
行降维呢?”
最佳的预
理方式又是引
降维这种方法经常用于数据压缩、数据探索以及数据可视化。
降维可以被看作是一种潜在特征提取的方法。
比如说,对于连续数据、分类数据、计数数据、距离数据,它们会需要用到不同的降维方法。
伊芙・卡莉有种要吐血的
觉。
对数据的
质和分辨率的考虑是十分重要的。
极有可能使得原本离散的数据直接“糊”在一起。
(ps:……数学天赋
满的人
维也能
上)
事实上,现在维度爆炸问题已经很制约我们的研究了。
原始的
维度数据通常包
了许多无关或冗余变量的观测值。
听了翻译同传过来的信息。
如果不考虑输
数据的
质贸然
行降维的话虽然能够使得这些这些
维模型低维化。