当前位置:万博足彩 > 资讯资讯 > 正文

手把手教你从有限的数据样本中发掘价值(附代码)2019-05-17 15:24:57 | 编辑:hely | 查看: | 评论:0

本文是系列文章中的一篇,编辑对滑铁卢地区的Freedom of Information Requests数据集进行探索分析,展示了在实践中拿到一批数据时(尤其像本文中的情况,数据很稀缺时),该如何一步步进行分析从而得到一些见解。

本文是系列文章中的一篇,编辑对滑铁卢地区的Freedom of Information Requests数据集进行探索分析,展示了在实践中拿到一批数据时(尤其像本文中的情况,数据很稀缺时),该如何一步步进行分析从而得到一些见解。编辑的同事也对该数据集使用其他方法进行了分析,建议对NLP感兴趣的读者也一并阅读,将大有裨益

最近我碰到了滑铁卢地区的Open Data项目,连同它的Freedom of Information Requests数据集。我的同事Scott Jones已经在一系列文章中使用机器学习(ML)技术对其进行了分析。由于数据不足,ML表现不佳。虽然Scott做了在这种情况下应该做的事情,即寻找更多数据。尽管数据很稀缺,但我仍然很好奇这些数据还能告诉我什么。毕竟数据总是有价值的。

在进入这段8分钟的阅读旅程之前,我想说你可以在Github上找到Jupyter notebook里的所有代码和对这些数据的更多见解,由于内容太多,文章里无法一一先容。如果你不想阅读notebook,可以在下面链接的相关文件中找到全部图形结果。

Github相关链接:https://github.com/brodriguezmilla/foir

相关文件:https://github.com/brodriguezmilla/foir/blob/master/foir_all_figures.pdf

接下来,我向你先容其中几个分析的要点。

了解数据

大家使用pandas库来实现这一步,以下是Open Data中的文件之一:

 

1999年的Freedom of Information Requests文件样本 大家有18个文件,从1999年至2016年每年一个,总共有576个请求(Requests),令人惊讶地是全部都有相同的六列。大家将只使用三个主要列,来源(Source),请求摘要(Summary_of_Request)和决策(Decision)。

 

♦ Source。 这是发出请求的实体,即请求者。 通过查看多年来的信息,能够将其合并为“Business”,“Individual”,“Individual by Agent”,“Media”,“Business by Agent”和“Individual for dependant”。

♦ Summary_of_Request。 包含已由记录员编辑过的请求。

♦ Decision。合并后的类别包括:“All information disclosed”,“Information disclosed in part”,“No records exist”,“Request withdrawn”,“Partly non-existent”,“No information disclosed”,“Transferred”,“Abandoned”, “Correction refused”,“Correction granted”,“No additional records exist”。

这些列的相互之间关系如何?

描述性统计和探索性数据分析

在本节中,大家将重点关注Source和Decision列。稍后大家将使用一些NLP工具分析这些请求。以下是数据的分布:

 

 

大约60%的请求是“All information disclosed”或“Information disclosed in part”。 至少有七种类型的决策少于25个实例,其中一个最重要的决策是“No information disclosed”。 因此,大家不仅数据量有限,而且还存在不平衡的情况。 对于机器学习来说这都不太好。

通过另一种数据视图,即Source 与 Decision的透视表,大家看到大多数请求都是由“Business”,“Individual”和“Individual by Agent”发起的。

 

 

将每个来源的数字进行处理,使每一行加起来等于1,大家看到主要的三个来源表现良好,因为“All information disclosed”每个都超过30%,“Information disclosed in part”则增加了18%至34%,甚至更多。 两者相加在50%以上。此外,“Individual by Agent”的成功率高于“Individual”。几乎没有请求的“Media”表现不佳,只有10%的请求被决策为“All information disclosed”。

 

 

自然语言处理(NLP)

现在大家继续分析Summary_of_Requests列。为此,大家转投自然语言处理库,例如NLTK和spaCy,以及scikit-learn的帮助。

从广义上讲,在分析任何文本之前,需要做的步骤其实很少(参见Susan Li的帖子):

https://towardsdatascience.com/topic-modelling-in-python-with-nltk-and-gensim-4ef03213cd21

对文本进行分词:将文本分解为单个特殊实体/单词,即token。
删除任何不需要的字符,比如回车换行和标点符号,像' - ','...','“'等。
删除网址或将其替换为某个单词,例如“URL”。
删除网名或用某个单词替换“@”,例如“screen_name”。
删除单词的大小写。
删除少于等于n个字符的单词。在本例中,n = 3。
删除停用词,即某种语言中含义不大的词。这些词可能无助于对大家的文本进行分类。例如“a”,“the”,“and”等词。但并没有一个通用的停用词列表。
词形还原,它是将单词的变种形式归并在一起的过程,这样它们就可以作为单个词项进行分析,就可以通过单词的词目(lemma)或词典形式来识别。

因此,在编写了处理函数之后,大家可以对文本进行转换:

def prepare_text_tlc(the_text):

text = clean_text(the_text)

text = parse_text(text)

tokens = tokenize(text)

tokens = replace_urls(tokens)

tokens = replace_screen_names(tokens)

tokens = lemmatize_tokens(tokens)

tokens = remove_short_strings(tokens, 3)

tokens = remove_stop_words(tokens)

tokens = remove_symbols(tokens)

return tokens

由于大家会持续处理此文本,因此大家将预处理过的文本作为新列“Edited_Summary”添加到dataframe中。

 

N元语法(N-grams)和词云还能如何分析和可视化大家的文本呢?作为第一步,大家可以找到最常用的单词和短语,即大家可以获得一元语法(单个tokens)和 n元语法(n-tokens组)及它们在文本中的频率。

 

def display_top_grams(gram, gram_length, num_grams):
gram_counter = Counter(gram)
if gram_length is 1:
name = 'unigrams'
elif gram_length is 2:
name = 'bigrams'
elif gram_length is 3:
name = 'trigrams'
else:
name = str(gram_length) + '-grams'
print("No. of unique {0}: {1}".format(name, len(gram_counter)))
for grams in gram_counter.most_common(num_grams):
print(grams)
return None

所以对于大家的一元语法:

并使用WordCloud:

 

 

那为什么“remove”这个词如此突出?事实证明,出于隐私原因,原始请求中写入的所有姓名,日期和位置都已删除,并在Open Data的文件中被替换为“{location removed}”或“{date removed}”等短语。这种替换共有30多种变体。 使用替换后(regEx)来清理文本,大家得到了一个更好的词云。这一次,大家也加入了二元语法。

 

 

看一下上面的词云和三元语法:

 

 

大家看到有一些常见的短语,例如“ontario works”,“environmental site”,“grand river transit”,“rabies control”,“public health inspection”和“food bear illness”(亦如'food borne illness ' – 还记得大家之前曾把tokens进行了词形还原)。 那么,这些短语在大家的文本中有多常见?包含这些短语的请求信息是否影响请求被批准的可能性?事实证明,46%的数据是那些类型的请求,这些短语没有一个得到“No information disclosed”的决策,并且有明显的趋势:

 

 

例如,“rabies control”约有95%披露了全部或部分信息,而5%被转移了。

对Summary_of_Request和Edited_Summary 列统计

大家已经知道现有数据量是有限的,但到底多有限呢?好吧,只有7个请求超过100个单词,而分词后只剩1个。平均每个请求有21个单词,而中位数为15,而分词后平均为9个单词,中位数为7。

 

 

 

 

词性(POS)标记

在这里,大家使用spaCy来识别该文本是如何由名词,动词,形容词等组成的。 大家还使用函数spacy.explain()来找出这些标记的含义。

full_text_nlp = nlp(full_text) # spaCy nlp()
tags = []
for token in full_text_nlp:
tags.append(token.tag_)
tags_df = pd.DataFrame(data=tags, columns=['Tags'])
print("Number of unique tag values:\
{0}".format(tags_df['Tags'].nunique()))
print("Total number of words: {0}".format(len(tags_df['Tags'])))
# Make a dataframe out of unique values
tags_value_counts = tags_df['Tags'].value_counts(dropna=True,
sort=True)
tags_value_counts_df = tags_value_counts.rename_axis(
'Unique_Values').reset_index(name='Counts')
# And normalizing the count values
tags_value_counts_df['Normalized_Count'] = tags_value_counts_df['Counts'] / len(tags_df['Tags'])
uv_decoded = []
for val in tags_value_counts_df['Unique_Values']:
uv_decoded.append(spacy.explain(val))
tags_value_counts_df['Decoded'] = uv_decoded
tags_value_counts_df.head(10)

 

同时将类别合并,例如“名词,单数或大量”和“名词,复数”,以形成更通用的版本,以下是这些请求的组成方式:

 

 

使用scikit-learn,Bokeh和t-SNE进行主题建模

在notebook中,大家使用不同的主题建模技术,包括scikit-learn的隐含狄利克雷分布(LDA)函数,潜在语义分析(LSA),并且用 CountVectorizer()和TfidfVectorizer()做对比,gensim的LDA,使用t-SNE用于降维,Bokeh和pyLDAvis用于可视化。 大家不会在此处附上完整代码,所以鼓励你去亲自查看完整的notebook。鉴于大家数据的局限性,所有工具都还表现得不错。下图是一个亮点:

几乎所有最常见的短语都在主题中出现了。正如预期的那样,一些主题是明确的,例如“ontario works”或“environmental site”,而其他聚类则不然。

 

 

机器学习

大家已经知道机器学习效果不会很好,但鉴于这是一个学习练习,大家仍然要试一下。在notebook中,大家比较了三种不同情况下的八种不同机器学习模型。大家无法按原样比较完整数据,因为某些情况只有极少数实例。例如,只有一个请求被“Correction granted”,因此当大家训练模型时,该情况将要么在训练集中,要么在测试集中。只有一个案例并不能提供一个良好的基础。大家的选择很少:

大家可以删除少于15个实例的请求,称之为“Over-15”。

大家将全部决议分成三个基本类别:

All information disclosed(加上“Correction granted”。)

Information disclosed in part(加上“Partly non-existent”。)

No information disclosed(加上' Transferred',' No records exist',' Correction refused',' No additional records exist',' Withdrawn'和' Abandoned'。)这会使大家的数据集更平衡。

大家可以删掉少于15个实例的请求,并且删掉没有实际结果的决策,即撤回或抛弃的情况,称之为“Independent”。

以下是结果:

 

 

总体而言,逻辑回归和多项式朴素贝叶斯分类器结合tf-idf给出了更好的结果。 对大家的类别进行分箱(binning)似乎是最合乎逻辑的方法。

可以在以下Github链接中找到代码和完整的结果:

Github链接:

https://github.com/brodriguezmilla/foi

原文标题:

When Data is Scarce… Ways to Extract Valuable Insights

原文链接:

https://towardsdatascience.com/when-data-is-scarce-ways-to-extract-valuable-insights-f73eca652009

分享到:0收藏

上一篇:伪数字经济发展 20 年,互联网企业越来越依靠线下做生意 Gartner:2019年全球IT支出将增长1.1%下一篇:

公众平台

搜索"raincent"或扫描下面的二维码

新浪微博 Tencent微博 订阅中心
?