跟着师傅学习！

根据官方文档，为了保证安全性，可以使用如下命令检查未知安全性的代码， objdump -p /path/binfile | grep NEEDED

补充一个可以把movv box放到视频开头的指令： -movflags +faststart (较高版本中不需要+) movv box 中包括 mvhd 等媒体信息，放在开头可以使得网络请求中优先传输视频的metadata

孤立森林 概述 孤立森林是用于异常检测的机器学习算法。这是一种无监督学习算法，通过隔离数据中的离群值识别异常。 基本思想 孤立森林是基于决策树的算法。从给定的特征集合中随机选择特征，然后在特征的最大值和最小值间随机选择一个分割值，来隔离离群值。这种特征的随机划分会使异常数据点在树中生成的路径更短，从而将它们和其他数据分开。 原理 孤立森林的原理是：异常值是少量且不同的观测值，因此更易于识别。孤立森林集成了孤立树，在给定的数据点中隔离异常值。 孤立森林通过随机选择特征，然后随机选择特征的分割值，递归地生成数据集的分区。和数据集中「正常」的点相比，要隔离的异常值所需的随机分区更少，因此异常值是树中路径更短的点，路径长度是从根节点经过的边数。 优势 用孤立森林，不仅可以更快地检测异常，还需要更少的内存。 孤立森林隔离数据点中的异常值，而不是分析正常的数据点。和其他正常的数据点相比，异常数据点的树路径更短，因此在孤立森林中的树不需要太大的深度，所以可以用更小的 max_depth 值，从而降低内存需求。 定义与拟合模型 我们要创建一个模型变量，并实例化 IsolationForest（孤立森林）类。将这四个参数的值传递到孤立森林方法中，如下所示。 评估器数量：n_estimators 表示集成的基评估器或树的数量，即孤立森林中树的数量。 最大样本：max_samples 是训练每个基评估器的样本的数量。如果 max_samples 比样本量更大，那么会用所用样本训练所有树。 数据污染问题：算法对这个参数非常敏感，它指的是数据集中离群值的期望比例，根据样本得分拟合定义阈值时使用。 最大特征：所有基评估器都不是用数据集中所有特征训练的。这是从所有特征中提出的、用于训练每个基评估器或树的特征数量。 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.ensemble import IsolationForest df = pd.read_csv('salary.csv') df.head(len(df)) model=IsolationForest(n_estimators=100, max_samples='auto', contamination='auto',# max_features=1.0) model.fit(df[['salary']]) df['scores']=model.decision_function(df[['salary']]) df['anomaly']=model.predict(df[['salary']]) df.head(len(df)) anomaly=df.loc[df['anomaly']==-1] anomaly_index=list(anomaly.index) print(anomaly) print(anomaly_index) outliers_counter = len(df[df['salary'] > 9999999]) outliers_counter print("Accuracy percentage:", 100*list(df['anomaly']).count(-1)/(outliers_counter))

决策树算法 1. 简单概括 利用熵将整个数据集进行分割 使得分割后数据集的熵最小 不断对子数据集进行递归 直至无法进一步分割或者子数据集里数据的标签都一致时递归结束 分割的过程会形成一棵决策树 利用决策树将输入的数据归类到某一分割后的数据集中 子数据集所带有的标签就是决策的结果 2. 熵的定义和实现 熵定义为信息的期望值 信息的计算公式为 $$ l(x_i) = -log_2p(x_i) \quad 其中 \ p(x_i) \ 是选择某一分类的概率 $$ 信息的期望值为 <br/>H=−∑i=1np(xi)log2p(xi)<br/><br /> H = -\sum_{i=1}^n p(x_i)log_2p(x_i)<br /> <br/>H=−i=1∑n​p(xi​)log2​p(xi​)<br/> 核心代码 def calcShannon(dataSet): dataSetSize = len(dataSet) result = {} # 利用字典统计每一种标签的数据数量 for data in dataSet: label = data[-1] result[label] = result.get(label, 0) + 1 shannon = 0 # 对于每一种分类计算其概率并统计信息熵 for key in result: prob = result[key]/dataSetSize shannon -= prob * math.log(prob, 2) return shannon 3. 分割数据集 # 分割数据集，将维度axis且值为value的数据单独提取出来 def splitDataSet(dataSet, axis, value): result = [] for data in dataSet: if data[axis] == value: # 使用axis分割后将axis这一列从数据中去掉 tmp = data[:axis] # 这里通过entend拼接数组跳过了axis这一列 tmp.extend(data[axis+1:]) result.append(tmp) return result 4. 选择最好的分割维度 def chooseBestSplitAxis(dataSet): numOfAxis = len(dataSet[0]) - 1 baseEntropy = calcShannon(dataSet) bestInfoGain = 0.0 bestAxis = -1 # 对所有维度都循环试验 for axis in range(numOfAxis): allValue = [x[axis] for x in dataSet] # 维度下所有可能的不重复值 valueSet = set(allValue) newEntropy = 0.0 for value in valueSet: # 按不重复的值分割成子数据集 subDataSet = splitDataSet(dataSet, axis, value) prob = float(len(subDataSet)) / float(len(dataSet)) # 新的熵为部分熵按比例求和 newEntropy += prob * calcShannon(subDataSet) # 作差为正说明新熵比旧熵小，混乱程度减小 # newInfoGain = baseEntropy - newEntropy # if newInfoGain > bestInfoGain: # bestAxis = axis # bestInfoGain = newInfoGain if newEntropy < baseEntropy: # 上面源码有点绕 简单理解就是熵变小了就选择 bestAxis = axis return bestAxis 5. 生成决策树 def createTree(dataSet, labels): labelList = [data[-1] for data in dataSet] # 递归出口一：子数据集的标签已经统一只有一种，不需要再进一步分割 if labelList.count(labelList[0]) == len(labelList): return labelList[0] # 递归出口二：子数据集已经没有了可分割的维度只剩下了标签 if len(dataSet[0]) == 1: # 统计子数据集中出现次数最多的标签即为决策结果 return voteMaxLabel(labelList) # 选择熵最小的分割维度 bestAxis = chooseBestSplitAxis(dataSet) bestLabel = labels[bestAxis] # 建立决策树字典 myTree = {bestLabel: {}} # 删除已用于分割的维度对应的标签 del(labels[bestAxis]) allValue = [x[bestAxis] for x in dataSet] valueSet = set(allValue) for value in valueSet: # 复制一遍标签 subLabel = labels[:] # 采用最好的分割方法分割数据集后递归生成子树 myTree[bestLabel][value] = createTree(splitDataSet(dataSet, bestAxis, value), subLabel) return myTree 6. 利用决策树进行决策 决策树生成范例 {'flippers': {0: 'no', 1: {'no surfacing': {0: 'no', 1: 'yes'}}}} 其中每一次决策需要用到决策树的两层 以这里的决策树为例 第一层‘flippers’为进行决策的标签 第二层的0和1为在该标签下进行决策的不同选择 核心代码 def classifyByTree(tree, labels, data): # 得到进行决策的标签 firstLabel = list(tree.keys())[0] # 用该标签进行决策的子树 secondDict = tree[firstLabel] # 得到用于决策的标签所属的维度，用于后面取出数据在该维度的值 firstLabelIndex = labels.index(firstLabel) classLabel = 'Error' # 对于该标签下进行决策的不同的值 for value in secondDict.keys(): # 如果数据在该决策标签维度下的值等于子树的决策值 if data[firstLabelIndex] == value: # 如果子树下还有子树（即还是一个字典类型的数据）则继续进行决策 if type(secondDict[value]).__name__ == 'dict': classLabel = classifyByTree(secondDict[value], labels, data) else: # 否则子树下的值就是决策的结果 classLabel = secondDict[value] return classLabel

请问您后续会分享pdf中提取要素吗？谢谢

@ryougi 好的，谢谢学长！正在看Mysql和es6

@unrealluver 思想我大概明白啦，谢谢学长！（就是担心向量相乘之后大部分得到的都是0...有时间的时候我来试试看

先收藏了，码住

拷贝的是 .bashrc 和 .bash_profile吧,用户运行bash的时候(登陆)会自动运行配置环境

@pencil rules.d里面的东西我都是复制的。。。你有留意过如果把里面的.rule跟网络那个.rule一样直接删掉可以吗

@stardust 感谢伍聚聚帮忙踩坑