搜索结果
查询Tags标签： 数据处理，共有 121条记录-
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
目录Hive集成表引擎 创建表使用示例 如何使用HDFS文件系统的本地缓存查询 ORC 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询 Parquest 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询文本输入格式的Hive表 在Hive 中建表 在 ClickHouse 中建表…
2023/12/23 18:03:24 人评论 次浏览 -
复杂格式数据处理
1 SELECT2 code,3 name,4 ai.ACode,5 ai.AName,6 bi.BCode,7 bi.BName8 FROM (SELECT9 get_json_object(t.value, $.base.code) AS code, 10 get_json_object(t.value, $.base.name) AS name, 11 get_json_o…
2022/9/4 23:25:32 人评论 次浏览 -
Java8 新特性之流式数据处理
一. 流式处理简介 在我接触到 java8 流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。比如我们希望对一个包含整数的集合中筛选出所有的偶数，并将其封装成为一个新的 List 返回，…
2022/8/29 1:24:00 人评论 次浏览 -
使用 NumPy 进行数据处理——数据科学第 185 天
使用 NumPy 进行数据预处理——数据科学第 185 天Source: https://numpy.org/ 上次，我们查看了安装 NumPy 包并探索了使用 NumPy 的数组的基础知识。 — 是的，上次是第 184 天，但我在发表文章时打错了字。 [ 使用 NumPy 进行数据处理——数据科学第 146 天 是的，已经…
2022/8/28 23:23:35 人评论 次浏览 -
Filnk简介
Filnk简介 1. flink和spark的区别2. 流处理和批处理3. 无界流和有界流4. 流处理和批处理流处理批处理5. 离线计算和实时计算的区别6. 实时计算面临的挑战1.数据处理唯一性（如何保证数据只处理一次？至少一次？最多一次？） 2.数据处理的及时性（采集的实时数据量太大的话…
2022/7/23 23:24:43 人评论 次浏览 -
Python 数据处理常用语法
删除某列包含特定字符的行data = data.drop(data[data[房号].str.contains(车位,车库)].index)处理日期数据data[合同签订日期] = pd.to_datetime(data[合同签订日期])获取年份data.loc[:,签约年份] = data.loc[:,签约日期].apply(lambda x: x.year).astype(int)将数据分段…
2022/7/17 1:15:02 人评论 次浏览 -
Python 数据处理常用语法
删除某列包含特定字符的行data = data.drop(data[data[房号].str.contains(车位,车库)].index)处理日期数据data[合同签订日期] = pd.to_datetime(data[合同签订日期])获取年份data.loc[:,签约年份] = data.loc[:,签约日期].apply(lambda x: x.year).astype(int)将数据分段…
2022/7/17 1:15:02 人评论 次浏览 -
20220703 爬虫&数据处理
1、 昨天已经获取到数据，今天发现dataframe数据单列数据存储在一行中，分列不太好分，我上网查了下。从列表转换为dataframe，正常是存储为一行，需要转置下发现确实变成逗号分开的形式了。代码如下：data = get_data() df = pd.DataFrame(data=[data],index=[a]).T prin…
2022/7/3 23:23:08 人评论 次浏览 -
python数据处理：获取Dataframe中的一列或一行
解决方案 df[w] #选择表格中的w列，使用类字典属性,返回的是Series类型df.w #选择表格中的w列，使用点属性,返回的是Series类型df[[w]] #选择表格中的w列，返回的是DataFrame属性data[0:2] #返回第1行到第2行的所有行，前闭后开，包括前不包括后data[1:2] #返回第2…
2022/6/23 1:22:10 人评论 次浏览 -
汇编语言程序设计（八）数据处理的两个基本问题
目录数据处理两个基本问题寄存器reg与段寄存器sreg机器指令处理的数据所在位置汇编语言中用来表达数据位置的三个概念寻址方式指令要处理的数据有多长通过寄存器名指明要处理的数据的尺寸用操作符X ptr指明内存单元的长度其他方法div除法指令伪指令dddup操作符 数据处理两…
2022/5/26 1:51:27 人评论 次浏览 -
kaldi工具搭建语音识别系统——数据处理
Kaldi（http://kaldi-asr.org/doc/）是一个语音识别工具。使用 C++ 开发，基于 Apache 许可证。目的是为语音识别研究者提供。 Kaldi 的目标和受众范围与 HTK 相似。目标是用 C++ 编写的现代灵活的代码，易于修改和扩展。重要功能包括：与有限状态传感器（FST）的代码级集…
2022/4/29 6:14:37 人评论 次浏览 -
python数据处理-matplotlib入门(2)-利用随机函数生成变化图形2
鉴于上一篇中最后三个问题： 1、上述程序是否能进行优化（比如功能相同的） 2、创建三个3个实例，用了3个语句，能否建一个函数，只输入一个数n，就自动创建n个实例？同时，每个实例的num_times随机，(n比较大时，num_times应该比较小) 3、当实现上述功能后，程序运行，只…
2022/4/26 9:12:43 人评论 次浏览 -
第7章 数据处理
7.1 数组 7.1.1 JavaScript 的数组 console.log("**************************************************"); // 在 JavaScript 中，数组可以通过字面量与 new 表达式两种方法生成。 // 数组字面量的书写方式是在中括号（[]）中列出数组元素，并通过逗号相分隔。…
2022/4/24 6:14:05 人评论 次浏览 -
信息论-信息不等式、数据处理不等式、信息图、Fano不等式
1.相关概念及关系： (1)(2)相对熵 D（ p | | q ）:在p的概率分布下q比p多的信息量（个人理解）（3）条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ). 理解：Y｜Z是Y比Z多的信息量 (4) 垂直符号：独立2.链式法则： 3.Markov Chain(三元) Markov Ch…
2022/4/23 23:15:08 人评论 次浏览 -
数据处理任务
任务描述 本次任务要处理的数据共101227行，样例如下： 18 Jogging 102271561469000 -13.53 16.89 -6.4 18 Jogging 102271641608000 -5.75 16.89 -0.46 18 Jogging 102271681617000 -2.18 16.32 11.07 18 Jogging 3.36 18 Downstairs 103260201636000 -4.44 7.06 1.95 18…
2022/2/14 6:13:57 人评论 次浏览
