ITeye博客

一台数据分析的机器!

datamachine · 共 128 篇文章

集算器实现SQL动态列计算的示例

被数据库厂商扩展后的SQL也可动态拼接出语句执行,但SQL的集合运算和有序计算不方便,实现动态列计算很繁琐,往往要借助高级语言拼出动态SQL。 免费的集算器支持动态脚本、有序计算、显式集合,可以弥补这一不足。下面举例说明SQL开发中常见的动态列计算问题,以及集算器对应的解法。 列间排序 表order有6个整数类型的字段,现在要对每条记录的字段值进行排序,使其按从小到大的顺序横向排列。源数据如下: 集算器代码: 先执行SQL,再循环处理每条记录,处理过程为:将当前记录的字段值用函数array转为集合,再用sort函数排序,最后用函数record写入当前记录。结果如下: 动态拼Merge语句 参…

2016-01-29 09:46 · DB · 评论(0)

集算器协助SQL实现固定排序

SQL通常只能按某字段进行排序,如果要按照指定列表排序,就只能用decode或union,但项目一多SQL就会很长,项目如果是变动的参数,SQL就更难实现,经常需要建立临时表。而且项目和字段值不一定相等,差异部分有时要补齐在排序结果中,有时要排除在外,用SQL处理起来难度很大。 集算器支持对齐函数、有序计算、显式集合,可轻松实现固定排序。集算器还支持独立使用、控制台执行、报表调用、JAVA代码调用,详情参考【 集算器辅助SQL编写的应用结构 】。 下面举例说明SQL开发中常见的固定排序问题,以及集算器的解法。 简单固定排序 对表Serice进行排序,要求aNum字段按照[1,3,2,4]的顺…

2016-01-19 09:48 · DB · 评论(0)

集算器协助SQL实现非等值分组

SQL通常只能按源表字段进行分组,如果分组依据来自另一张表、外部参数、条件列表,用SQL就很繁琐。有时分组依据需要动态生成,这些往往要借助高级语言实现。有时分组依据和源表不完全对应(或区间没有交集),差异部分有时要补齐在分组结果中,有时要排除在外,用SQL处理起来难度很大。 集算器支持对位分组、枚举分组、有序计算,可轻松实现上述非等值分组。集算器还支持独立使用、控制台执行、报表调用、JAVA代码调用,参考【 集算器辅助SQL编写的应用结构 】。 下面举例说明SQL开发中常见的非分等值分组问题,以及集算器的解法。 基本固定分组 表sales存储着订单记录,其中CLIENT列是客户名,AMOUN…

2016-01-15 08:42 · DB · 评论(0)

用集算器实现文本比对

控制台命令、JAVA、python、perl都可以进行简单的文本比对,但这些工具不擅长集合运算、结构化运算,编写多线程代码较复杂,处理多字段对比、大文件对比、异构文件对比等情况时很繁琐。 免费的集算器支持集合运算、游标运算、结构化运算,简化了多线程代码,可以弥补上述不足。集算器应用简单,支持独立使用、控制台执行、JAVA代码调用,详情参考【 集算器实现文本处理的应用方法 】。 下面用若干例子说明集算器实现文件对比的过程。 找到两个文件相同的列值 有两个文件:f1.txt和f2.txt,都有Name和Dept这两个列,第一行是列名,现在需要在这两个文件里找到相同的Name。部分数据如下: 文件…

2016-01-12 08:46 · Java相关 · 评论(0)

集算器与R语言的循环函数对比

循环函数可以遍历数组或集合中的每个成员,可以将结构复杂的循环语句用简单的函数形式表达出来,可以减少代码量并提高可读性。集算器和R语言都支持循环函数,下面将对比两者用法上的异同。 1、生成数据 生成1到10之间的奇数。 **集算器:**x=to(1,10).step(2) 代码中,to(1,10)生成了1到10之间的连续整数,step函数根据上一步计算结果间隔取数,最终结果是[1,3,4,5,7,9]。集算器的这种数据类型被称为序列。 这段代码还有更简单的写法:x=10.step(2)。 **R语言:**x<-seq(from=1,to=10,by=2) 这段代码直接从1开始间隔取数,直到10…

2015-12-25 17:35 · hadoop · 评论(0)

集算器和R语言处理外存文本文件的对比

作为数据计算语言,集算器和R语言都提供了丰富的功能用来处理外存中的文本文件。两者在基本用法上有很多相似之处,但区别也很明显,比如处理列宽固定的文件、读写指定的列、处理大文本文件,计算性能等方面。下面详细对比两者的异同。 1、基本功能对比 描述: sales.txt共有六列,列之间以制表符(\t)分割,行之间以换行符(\n)分割,其中第一行为列名。请将该文件读入内存,再原样写入新的文件。该文件的前几行如下: 集算器: data=file(“e:\\sales.txt”).import@t() file(“e:\\salesResult.txt”).export@t(data) R语言: dat…

2015-12-22 09:42 · hadoop · 评论(0)

集算器序表和SQL数据表的异同

集算器序表和SQL数据表都是有结构的二维数据对象,都有记录、索引、主键的概念,都可以应用于结构化数据的计算。虽然都可以应用于结构化数据的计算,但两者的应用场景却有明显的区别,序表适合解决较复杂但数据量不是很大的计算问题,而数据表适合进行常规但可能数据量巨大的计算。 两者的不同是由底层机制决定的。 序表具有有序的特点,每条记录、每列数据都有确定的序号;序表支持显式集合,序表之间可以直接进行集合运算;序表也是泛型集合,其基本元素既可以是数值也可以是引用或者另一个集合。 SQL数据表缺乏上述特点,但它对内外存透明,可以用一致的语法来访问内存、外存或混合数据。 下面,我们将深入讨论两者的共同点和区别…

2015-12-18 08:48 · DB · 评论(0)

集算器用作Java结构化文件计算类库

有时我们不能使用数据库而采用文件系统存储数据,这时就需要自行完成基于文件的数据计算。但JAVA本身缺少相应的类库,需要硬编码才能实现结构化文件计算,代码复杂且可读性差。 使用免费的集算器可以弥补这一不足。集算器封装了丰富的结构化文件计算函数,并提供JDBC接口。JAVA应用程序可以将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果,详情参考集算器用作Java计算类库的应用结构。 下面举例说明JAVA中常见的结构化计算,以及集算器对应的解法。 文本查询 sOrder.txt是tab分割的文本,现在要用JAVA查询出指定时间段内的订单。 源数据如下: 集算器代码: 读入文件…

2015-12-15 10:42 · Java相关 · 评论(0)

Java查询大文本

有时我们需要查询大文本而不是数据库,这时就需要流式读入文件并实现查询算法,还要进行并行处理以提高性能。但JAVA本身缺少相应的类库,需要硬编码才能实现结构化文件计算,代码复杂且可读性差,难以实现高效的并行处理。 使用免费的集算器可以弥补这一不足。集算器封装了丰富的结构化文件读写和游标计算函数,书写简单代码就能实现并行计算,并提供了易用的JDBC接口。JAVA应用程序可以将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果,详情参考 集算器用作Java计算类库的应用结构 。 下面举例说明集算器协助JAVA查询大文本的过程。 源数据sOrder.txt如下: 要查询起止时间是…

2015-12-11 08:35 · Java相关 · 评论(0)

集算器协助报表工具实现跨行运算

有些报表工具不直接支持跨行计算,需要用表脚本实现,非常麻烦,遇到多层分组的情况会更复杂。集算器支持有序计算,可以弥补这一不足。报表工具可将集算器脚本文件当做数据库存储过程执行,详情参考 集算器辅助报表开发的集成方法 。 下面举例说明报表开发中常见的跨行计算,以及集算器对应的解法。 比上期和同期比 库表sOrder存储着每个销售员每天的订单,报表需要统计指定时间段内各月份销售额的比上期和同期比。源数据如下: 比上期代码如下: 先用SQL进行分组汇总,计算出每年每月的销售额,再用公式“当月销售额/上月销售额”计算比上期。结果如下: 同期比代码如下: 用SQL对分组后的数据按月份、年份排序,再用公…

2015-12-08 08:26 · DB · 评论(0)

解决报表特殊布局的若干示例

有些特殊布局难用报表工具提供的功能直接实现,但如果准备出合适的数据源,就能大大降低报表设计的难度。 使用免费的集算器可以弥补这一不足。集算器支持集合运算、有序计算、动态脚本执行,还提供了简单易用的JDBC接口,报表工具可将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果,详情参考 集算器辅助报表工具的应用过程 。 下面举例说明报表常见的特殊布局,以及集算器对应的解法。 横向分栏 报表工具大多有纵向分栏的功能,但很少有提供横向分栏的。使用集算器事先准备数据集可以可以弥补这一不足: 库表emp有3个字段,部分数据如下: 期望的报表布局是记录先横后纵摆放,且横向分为3栏,如下…

2015-12-04 08:22 · DB · 评论(1)

报表工具的动态数据源实现

有时候我们需要用参数动态指定数据源,或将多数据源连接为单数据源,或向子报表、table控件动态传入数据源名。对于此类需求,报表工具经常要借助高级语言实现或牺牲安全性以降低复杂度,尤其是BIRT、Jasper等单源报表。 使用免费的集算器可以弥补这一不足。集算器封装了丰富的结构化计算函数,支持动态解析表达式,支持多数据源混合计算,书写简单脚本就能实现动态数据源。集算器还提供了简单易用的JDBC接口,报表工具可将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果。 集算器与报表工具的集成结构如下: 下面举例说明集算器根据参数动态切换数据源的基本过程: 数据源myDB1和ora…

2015-12-02 08:55 · DB · 评论(0)

在Java中辅助报表工具展现json

JSON是半结构化数据,Java和报表工具只提供了简单解析的类库,很难进行深度计算。而使用集算器可降低JSON的计算难度。报表工具可将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果,详情参考 集算器辅助报表工具的应用过程 。 下面举例说明报表工具呈现JSON时常见的难题,以及集算器对应的解法。 JSON分组汇总 order.json存储着订单记录,现在要按时间段汇总每个月每个客户贡献的销售额,部分源数据如下: 集算器代码: 将JSON文件读为二维表,进行性条件查询,再进行分组汇总,其中argBegin、argEnd是报表参数。结果如下: 用列表呈现手机日志 文件cel…

2015-11-27 08:58 · Java相关 · 评论(0)

用集算器准备非常规格式报表的数据

有些非常规的格式很难用报表工具提供的功能直接实现,但如果准备出合适的数据源,就能大大降低报表设计的难度。 使用免费的集算器可以弥补这一不足。集算器提供了集合运算,支持动态脚本执行,还提供了简单易用的JDBC接口,报表工具可将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果。 集算器与报表工具的集成结构如下: 下面举例说明集算器实现 横向分栏 的过程: 报表工具大多有纵向分栏的功能,但很难实现记录横向摆放并分栏的布局。比如库表emp有3个字段,部分数据如下: EId Name Dept 4 Emily HR 5 Ashley R&D 6 Matthew Sales 7 A…

2015-11-24 08:14 · Java相关 · 评论(0)

BIRT实现字段拆分表

来源: http://developer.actuate.com/community/forum/index.php?/topic/36204-split-data-row/ 。 将字段拆分为多条记录,可以用存储过程或报表脚本来实现,但代码比较复杂,这种情况下可以用集算器来辅助报表工具,下面用例子来说明。 库表data有两个字段,需要将ANOMOALIES字段按空格拆分为多个字符串,每个字符串和原ID字段形成新的记录。源数据如下: 集算器代码: A1:查询数据库。 A2:拆分ANOMALIES字段,形成新二维表。函数conj可对A1中每个成员的计算结果进行合并。“~”表示集合中的当前成员。结…

2015-11-20 08:30 · DB · 评论(0)