问题来源:http://stackoverflow.com/questions/26820118/text-file-processing-using-java
JAVA没有直接处理文本文件的连接运算的类库,自行编码非常复杂,特别是文件太大无法放入全部读入内存时。集算器可以协助JAVA实现这些运算,下面通过例子来看一下具体作法。
文本文件order.txt的第一行是列名,列SellerId是逻辑外键,指向employee.txt的列EID,现在需要从两个文件中取出列OrderID、Client、Name、Dept,并形成新的文件。部分源数据如下:
Order.txt
Employee.txt
假设两个文件都比较小,则可以使用如下集算器代码进行内连接运算:
A1,A2:将文件读入内存。@t表示第一行是列名。
A3:进行内连接运算,结果如下:
A4:从A3中取出需要的字段。
A5:写入文件。内容如下:
如果进行左连接运算,只需在join函数使用选项@1,代码如:=join@1(A1:o,SellerId; A2:e,EId),生成的文件如下:
类似的,全连接只需使用选项@f。
如果其中一个文件较大,或两个都很大,这时可以用集算器游标来解决,代码如下:
A1,A2:以游标的方式打开大文件。
A3:进行游标之间的内连接运算。和内存连接不同,游标连接要求游标有序,因此这里用函数sortx进行排序。
A4:取出需要的字段,形成新的游标。
A5:将游标写入文件。
类似地,@1表示左连接,@f表示全连接。
上述脚本已经完成了所有的数据处理工作,接下来通过JDBC将集算器脚本集成在JAVA里。JAVA代码如下:
//建立esProc jdbc连接
Class.forName("com.esproc.jdbc.InternalDriver");
con= DriverManager.getConnection("jdbc:esproc:local://");
//调用esProc,其中test是脚本文件名
st =(com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");
st.execute();//执行esProc存储过程
ResultSet set = st.getResultSet();//获得计算结果
相关推荐
主要介绍了Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
基于张量流中的ctpn模型的文本检测,身份证检测,连接主义文本提议网络程序源代码数据集 文字检测-ctpn基于ctpn(连接主义文本建议网络)的场景文本检测。 它在tensorflow中实现。 原始文件可以在找到。 另外,可以...
文件均为文本文件,但分为可执行文件和不可执行文件。 5磁盘管理 文件对磁盘块是独占的。 目录结构采用树型目录结构。 每个目录项为 8 字节,要存储目录名或文件名,扩展名,目录、文件属性,起始盘号,文件长度。...
2. 创建数据库表,字段需要和文本文件的数据逐列对应。 3. 创建实体类,封装对应的属性。 4. 创建util类,对数据库的连接进行管理。 5. 编写dao层接口,定义添加数据的接口方法。 6. 编写dao层实现类,实现添加数据...
记录一下 Java 代码实现文件夹、文件的对比,主要包含 word、pdf、文本、图片等相关文件的对比计算,以及计算文本的相似率(重复率)、筛选出差异的文件、方便文件和文档的去重,并把所有的源码封装为jar包,简单...
* 实现文件的移动,这里做的是一个文件夹下的所有内容移动到新的文件, * 如果要做指定文件移动,加个判断判断文件名 * 如果不需要移动,只是需要文件重命名,可以使用ftp.rename(oleName,newName) * @param ftp...
要基于BERT模型实现中文文本情感分类项目,你可以按照以下步骤进行: 1. **数据准备**: - 准备标注好情感类别的中文文本数据集,可以使用情感分类数据集如THUCNews、ChnSentiCorp等。 - 将数据集分为训练集、...
NI采集卡C++资源及工程应用实例较少,本处提供在Qt环境下实现的NI采集卡多路输入电压的同时采集、显示、曲线绘制及文本存储的工程应用实例。使用双线程操作,曲线绘制采用开源库qcustomplot。
整合阿里云进行文本转语音(Springboot+vue),前后端都有,每次可以将文本转化为你想要的的语音,mp3等格式,阿里云语音支持包括山东化,四川话,天津话,广播腔,英文,美式,英式,日语、等国家的语音。...
二、实验内容 1.原理分析 (1)项目功能 ...1.“文件”菜单:包括“新建”自动清空文本域,“打开”计算机本地磁盘的文本文件,主动“保存”自己已经编辑好的内容到电脑的磁盘或“另存为”新的文件之中,以及
它是一种使用 JavaScript 语言编写的文本文件,用于指定在访问特定网址时应使用哪个代理服务器或直接连接。PAC 文件主要用于在企业和组织网络中实现代理自动配置,以便管理和控制网络访问。 工作原理: 当用户试图...
(一) 从键盘上输入一组字符串“。。。。(内容自己定义,不少于20个ASCII显示字符...将文本文件EXP4_2.TXT连接到EXP4_1.TXT之后面,另存为EXP4.TXT。 (三) 最后设计验证程序,说明上述功能(一)和(二)是否实现。
使用方便,最大的特点是通过连接SQL Server 2000 数据库来实现数据的存储和访问,适合初学数据库的同志参考,下载后,现将数据库文件附加到你的SQL Server 2000 上,然后修改文本文件MSSQLConnect.txt中的user和...
5、有时候我们想XCOPY 变为自动复制,并且复制完成后关闭电脑,可以建立一个批处理文件,新建文本文档,更名为XCOPY.BAT 当然扩展名原来是TXT 格式的要更名为BAT 在这个 XCOPY.BAT 中输入 xcopy e:\*.* d: /s /h /c...
基于MLP与TextCNN实现的文本分类模型python源码+实验报告+项目说明.zip MLPClassify.ipynb仅需要sklearn以及pytorch包即可,打开文件后全部运行即可。 TextCNNClassify.ipynb需要安装spaCy库以及其英文预料包,可以...
REG文件的创建是非常简单的,可以通过任何一个文本文件编辑工具来实现。我们就以创建一个可以解除注册表禁用限制的REG文件restore.reg为例来介绍一下具体过程。 打开记事本,在记事本文件中输入以下内容: ...
java 读取txt文本文件中的数据并保存到数据库中源代码,假设txt已有格式,并以","分隔。其中的sql包需要自己去微软官网下载。
对于文本文件(.txt,.java,.c,.cpp),使用字符流处理 对于非文本文件(.jpg,.mp3,.mp4,.avi,.doc,.ppt,...),使用字节流处理 2.数据的流向:输入流、输出流 3.流的角色:节点流、处理流 节点流:直接从数据...
模型整体结构:文本输入层--embedding层--LSTM层--全连接层--输出层。 代码详解:https://zhu - 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,...