Oracle使用sqlldr来批量加载数据

Posted on 2020-07-24 In 数据库 Disqus:

Mysql 可以直接支持 load data 命令，而 Oracle 似乎没有这样的支持。而且还不支持类似 MySQL 的 insert into ... values () 这样的语句。实在用起来累。

<—more—>

拼 SQL 的形式导入数据

SQLLoader

用法: SQLLDR keyword=value [,keyword=value,...]

有效的关键字: 

    userid -- ORACLE username/password           
   control -- Control file name                  
       log -- Log file name                      
       bad -- Bad file name                      
      data -- Data file name                     
   discard -- Discard file name                  
discardmax -- Number of discards to allow        (全部默认)
      skip -- Number of logical records to skip  (默认0)
      load -- Number of logical records to load  (全部默认)
    errors -- Number of errors to allow          (默认50)
      rows -- Number of rows in conventional path bind array or between direct path data saves
（默认: 常规路径 64, 所有直接路径）
  bindsize -- Size of conventional path bind array in bytes(默认256000)
    silent -- Suppress messages during run (header,feedback,errors,discards,partitions)
    direct -- use direct path                    (默认FALSE)
   parfile -- parameter file: name of file that contains parameter specifications
  parallel -- do parallel load                   (默认FALSE)
      file -- File to allocate extents from      
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
commit_discontinued -- commit loaded rows when load is discontinued(默认FALSE)
  readsize -- Size of Read buffer                (默认1048576)
external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默认NOT_USED)
columnarrayrows -- Number of rows for direct path column array(默认5000)
streamsize -- Size of direct path stream buffer in bytes(默认256000)
multithreading -- use multithreading in direct path  
 resumable -- enable or disable resumable for current session(默认FALSE)
resumable_name -- text string to help identify resumable statement 
resumable_timeout -- wait time (in seconds) for RESUMABLE(默认7200)
date_cache -- size (in entries) of date conversion cache(默认1000)

一般我们分别使用控制文件和数据文件比较好，当然也可以在控制文件中指定数据文件。

这样个程序的核心就是控制文件，他控制了我们插入什么数据的行为和方式，已经各种更细致的逻辑。

控制文件示例

OPTIONS (skip=1,rows=128) 
LOAD DATA
INFILE "loginnames" 
truncate 
INTO TABLE tmp1_rengy 
Fields terminated by "," 
Optionally enclosed by '"' 
trailing nullcols 
(
  id,
  loginname
)
`

sqluldr2

这里还有一个好用的数据批量导出工具。官方网站打不开了，在 github.com上找到个地址

自己编译出来试试。使用的方法如下：


SQL*UnLoader: Fast Oracle Text Unloader (GZIP, Parallel), Release 4.0.1
(@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.

License: Free for non-commercial useage, else 100 USD per server.

Usage: SQLULDR2 keyword=value [,keyword=value,...]

Valid Keywords:
   user    = username/password@tnsname
   sql     = SQL file name
   query   = select statement
   field   = separator string between fields
   record  = separator string between records
   rows    = print progress for every given rows (default, 1000000) 
   file    = output file name(default: uldrdata.txt)
   log     = log file name, prefix with + to append mode
   fast    = auto tuning the session level parameters(YES)
   text    = output type (MYSQL, CSV, MYSQLINS, ORACLEINS, FORM, SEARCH).
   charset = character set name of the target database.
   ncharset= national character set name of the target database.
   parfile = read command option from parameter file 

  for field and record, you can use '0x' to specify hex character code,
  \r=0x0d \n=0x0a |=0x7c ,=0x2c, \t=0x09, :=0x3a, #=0x23, "=0x22 '=0x27

通过 sql 指定 sql文件，或者通过 query 指定查询语句，来进行导出。

Fluffos中的Apply与efuns

Posted on 2020-07-15 In Mud Disqus:

从 FluffOS的简单架构分析中我们知道，Fluffos 实际上分为 driver 和 VM 两层，但其实更确切的说的话，在 driver 内还可以分为网络通信层，驱动与VM 的接口层这样。不过，暂时不用分那么细来理解就够了。

AutoJs的初始化与脚本执行过程

Posted on 2020-07-14 In JavaScript Disqus:

至于 AutoJs 是做什么的，就不多说了。具体可以查看官方文档。这里来看一下，其在安卓上是如何跑起来的，有哪些关键的内容存在，一个脚本执行，都做了些什么。

Python的logging库的执行过程

Posted on 2020-07-09 In Python Disqus:

经常有在用，不过没有仔细看过，对于如何比较合理的，结构化的，规范的，比如根据不同的进程和目标来记录的话就会比较苦恼。所以来看一下。

Python编码中的一些实用片段

Posted on 2020-07-09 In Python Disqus:

用以记录，经常用到，懒得再看。

触动精灵相关资料

Posted on 2020-07-05 In Lua Disqus:

库路径

dialog(package.path)
dialog(package.cpath)

/data/data/?.lua;
/sdcard/TouchSprite/lua/?.lua;
/sdcard/TouchSprite/lua/?.luac;
/data/data/com.touchsprite.android/TouchSprite/?.lua;
/data/data/com.touchsprite.android/files/tslibs/?.lua;
/data/data/com.touchsprite.android/files/tslibs/?/?.lua;

/data/data/?.so;
/data/data/com.touchsprite.android/files/tslibs/?.so;
/data/data/com.touchsprite.android/files/plugin/?.so;
/data/data/?.so;
/sdcard/TouchSprite/lua/?.so;

关于http.post 文件

触动有三个地方提供了 http 相关的操作。

TSLib

local url = 'http://www.baidu.com'
data = "abcdbef",
options = {
    tstab = 1,
    timeOut = 10,
    urlEnCode = true
}
local str = httpPost(url, data, options)

这个不能指定头部等内容

ts.so

这个就可以指定头部，和直接用 lua 表来进行作为参数了。
但是 body 必须是 table 类型，会转换成 query 形式，那我要传 json 的话怎么办？没办法。

iOS

local ts = require("ts")
header_send = {typeget = "iOS"}
body_send = {
    ["username"] = "aa",
    ["password"] = "1234"
}
ts.setHttpsTimeOut(60)
code, status_resp, body_resp = ts.httpsPost("https://www.baidu.com", header_send, body_send)

Android

--Android 脚本实例
local ts = require("ts")
data = {
    tstab = "tstab",
    header_send = {typeget = "android"},
    body_send = {id = "687"},
    format = "gbk"
}
code, header_resp, body_resp = ts.httpsPost("http://whois.pconline.com.cn/ip.jsp", data)

但是这个傻逼函数，不会把 body_send 转换成JSON的形式，这就是坑了。

tsnet.so

这个高级库，需要购买VIP才能用，或者是IOS 专业版，放弃他。

require("tsnet")
status, header, content =
    http.post(
    "https://whois.pconline.com.cn/ip.jsp",
    {
        headers = {aaa = 123, cd = 12},
        params = {aaa = 111, bbb = 222},
        opts = {charset = "gbk"}
    }
)

这个也是把 params 转成 query 形式，我要传 json 怎么办呢？

但这几个都没有解决一个问题：对于文件是如何处理的？是将文件直接传递文件描述符，还是需要手动进行转换成分段的形式进行传输呢？

问题的解决

tsnet.so

使用 ltn12, multipart-post 来解决。

multipart-post 用来将文件封装成 multipart 格式，然后调用 tsnet 的API进行上传：

require("tsnet")
local enc = (require "multipart-post").encode

function uploadfile(url, filepath)
    local body, boundary = enc {file = {data = io.open(filepath)}}
    local headers = {
        ["content-length"] = #body,
        ["content-type"] = string.format("multipart/form-data; boundary=%s", boundary)
    }
    print(body)
    return http.post(
        url,
        {
            headers = headers,
            params = body,
            opts = {charset = "gbk"}
        }
    )
end

status, header, content = uploadfile("http://oss.888ce.cn:8081/mz/oss/pic/upload/scriptImg", "1.png")
dialog(status)
dialog(content)

ts.so

require("ts")
local enc = (require "multipart-post").encode

function uploadfile(url, filepath)
    local body, boundary = enc {file = {data = io.open(filepath)}}
    local headers = {
    		typeget='android',
        ["content-length"] = #body,
        ["content-type"] = string.format("multipart/form-data; boundary=%s", boundary)
    }

    return ts.httpPost(
        url,
        {
      			tstab='tstab',
            header_send = headers,
            body_send = body,
            format = 'gbk'
        }
    )
end

status, header, content = uploadfile("http://oss.888ce.cn:8081/mz/oss/pic/upload/scriptImg", "1.png")

Parallels虚拟机无法使用lt2p网络的问题

Posted on 2020-06-24 In macOS Disqus:

本来是用的 macOS，奈何很多服务环境是需要在 windows 下的，所以装了个虚拟机。但是比较蛋疼的是，虚拟机，虽然可以通过 l2tp 拨号，但是却无法访问 PPP 对端的网络。

pandas中类似数据库的操作

Posted on 2020-06-13 In Python Disqus:

之前就了解过相关的信息，不过在使用中还是不太熟悉，经常会卡住需要看文档，因此，在此再次来熟悉一下，方便记录，然后使用的时候也能更快的进行查询。
其本质，是对一个二维数据结构 DataFrame 的操作。
Pandas 提供了非常容易的进行 Series 和 DataFrame 结合，同时在其他的轴上设置一些相关的逻辑的特性。

再看Lua中的协程实现

Posted on 2020-06-12 In Lua Disqus:

在 Lua中的协程中确实已经介绍过了如何使用协程库，但是没有具体了解其实现，稍微麻烦一点就感觉有点茫然，所以需要来看一下其具体是如何实现的。

在文章 lua中的C-API及代码流程也介绍了 Lua 虚拟机的一些概念，如线程与虚拟机等。

UNIX中的进程模型

Posted on 2020-06-07 In Linux/Unix Disqus:

这个是好久以前看 APUE 的时候就看过了，不过最近在用 Python 做服务的时候，想着如何让其也能如同其他程序一样在后台运行而不会随着终端的退出而终止呢。所以又回顾来看了一下 UNIX 的进程模型。