一、分析百度翻译
这跟有道翻译不同,有着另一种反爬机制,因此仍然使用pc端网站接口会报997错误
所以这次爬虫使用手机端地址进行爬取:1
self.url='https://fanyi.baidu.com/basetrans'
注意的是其他headers及data明细也要使用手机网页端的。
本项目使用到mitmproxy 及airtest
主要实现功能:
1、把数据写成csv格式文件。
csv文件可以直接用Excel打开。
写csv文件的效率和写txt文件的效率一样高。
同样的数据内容,生成的csv文件的大小远远小于生成的Excel文件。
从以上优点就可以看出生成csv文件消耗的内存绝对小于生成Excel文件。
使用Cron调度任务
Cron是用于在Unix系统上配置计划任务的工具。它用于安排命令或脚本定期以固定间隔运行。任务范围从每天午夜备份用户的主文件夹到每小时记录CPU信息。
命令crontab(cron表)用于编辑操作中的计划任务列表,并且基于每个用户完成; 每个用户(包括root)都有自己的crontab。
在实际应用中,我们需要实现对数据的备份,其实现方式主要有冷备份和热备份两种。现在我们主要讨论热备份的具体操作。热备份也称为联机备份,在数据库的存档模式下进行备份。oracel数据库默认存档模式为关闭状态,要实现数据的热备份,需要改变数据库的存档模式,将其打开。并且需要注意的是数据库的存档模式的操作需要在MOUNT实例中进行,且数据库不能处于OPEN状态。下面将进行详细介绍:
在oracle进行闪回的时候分为了很多级别。有数据库级别的,表级别的,和事务处理级别的。
对于数据库级别来说,当truncate一个表的时候,误操作删除了一个表。由于是truncate操作,属于DDL操作,是没有任何办法进行回退的。这个时候就需要使用闪回技术了。就要靠闪回日志来闪回了。
如果误删除了一个表,只要用户开启了回收站功能,每当用户不小心删除一个表以后,这个表不会直接被删除掉,表会进入到对应的回收站里面。这个时候就要靠回收站来闪回了。
使用where错误的更新数据,就要使用还原数据来进行还原了。还原数据就是原来的数据,即修改之前的数据。它以逻辑结构被存放在还原表空间的还原段里面。还原段的使用是超时覆盖,意味着还原段在保留时间之内,是不会覆盖的。一旦超过时间就会被覆盖。这就意味着使用语句进行修改误操作了,第二天才发现误操作了,如果数据库比较繁忙,还原段超过保留时间的话,那么误操作的数据就未必可以找回来了。只要原来的数据在还原段当中就可以使用闪回查询来进行恢复。
闪回里面常用的,闪回表,闪回查询,闪回库。
一NVL函数是一个空值转换函数
NVL(表达式1,表达式2)
如果表达式1为空值,NVL返回值为表达式2的值,否则返回表达式1的值。 该函数的目的是把一个空值(null)转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。
对数字型: NVL( comm,0);
对字符型 NVL( TO_CHAR(comm), ‘No Commission’)
对日期型 NVL(hiredate,’ 31-DEC-99’)
例子:
select ename,NVL(TO_char(comm), ename||’ is not a salesperson!’) AS COMMISSION from emp
二 NVL2(表达式1,表达式2,表达式3)
如果表达式1为空,返回值为表达式3的值。如果表达式1不为空,返回值为表达式2的值。
例如 NVL2(comm,’sal+comm’,sal)
NVL2函数测试comm
如果comm为空,就返回sal 的值。如果 comm 不为空(null),就返回表达式 sal+comm的值。
1 | with tmp_table as()select × from tmp_table; |
使用这种方式创建临时表
优点:创建迅速简单,成句体现,不需要drop掉相应的表。可以将各表聚合
缺点:在抽字段select时排序会乱。
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录(注意不是yilia根目录)执行以下命令:
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置:
jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true