pyppeteer 常见问题解决方法

1, 无法启动chromium浏览器Running as root without –no-sandbox

错误如下:

[0505/060845.882080:ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported.

解决方法:
a,不用root运行
b,修改pyppeteer/launcher.py

    self.chrome_args.extend([
        '--headless',
        '--disable-gpu',
        '--no-sandbox', #增加这一行
        '--hide-scrollbars',
        '--mute-audio',
    ])

certificate verify failed 解决方法

开始研究pyppeteer,运行第一个example时就出现了,SSL: CERTIFICATE_VERIFY_FAILED,这是个常见的错,看了下原码是在下载chromium浏览器时无法验证证书造成的。

网上的解决方法都是,修改原码,不验证certificate,但这个不好。真正的解决方法为:

yum install ca-certificates
pip3.6 install -U requests[security]

运行完以上两步后再执行就OK了

Python Twisted 框架学习问题汇总

1. 使用Eclipse+Pydev时,有大量的方法在使用时编辑器会报Undefined variable错误,并下标红线,但实际上,运行并没有问题。如twisted.internet.reactor中的一些方法。

原因:
这是一个与Eclipse/Pydev执行静态分析方式相关的已知问题。
如果跳转到reactor源代码可以看到,在导入时,twisted.internet模块中实际上不存在reactor对象。模块为空。
当eclipse/pydev试图编译字节码时,静态分析在twisted.internet模块中看不到reactor对象,并将其标记为未定义的变量,即使它实际上在运行时存在(twisted是怎么实现的还得好好看看源码才行,现在是一头雾水)

解决方法:
在对报错的行的末尾写入: #@UndefinedVaria,这样可以让eclipse忽略错误,如

reactor.run() #@UndefinedVariable

在Flask/Jinja2 的template 中调用公共的函数

python :

@main.context_processor
def utility_processor():
    def mytest(text):
        return "<b>%s</b>" % text
    return dict(mytest=mytest)

template:

{{ mytest('123') }}

但你会发现页面显示的是包含tag的123,并没有转化为我们想要的加粗效果

修改为:

{{ mytest('123') | safe }}

搞定收工

pip安装package时如何保存安装包

–download 和 –download-cache两个参数可以完成这个要求

pip install package --download="/pth/to/downloaded/files"

不过–download-cache 会下载主包但依赖包不会

–download参数更加完美

 

 

python os.path模块详解

os.path.abspath(path) #返回绝对路径
os.path.basename(path) #返回文件名
os.path.commonprefix(list) #返回list(多个路径)中,所有path共有的最长的路径。
os.path.dirname(path) #返回文件路径
os.path.exists(path) #路径存在则返回True,路径损坏返回False
os.path.lexists #路径存在则返回True,路径损坏也返回True
os.path.expanduser(path) #把path中包含的”~”和”~user”转换成用户目录
os.path.expandvars(path) #根据环境变量的值替换path中包含的”$name”和”${name}”
os.path.getatime(path) #返回最后一次进入此path的时间。
os.path.getmtime(path) #返回在此path下最后一次修改的时间。
os.path.getctime(path) #返回path的大小
os.path.getsize(path) #返回文件大小,如果文件不存在就返回错误
os.path.isabs(path) #判断是否为绝对路径
os.path.isfile(path) #判断路径是否为文件
os.path.isdir(path) #判断路径是否为目录
os.path.islink(path) #判断路径是否为链接
os.path.ismount(path) #判断路径是否为挂载点()
os.path.join(path1[, path2[, …]]) #把目录和文件名合成一个路径
os.path.normcase(path) #转换path的大小写和斜杠
os.path.normpath(path) #规范path字符串形式
os.path.realpath(path) #返回path的真实路径
os.path.relpath(path[, start]) #从start开始计算相对路径
os.path.samefile(path1, path2) #判断目录或文件是否相同
os.path.sameopenfile(fp1, fp2) #判断fp1和fp2是否指向同一文件
os.path.samestat(stat1, stat2) #判断stat tuple stat1和stat2是否指向同一个文件
os.path.split(path) #把路径分割成dirname和basename,返回一个元组
os.path.splitdrive(path) #一般用在windows下,返回驱动器名和路径组成的元组
os.path.splitext(path) #分割路径,返回路径名和文件扩展名的元组
os.path.splitunc(path) #把路径分割为加载点与文件
os.path.walk(path, visit, arg) #遍历path,进入每个目录都调用visit函数,visit函数必须有
3个参数(arg, dirname, names),dirname表示当前目录的目录名,names代表当前目录下的所有
文件名,args则为walk的第三个参数
os.path.supports_unicode_filenames #设置是否支持unicode路径名

Python中使用urllib2时绑定不同的网卡

因为要没试load balance,找了台多网卡的机器,跑python测试程序,虽然跑了几个client,但发现数据始终是从同一网卡发送出去,导致load balance server始终把数据转发到同一个节点上
如果让python程序收发数据时绑定在指定的网卡上呢?
查了google,SO
终于找到解答方法
只需在urllib2等调用前加以下一段,即可

import socket
true_socket = socket.socket
def bound_socket(*a, **k):
sock = true_socket(*a, **k)
sock.bind(("10.4.10.194", 0))
return sock
socket.socket = bound_socket

 

python中ip与int的转换

有这样一个需求

根据ip和子网掩码,计算网络IP

即192.168.1.1  255.255.255.0 => 192.168.1.0

在这个过程中需要将IP转换成数字,并与子网进行与操作

网上找到了个好方法

ip2num = lambda x:sum([256**j*int(i) for j,i in enumerate(x.split('.')[::-1])])
num2ip = lambda x:'.'.join(["%d"%(x/(256**i)%256) for i in range(3,-1,-1)])

这样一来网络IP的计算就容易多了

netip=num2ip(ip2num('192.168.1.1')&ip2num('255.255.255.0'))

 

 

安装python模块时出现smor _attribute__before token等错误的解决方法

如果在安装某个python模块时

出现以下几个错误:

error: expected specifier-qualifier-list before XXX_HEAD

error: expected    smor _attribute__before token

error: expected before token

多半是少了

python-devel

 

安装python-devel后再重新安装模块,即可解决问题。

CentOS: yum install python-devel

ubuntu: apt-get install python-dev