Linux迷+Python粉 - Ubuntu

神奇的环境bug导致python3中出现udc开头字符串

2018-11-07T15:30:00+08:00

注意：LANG=zh_CN.UTF-8与LANG=en_US.UTF-8不可混淆！¶

LANG=zh_CN.UTF-8与LANG=en_US.UTF-8有区别 ，所以不可混淆！想之前在python2时代吃过坑，没想到到了统一unicode的python3，因环境不一致也能导致编码问题！

当时环境与功能：¶

vps系统是ubutnu 14.04, 相关软件python3.4, selenium3+, chrome66, chromedriver。使用crontab启动shell， shell中启动python脚本，脚本中selenium启动chrome，……

出bug的运行流程：¶

crontab中的a.sh启动 LANG=zh_CN.UTF-8 bash a.sh
a.sh末尾调用”b中文名.py”，带中文参数”《xxx》”
b中文.py 中print(参数1) 会异常显示字符串编码问题’ascii’ codec can’t encode characters

调试发现:¶

print repr(中文参数1)，会打印\udc 开头的而非\x开头的utf8型编码。
比如”《” 正常编码是 ‘\xe3\x80\x8a’，此处确是打印了’\udce3\udc80\udc8a’ 。
改变逻辑，直接ssh到vps并执行 b中文.py 《xxx》 没有问题！

问题定位:¶

个人本机ubuntu系统测试不会出现bug，vps才出现，所以应该是shell环境或者是python环境问题。
打印执行a.sh的shell环境，对比发现本机有LANG=zh_CN.UTF-8和LANGUAGE=zh_CN:zh，vps仅有LANG=zh_CN.UTF-8。
把crontab中强加的环境变量LANG=zh_CN.UTF-8去掉，此时a.sh的环境变量为LANG=en_US.UTF-8， vps恢复正常。（2小时排查出结果了！）
总结：之前觉得LANG=zh_CN.UTF-8与LANG=en_US.UTF-8没什么不同，从此改观。

问题解决：¶

去掉LANG=zh_CN.UTF-8，之后执行过程中会自动变成默认LANG=en_US.UTF-8

原因探究：¶

待定

python repr输出udc开头字符串， print(参数)导致异常¶

'/home/maskuser/path/to/ts/\udce3\udc80\udc8a\udce9\udc80\udc97.....mp4'

Traceback (most recent call last):
  File "/home/maskuser/pathtodir/script/20181105\udce8\udca7\udc86\.....py", line 73, in <module>
    video_upload_testsite(*sys.argv[1:])
  File "/home/maskuser/pathtodir/script/20181105\udce8\udca7\udc86\.....py", line 29, in video_upload_testsite
    print (videopath)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 27-50: ordinal not in range(128)

XUbuntu18.04（Bionic河狸）正式发布，系统安装升级记录

2018-04-27T19:00:00+08:00

Ubuntu 18.04发布时间是（美国）4月26号，彼时的中国已经是27号，就是今天。我花了一天时间折腾升级旧Ubuntu系统到刚发布的最新版。

多年使用linux经验已经使得这个过程驾轻就熟，闲庭信步:)。为了不忘记，将有沉淀价值的部分，简要记录一下。

偶然得知Linux，成为Ubuntu多年用户¶

建议：只使用Ubuntu的LTS版本（长期维护）¶

我的Ubuntu升级之路是10.04 -> 14.04 -> 18.0，中间的LTS版本12.04和16.04因在升级后不满意而没用，回滚恢复降版本。如果升级前没有备份，就没法恢复。系统升级前备份旧系统的准备很重要，让你可以安心折腾走得更远。这次也是花了很长时间全备份的。如果失败需要恢复系统可参考关于linux系统备份与恢复的随笔

期待已久的XUbuntu18.04（Bionic河狸）正式发布¶

新系统意味着更好的驱动，更好的软件版本，比如ubuntu14.04驱动RTL8723BE这种网卡会偶尔掉线。不幸，我的一台笔记本就是RTL8723BE网卡的。显然大版本升级 14.04 -> 18.04 能巧妙地不折腾而解决很多旧问题（再比如http2支持）。因此，我是带着期待在等待Ubuntu18.04发布的，同时这次升级也没有退路（14.04太老了）。幸好，升级还算满意。已经用上了最新Ubuntu了，并且速度还可以，在换SSD盘后的酷睿I3老机上运行顺畅。

Ubuntu 18.04 桌面截图(XUbutnu)¶

Ubutnu18.04安装升级过程（Xfce版本）¶

1.0 选择并下载Ubutnu版本(XUbuntu)¶

旧系统是配搭Xfce桌面的XUbuntu14.04，Xfce同时也是Linus本人选择Linus Torvalds 弃 GNOME 3 用 Xfce。XUbuntu里面的好软件有很多，比如文件管理器Thunar，截图软件xfce4-screenshooter，网速提示器xfce4-netload-plugin，CPU内存提示器xfce4-systemload-plugin等等。同时Ubuntu18的Xfce比原版ISO文件轻量很多。

2.0 升级前先备份¶

2.1 备份已安装过的deb包名称列表¶

( zcat /var/log/apt/history.log*.gz | grep Commandline: ;  zcat /var/log/apt/history.log*.gz | grep Commandline: ) > ~/deb.list.txt

2.2 备份已安装过的python包名称列表（无则忽略，ruby，perl等备份操作同理）¶

( pip2 list ; pip3 list ) > ~/pip.list.txt

2.3 /etc,/var一些关键目录备份, root权限执行（/etc是配置文件仓库，/var包含各用户的定时任务)¶

cd /; sudo tar czf ~/etc.tar.gz etc var/spool/cron/crontabs

2.4 繁重但强烈建议的全盘备份¶

备份方法多种：rsync同步到安全盘备份或 tar打包放到安全目录下或 dd复制分区为文件保存到安全目录下。

3.0 分区、格式化、安装¶

3.1 方式一：从新硬盘或空白分区安装ubuntu18.04¶

linux分区不是越多越好的，推荐 / + /home 模式，实用而不折腾，一个分区代表系统，一个分区代表用户数据空间。这样的好处就是为后续升级带来方便。

根 / 分区给15G已经完全足够，绰绰有余了。把剩余空间都给/home，因为/分区使用量不会明显增加，/home分区放的东西却会成倍的增加。

多年之后我目前用的分区方式，window与linux双系统共存的分区方式。msdos方式只能4主分区，刚好用完：

3.2 方式二：从旧linux系统升级¶

告诫：不要尝试从命令sudo apt-get dist-upgrade升级，结局一般都是不能自动处理错误而中止升级，系统可能因此寿终正寝，只留下无辜的你。这和不要尝试用系统升级方法装windows是一样的。

参考升级方法：

之前已有linux分区是 / + /home 模式，先把 “/” 所在分区格式化，然后将整个ubuntu18.04安装 “/” 所在区。
系统安装后重启进入ubuntu18.04系统，原 “/home” 分区不会挂载。总过程已经完成一半了。
再挂载并将原 “/home” 分区清理瘦身一下，删除家目录中.thumbnails, .cache这些可能冲突或不大重要的用户数据。
将新/home目录内容rsync同步到旧 “/home” 分区所在目录里。
修改/etc/fstab，增加1行让系统重启后挂载原 “/home” 盘。确认无误后重启就完成全部过程。

这样的好处是家目录中的图片、视频、工作文件、工作目录等用户资料依然在那里，变了的只是系统部分，优雅完成升级。

4.0 安装Ubuntu18.04系统之后的优化¶

4.1 Ubuntu18.04修改源¶

原来的url是cn.archive.ubuntu.com，速度下载包时有3MB以上。其实不换也是可以的。

如果要换，以阿里举例，修改/etc/apt/sources.list文件内容即可（修改前备份），改其他第三方的同理该域名即可。

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted

deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted

deb http://mirrors.aliyun.com/ubuntu/ bionic universe
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates universe

deb http://mirrors.aliyun.com/ubuntu/ bionic multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu bionic-security main restricted
deb http://mirrors.aliyun.com/ubuntu bionic-security universe
deb http://mirrors.aliyun.com/ubuntu bionic-security multiverse

4.2 Ubuntu18.04调整用户界面、桌面工具栏、安装字体、重新安装历史包等¶

4.2.1 调整桌面工具栏到下面，下重上轻的风格看起来比较稳重。也是xp时代传下的习惯。¶

XUbutnu18.04截图(Ubuntu)，这个版本别名”Bionic Beaver”仿生河狸¶

4.2.2 在桌面地板面板工具栏上，添加自定义显示比如网速，CPU，内存等。¶

添加网速提示器xfce4-netload-plugin，CPU内存提示器xfce4-systemload-plugin后的工具栏随时可获知负载网速这些计算机情况，用户体验比windows更赞！

4.2.3 安装谷歌拼音，文泉驿字体，调整系统字体大小等¶

Ubuntu18.04默认安装fcitx-sunpinyin也好用，用起来和googlepinyin差不多。所以……我还是选大款的好了。

sudo apt-get install fcitx-googlepinyin fonts-wqy*

4.2.4 安装以前安装过的软件¶

之前记录过旧系统安装的软件，现在按需安装回来。

apt-get install gedit gthumb tmux vim-gtk3 python-pip python3-pip ipython ipython3 iotop iftop sysstat nload iptraf virtualbox virtualbox-ext-pack gparted testdisk fcitx-googlepinyin smplayer vlc gpaint xpaint pinta pelican python-bs4 axel aria2 unzip apt-file gimp remmina retext potool curl geoip-bin phantomjs lynx vim-tiny  gnome-disk-utility sqlite3 python-mysqldb python-pymysql kazam  pitivi gsound-tools flowblade mp3splt-gtk mp3wrap mtp-tools  adb cmake

4.3 实现QQ截图功能，快捷键Ctrl+Alt+A框选截屏。(linux下用xfce-screenshooter变身QQ截图神器)¶

不需安装额外软件xfce-screenshooter是XUbuntu自带的，只需操作如下步骤：打开设置-> 键盘 -> 应用程序快捷键 -> 添加。然后命令框输入xfce4-screenshooter –region确认，再按住Ctrl+Alt+A，确认添加即可。

xfce4-screenshooter这软件很赞，不需安装QQ就能有很好的截图体验。某些时候，linux用户体验可以比windows好，需要使用者本身已经对linux比较上手。

5.0 安装Ubuntu18.04系统之后的问题解决¶

5.1 Ubuntu18.04启动shadowsocks报错解决¶

原因：openssl升级到1.1.0以上版本，导致shadowsocks启动报undefined symbol: EVP_CIPHER_CTX_cleanup错误

解决：将py文件中所有的EVP_CIPHER_CTX_cleanup改为EVP_CIPHER_CTX_reset

sudo vim /usr/local/lib/python2.7/dist-packages/shadowsocks/crypto/openssl.py  # 按实际路径改

5.2 Ubuntu18.04安装wps（解决报错error while loading shared libraries: libpng12.so.0)¶

第一步下载wps-office_10.1.0.5672~a21_amd64.deb, libpng12-0_1.2.54-1ubuntu1_amd64.deb, wps_symbol_fonts.zip（window字体非必须）文件备用。

第二步运行命令安装：

sudo dpkg -i wps-office_10.1.0.5672~a21_amd64.deb libpng12-0_1.2.54-1ubuntu1_amd64.deb

5.3 底部面板panel出现重复的网络图标解决¶

解决：设置 - 会话与启动 - 程序自启动 - 取消勾选network项。注销，再登录，重新勾选，注销，再登录。图标恢复只有一个。

6.0 安装Ubuntu18.04总结提升¶

升级过程比较有把握，遇到的问题都是典型缺so文件这些小问题，通过谷歌搜索就能解决。

某些时候，linux用户体验可以比windows好，需要使用者本身已经对linux比较上手。

我的Linux下的图像软件使用记录

2017-12-11T14:00:00+08:00

2017年末，为了做推广，接触了广告的几方面的知识。网上找模板，做背胶海报、彩色横幅、H5宣传、户外喷绘广告，感觉算是当了小半个广告人。

因为不想用windows系统，奢望linux下也能做平面广告，只是简单活，修改模板换文字，心想ubuntu就可以吧，毕竟已经2017年了。

然而最终结果是尝试许多方法后终于放弃了。放弃之后发现有好的X宝店，同时修改贴心服务，直达地址，然后我得救上岸了。

下面说说我用过的图像软件。

图像查看：ristretto 与 gthumb 与 gnuview¶

ristretto 是 xfce桌面默认图像浏览器，显示快，反应迅速。是第一个让满意的地一个图像软件。

gthumb 比起 ristretto 更胜一筹，gthumb在打开5兆以上的高清图片比ristretto快，而且有侧栏目录数，右面主题显示缩略图功能，点到哪里显示到哪里很方便。

gnuview 界面和gthumb差不多，但是没有gthumb体验好，软件闲置中

初级图像处理：pinta¶

pinta 是linux下的绘图工具，和windows下的画图有点像。能胜任简单的修改图片功能。

高级图像处理：gimp 和 krita 和 inkscape¶

gimp 是开源界的PS，抠图，通道，蒙板，印章等等PS功能齐备。唯一的诟病就是对CMYK支持太差。虽然可以按照sperate插件导出为CMYK色彩模式，但是不能打开CMYK模式文件。查阅中英文资料并不信邪两天后（比如先用ps转换成rbg模式打开失败），我放弃了。gimp可打开成功部分PS文件，但更多的时候让我不满意。所以不建议你这样做。

krita 是支持打开CMYK色彩模式的psd文件的软件，而且成功率比gimp高，缺点是使用中发现cpu和内存占用率似乎比gimp高很多。更建议用krita在linux下打开psd文件。

inkscape 对应linux下打开cdr文件的软件，但是由于CorelDRAW虽然号称是PS的补充但是老古董而且非常难用（xp下安装CorelDRAW弄了一天没成功，这个软件非常不好用），问了一位设计师后确认不再对这种cdr文件抱有幻想。

当然，最好方法还是安装虚拟机或者让客服帮你吧。

其他尝试¶

Linux安装wine1.8，然后能安装PS cs6绿色版本成功，但打开psd文件会崩溃。

设计素材、设计模板网站推荐¶

要用谷歌搜索，才能找到好的。

觅知网，千图网，包图网下载限制相对小，素材比较多。千库网虽然素材多，但对免费下载限制很强，同一个局域网的不同用户的总免费下载份额只有1个。

参考资料¶

超赞的 Linux 软件: https://alim0x.gitbooks.io/awesome-linux-software-zh_cn/content/#图形 15个最好的Linux照片/图像编辑器我发现在2015年: https://www.howtoing.com/best-image-photo-editors-for-linux

笔记本系统转换Linux一个半月——xubuntu14.04截图纪念里程碑

2014-07-05T23:30:00+08:00

前言¶

自学计算机技术，越到后面，越依赖ubuntu，以致于很多时候都是一开机就打开虚拟机上的ubuntu10.04，Linux已经变得越来越重要了。

操作¶

2014-04-17，ubuntu14.04(trusty)，长期支持版(LTS=long term support)，还记得那天也是我腾讯实行的2面。我知道等到时机了，果断装双系统！开始

用实验室那台ubuntu13.10直接升级，用了几个钟换来开机后一大堆的错误弹框，累觉不爱，说明直接升级是不行的，在此谨记！

很不喜欢ubuntu后面自己的桌面。拿实验室的继续重装ubuntu-gnome版，还能接受，但却有些太求炫不求实的感觉。

萌生转kubuntu，feroda, mint, centos等的想法，差点转了mint，唯一觉得debin->ubuntu->mint这样子的飘着很难让人放心，比如你相信一个人99%，但很难相信他的孙辈。

搜索良久，纠结良久，看到开源新闻消息说Linus受不了gnome3的卖炫而投向xfce阵型。我便也跟风转xubuntu，转完后大喜，因为超过我理想期望很多。

xubuntu14.04优点¶

一、Olivier Fourdan开发，一个运行在各类Unix下的轻量级桌面环境。

二、仿win风格的界面，对双系统的人很好

三、超省资源，开机后htop显示198M已用内存

四、32Linux内核系统识别了4G的3.97G，win7只识别2.95G，让我惊喜

xubuntu14.04截图¶

改成windows风格桌面很容易

更多截图http://www.douban.com/photos/album/132398060/

虚拟机系统正式转换——从windows到Linux-ubuntu新手

2013-07-10T16:29:00+08:00

记录大二下学期转换ubuntu10.04的一些系统折腾

版本选择：¶

经多次实验，Ubuntu个人认为长期支持（LTS）版才值得装。
VMware9中测试：Ubuntu10.04开机内存170M，Ubuntu12.04开机内存340M。
个人感觉Ubuntu12.04像win7华丽消耗大，Ubuntu10.04像XP，对程序员实在。
Ubuntu12.04的桌面切换真麻烦。

我最后选择了VMware9+Ubuntu10.04。

安装Linux-Ubuntu（VMware平台支持下）：¶

双系统形式：¶

wubi安装：不用分区，直接在某原分区建立文件来代表Ubuntu，应该是虚拟化技术。安全快捷，易卸载。

光盘安装：win7原来有4分区，安装Ubuntu后E盘少了7G，无其它变化，推测装在了E盘。

单系统：¶

安装后占3.6G左右，其中用于虚拟内存交换的空间2G，系统文件/bin/*等只占1G多。

安装过程的技巧：¶

安装过程所增加的用户只是桌面用户，非超级用户。安装后用sudo root passwd修改root密码。

计算机名和用户名最好3到6个字符就好了。

Ubuntu安装过程下载中文语言包时最好跳过，太慢了，装好后自己设置一个快的源，然后下载。

常用软件安装：¶

极点五笔，个人比较钟意。

Adobe Flash 为了网页（若安装gecko_mediaplayer，则不用）。

Mplayer 相传宇宙最强播放器（然后最好gecko_mediaplayer，SMPlayer一起装）。

wine 用于运行Windows程序。 aMule 电骡（官方中译），可选，个人测试不好。

build-essential 程序依赖库。

g++,nasm,emacs,open-ssh,vnc……

gvim

就我而言，我更喜欢gvim，即使用了3个月emacs了，但是还是义无反顾地转成vim党了。

gvim是编辑器之神，emacs是神一样的编辑器。前句强调gvim始终是一个编辑器，后句说明emacs可以做远超编辑器的事。

使用－习惯：¶

Ubuntu12.04开机都会打开终端（Terminal）,在第二桌面。比较喜欢linux的多虚拟桌面功能。

firefox总是在第三桌面打开，影音在第四桌面。

将常打开的程序放在面板上。

终端：¶

输入密码不以星号表示，无显示，惯了就好。桌面窗口环境则由星号表示。

最常用的键：Tab；方向上；Ctrl+C；补全，重复历史，强制终止。

最常用命令：ls；cat；history ；

最好用的符号：|；<；>；

Ctrl＋A/D/L/R：到行首/行尾/清屏/查找命令历史

Win7/Linux字符编码问题：¶

Win7/Linux编码差异：¶

win7的多字符实现：GBK，2字节；Unicode：unicode16，2字节。Linux的多字符实现：utf8，1-6字节；Unicode：unicode32，4字节。

换行符问题：¶

win7换行＝\r\n 而Linux换行＝\n；所以Linux文本在win7下用记事本打开都是一行的。转换很简单用fromdos / todos 命令就行。

win7下保存的文本文件复制到Linux下后，中文变成乱码。

＝＝＝〉win7的字符是GBK，Linux的字符是UTF8，utf8在win7可以正常显示，所以建议用iconv命令转成UTF8，而不是将Linux默认的编码变成GBK来适应。

win7下保存的文本文件到Linux下后，双击提示运行。

＝＝＝〉方法：chmod a-x ；或者先在win7打包成zip文件，再复制，再解压，就可以彻底解决。这是个目前最好的通用方法。

感受¶

至今已经输入2000个命令。不知不觉习惯中。

* | more # 分屏显示

iconv -f gbk -t utf8 sample_config.txt | fromdos > ../release/sample_config

cat -n ~/.bash_history | todos > _bash_history2013-07-10.txt

JNU 2013-07-10 16:41:51 今天考完《Linux/Unix使用》。