标签：: PYTHON

2019
0

一个比较完整的Scrapy爬虫

1.目标：爬取新浪财经新闻——国际财经——亚洲动态栏目下的全部新闻内容2.技术：选用Scrapy框架完成工作3.具体实现：1).创建项目，创建爬虫。（不会的自行百度）2).修改settings.py文件，修改设置，主要包括：启用并修改USER_AGENT，设置LOG日志级别为WARNING，启用DOWNLOAD_DELAY，启用pipelines 3).编写items 4).开始编写爬虫内容，具体

0

一次失败的爬虫程序

前几天在编制一个新闻展示程序的时候，突发奇想的想把那个新闻网站的内容爬到本地，于是就开始动手，通过scrapy来完成这项工作。源端网站是一个json格式返回的信息，按照道理说非常简单，只需要通过类似如下的代码就可以逐项解析，并保存到数据了1234567891011class Cm163Spider(scrapy.Spider): name = 'cm163' all

0

Django缓存系统

最近在学习Django2的缓存系统，对于缓存系统有了一定的认识，也在做例子的时候用到了这方面的知识，偷个懒，直接网页截图了，:)

0

Anaconda常用的简单命令

Anaconda常用的简单命令conda info -e 查看当前虚拟环境conda create python36 创建了python36的虚拟环境activate python36 激活python36的虚拟环境conda list 查看已经安装的包conda install package_name 安装一些包，其中package_name为包的名字conda remove package

0

xpath语法

1.选取节点“/” 如果是在最前面，代表从根节点选取，否则选择某节点下的某个节点.只查询子一辈的节点123/html 查询到一个结果/div 查询到0个结果，因为根节点以下只有一个html子节点/html/body 查询到1个结果 “//” 查询所有子孙节点12//head/script//div “.” 选取当前节点“..” 选取当前节点的父节点“@” 选取属性1

0

20190819-Scrapy学习-爬取基金基本信息和Logging使用

本次以爬取基金的编码、名称、净值和净值日期做为爬取目标（暂不涉及翻页），目标网址是：http://fund.eastmoney.com/trade/hh.html?spm=001.1.swh#zwf_,sc_1n,st_desc，同时对Logging模块的使用进行初步学习，学习记录如下1、创建工程dfcf，scrapy startproject dfcf2、创建爬虫getfund，scrapy g

0

Django2使用XAdmin管理后台内容

Django2使用XAdmin管理后台内容基本步骤和用django自带的admin差不多，也是通过类似于admin.sites.regitser方法来实现，具体分为以下几步：1、首先要实现django2与xadmin的集成，这个看之前的笔记2、在app的目录下，建立adminx.py文件，然后注册，本次学习的代码如下： 以上的代码，比较好理解，只是使用xadmin管理后台页面，一定要有list_d

0

Django2动态渲染页面学习

Django2动态渲染页面学习1、Django2动态渲染页面学习 本次学习使用sqlite3数据库，因此不需要修改settings.py文件的数据连接配置。然后进行数据库创建，使用命令：python manage.py makemigrations和python manage.py migrate即可，不过在执行上述命令的使用碰到了一个问题，就是num_count字段始终提示缺少缺省值之类的错误，

0

Django2初步使用-静态文件加载-20190801

Django2初步使用-静态文件加载1、在django project中创建 static文件夹，需要在工程的根目录自己创建static文件夹2、在工程的settings.py中配置，如下图所示： 3、前端引入，例如index.html文件，如下图所示： 4、完成以上几步以后，在views.py里面就可以用render方法进行渲染，配置好urls路径后就可以正常显示。最后感谢简书作者文章，附上链接

0

XAdmin与Django2集成体会

XAdmin与Django集成体会xadmin是比较符合国人习惯的一个后台管理的界面，在与django2集成的时候还是碰到了很多问题，不过后来都解决，现在简单列一下： 1、安装：网上这方面的文档比较多，比较靠谱的还是github上作者自己写的安装方法：pip install:https://codeload.github.com/sshwsfc/xadmin/zip/django2。 附上作者的g