微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Android爬取网页JSON数据详细教程【新手向】

分类：Android作者：编程之家AI导航网

 

这几天做一个Android获取Json的任务，发现Jsoup只能获取静态页面，无法获取动态页面的Json数据。

有同学给我更正：Jsoup可以爬取动态页面，但必须要加请求头(data)，以下为正确例子：

String url = "你的网页接口";
Map data = Maps.newHashMap();
data.put("countryCode", "+86");
data.put("mobile", mobile);
data.put("password", "f20332f07cdaab9ec0472655a83438d4");
data.put("invitionCode", "PU9HFMNMZ2FL");
data.put("validateCode", codeCallable);
data.put("geetest_challenge", challenge);
data.put("geetest_validate", validate);
data.put("geetest_seccode", validate + "|jordan");
String json = JSON.toJSONString(data);
Connection.Response response = Jsoup.connect(url).ignoreContentType(true).data(data).requestBody(json)
.header("Accept", "application/json, text/plain, */*")
.header("Content-Type", "application/json;charset=UTF-8")
.method(Connection.Method.POST).timeout(70000).execute();
System.out.println(response.body());

 

我换了一个思路，用是阿里巴巴alibaba:fastjson第三方包获取json数据，并可以直接转为为实体类，

几行代码就可以解决。代码编写的效率非常高，不得不称赞马爸爸牛逼。

 

我们先在Gradle Scripts下找到build.gradle(Modele:app)的build.gradle下加入这一行代码

    implementation 'com.alibaba:fastjson:1.2.10'

导入第三方库就完成了。

 

爬取的网页：https://www.6tennis.com/schedule

爬取第三方库的方法很简单，先打开你要爬取得网页，打开你的谷歌浏览器，按F12进入开发者调试模式

然后刷新一下网页页面，就会显示这个网页嗅探到的一些文件，只需要单击小放大镜，然后输入你需要搜索的数据（可以是JSON里面的数据或者文件名）

 

单击上图第三步骤，就会发现右手方框框里出现一系列的JSON数据。

{"code":"200","message":"\u8bf7\u6c42\u6210\u529f","data":{"total":69,"list":[{"id":8,"game_name":"ATP Cup","is_grandslm":0,"game_level":"750","ground_name":"\u786c

\u5730","match_time":"01.03-01.12"},{"id":13,"game_name":"\u5361\u5854\u5c14\u516c\u5f00\u8d5b","is_grandslm":0,"game_level":"250","ground_name":"\u786c

\u5730","match_time":"01.06-01.11"},{"id":9,"game_name":"\u963f\u5fb7\u83b1\u5fb7\u56fd\u9645\u8d5b","is_grandslm":0,"game_level":"250","ground_name":"\u786c

\u5730","match_time":"01.12-01.18"},{"id":15,"game_name":"\u5965\u514b\u5170\u559c\u529b\u516c\u5f00\u8d5b","is_grandslm":0,"game_level":"250","ground_name":"\u786c

\u5730","match_time":"01.13-01.18"},{"id":16,"game_name":"\u6fb3\u5927\u5229\u4e9a\u7f51\u7403\u516c

\u5f00\u8d5b","is_grandslm":1,"game_level":"2000","ground_name":"\u786c\u5730","match_time":"01.20-02.03"}]}}

 现在我们理清一下思路，

一、首先我们要通过代码从android端通过get或者post方式访问网页，并获取网页的内容

二、获取到网页的内容以后要对Json数据进行分析，并把格式转换为我们相应的JSON格式

三、获取到JSON后转换我们对应的实体类，并存在Arraylist实体表里。

四、我们再把Arraylist实体表里的Json数据循环输入到前台的不同的TextView里，然后把TextView添加前台UI

以上思路基本都在后面的代码MainActivity.class的doInBackground和getView方法里实现

 

三步骤为什么要用实体类？

新手应该很觉得懵逼，相信学java的朋友都应该清楚，实体类是一个抽象的概念。

举个栗子：我们假设篮球   形状：圆的  长:30厘米  颜色:棕色，

那么这里的篮球就是实体，形状、长度、颜色就是属性，圆、30厘米、棕色就是篮球对应的属性值

那么实体类又是什么，返回来看我们上面的例子，篮球就是实体，篮球类就是篮球这个种类，

拥有篮球类的三个属性不一定属于篮球，因为他有可能是足球。

但是篮球一定属于篮球类。有趣的哲学概念。

 

我们再来看看JSON数据的实体类代码：

News.class

public class News {
    private int id;//编号
    private String game_name;//赛事名称
    private int is_grandslm;
    private String game_level;//赛事级别
    private String ground_name;//场地名
    private String match_time;
    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getGame_name() {
        return game_name;
    }

    public void setGame_name(String game_name) {
        this.game_name = game_name;
    }

    public int getIs_grandslm() {
        return is_grandslm;
    }

    public void setIs_grandslm(int is_grandslm) {
        this.is_grandslm = is_grandslm;
    }

    public String getGame_level() {
        return game_level;
    }

    public void setGame_level(String game_level) {
        this.game_level = game_level;
    }

    public String getGround_name() {
        return ground_name;
    }

    public void setGround_name(String ground_name) {
        this.ground_name = ground_name;
    }

    public String getMatch_time() {
        return match_time;
    }

    public void setMatch_time(String match_time) {
        this.match_time = match_time;
    }
}

细心观察，我们取出一条JSON数据的内容和实体类的属性是一一对应的。

{"id":8,"game_name":"ATP Cup","is_grandslm":0,"game_level":"750","ground_name":"\u786c

\u5730","match_time":"01.03-01.12"}

另外实体类一般都需要有get、set方法，方便获取或传递实体类的属性值。

 

代码都有注释，直接上代码，

MainActivity.java实现代码：

package com.example.tennisdatas;

import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.util.Log;
import android.view.View;
import android.view.ViewGroup;
import android.widget.BaseAdapter;
import android.widget.LinearLayout;
import android.widget.ListView;
import android.widget.TextView;
import androidx.appcompat.app.AppCompatActivity;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

public class MainActivity extends AppCompatActivity {

    private ListView Lv_main_list;
    private List<News> NewsList = new ArrayList<News>();
    private ProgressDialog progressDialog;
    private MyAdapter myAdapter;


    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        Lv_main_list =(ListView) findViewById(R.id.Lv_main_list);
        //实例化进度条对话框
        progressDialog = new ProgressDialog(this);
        progressDialog.setMessage("亲，正在玩命加载中哦！");
        ////实例化适配器
        myAdapter = new MyAdapter();
        Lv_main_list.setAdapter(myAdapter);
    }



    //适配器
    class MyAdapter extends BaseAdapter {

        @Override
        public int getCount() {
            return NewsList.size();
        }

        @Override
        public Object getItem(int i) {
            return NewsList.get(i);
        }

        @Override
        public long getItemId(int i) {
            return i;
        }

        //添加JSON数据对应出来的TextView，显示到主界面，非主要代码
        @Override
        public View getView(int i, View view, ViewGroup viewGroup) {
            LinearLayout layout = new LinearLayout(MainActivity.this);
            layout.setorientation(LinearLayout.VERTICAL);
            TextView textViewID = new TextView(MainActivity.this);
            textViewID.setText(NewsList.get(i).getId()+"\t"+" ");
            TextView textViewGameName = new TextView(MainActivity.this);
            textViewGameName.setText(NewsList.get(i).getGame_name()+"\t");
            TextView textViewIs_grandslm= new TextView(MainActivity.this);
            textViewIs_grandslm.setText(NewsList.get(i).getIs_grandslm()+"\t");
            TextView textViewGame_level = new TextView(MainActivity.this);
            textViewGame_level.setText(NewsList.get(i).getGame_level()+"\t");
            TextView textViewGround_name = new TextView(MainActivity.this);
            textViewGround_name.setText(NewsList.get(i).getGround_name()+"\t");
            TextView textViewMatch_time= new TextView(MainActivity.this);
            textViewMatch_time.setText(NewsList.get(i).getMatch_time()+"\t");
            layout.addView(textViewID);
            layout.addView(textViewGameName);
            layout.addView(textViewIs_grandslm);
            layout.addView(textViewGame_level);
            layout.addView(textViewGround_name);
            layout.addView(textViewMatch_time);

            return layout;
        }
    }


    //获取xml数据
    public void getJson(View view){
        new MyTask().execute();
    }
    //通过异步任务类获取数据
    class MyTask extends AsyncTask {
        private  News jsonTeacherEntity;
        //准备执行
        @Override
        protected void onPreExecute() {
            super.onPreExecute();
            progressDialog.show();
        }

        @Override
        protected Object doInBackground(Object[] objects) {
            //首先我们要通过代码从android端通过get或者post方式访问网页，并获取网页的内容
            //path为获取JSON数据的接口
            String path="https://www.6tennis.com/api/getScheduleList";
            try {
                URL url = new URL(path);
                //获取连接对象
                HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
                //设置请求方式
                httpURLConnection.setRequestMethod("POST");
                //设置连接超时
                httpURLConnection.setConnectTimeout(5000);
                //获取响应码
                int code = httpURLConnection.getResponseCode();

                if (code==200)
                {
                    //响应成功,获取服务器返回过来的数据
                    final InputStream is = httpURLConnection.getInputStream();
                    //测试数据
                    StringBuffer stringBuffer = new StringBuffer();
                    String str=null;
                    BufferedReader br = new BufferedReader(new InputStreamReader(is));
                    while ((str=br.readLine())!=null){
                        stringBuffer.append(str);

                    }

                    //使用fastJson解析Json
                    Log.e("Json数据", "Json数据: "+stringBuffer.toString() );
                    /* 
                        因为JSON数据里有一些我们不需要的属性，我们需要把
                       需要的Json数据提取出来，这里我写得比较复杂，方便学习
                                */
                    String NewsData = stringBuffer.toString();
                    JSONObject jb = JSON.parSEObject(NewsData);
                    String Newsdata2 = jb.getString("data");
                    JSONObject jb1 = JSON.parSEObject(Newsdata2);
                    String Newsdata3 = jb1.getString("list");
                    Log.e("Newsdata3", "Newsdata3"+Newsdata3);
                    List<News> DNews = JSON.parseArray(Newsdata3, News.class);

                    for (News TT:DNews)
                    {
                        jsonTeacherEntity = new News();
                        int id = TT.getId();
                        String game_name = TT.getGame_name();
                        int is_grandslm = TT.getIs_grandslm();
                        String game_level = TT.getGame_level();
                        String ground_name = TT.getGround_name();
                        String match_time = TT.getMatch_time();
                        jsonTeacherEntity.setId(id);
                        jsonTeacherEntity.setGame_name(game_name);
                        jsonTeacherEntity.setGame_level(game_level);
                        jsonTeacherEntity.setIs_grandslm(is_grandslm);
                        jsonTeacherEntity.setGround_name(ground_name);
                        jsonTeacherEntity.setMatch_time(match_time);
                        NewsList.add(jsonTeacherEntity);
                    }
                }
            } catch (MalformedURLException e) {
                e.printstacktrace();
            } catch (IOException e) {
                e.printstacktrace();
            }
            return null;
        }
        @Override
        protected void onPostExecute(Object o) {
            super.onPostExecute(o);
            //通知适配器发生改变
            myAdapter.notifyDataSetChanged();
            //取消进度条对话框
            progressDialog.cancel();
        }

    }

}

主界面UI代码：activity_main.xml

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:orientation="vertical"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    >
    <Button
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="刷新"
        android:gravity="center"
        android:layout_gravity="center"
        android:onClick="getJson"
        />
    <ListView
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_marginTop="10dp"
        android:orientation="vertical"
        android:id="@+id/Lv_main_list"
        >
    </ListView>
</LinearLayout>

代码直接复制上去，调试下，直接就可以运行。

 

运行截图：

作者运行环境：android studio 3.5.3 

 

Android的坑太大了，跳进去一定要多百度，多阅读代码，把代码都消化才有进步。 

 

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Android 性能优化——之控件的优化
Android性能优化——之控件的优化 前面讲了图像的优化，接下来分享一下控件的性能优化，这里主要是面向自定义View的优化。 1、首先先说一下我们在自定义View中可能会犯的3个错误： 1）UselesscallstoonDraw()：我们知道调用View.invalidate()会触发Vi...
android TextView描边
前言 上一篇已经讲了如何实现textView中粗字体效果，里面主要重写了onDraw方法。 这一边讲一个进阶功能，实现textView的描边效果。 上效果图。 上代码： 原理讲解： 效果实现思路是：因为系统api只给paint设置strokewidth方法，却没有提供设置描边的色值的方法，而且我们通
GreenDao教程1
最近项目重构，涉及到了数据库和文件下载，发现GreenDao这个框架还是不错的。直接面向对象的，可以通过对对象的操作，实现数据的存储。 但是官网上的API是在不敢恭维，文档写的很糙，看了半天，才搞懂一系列的流程。在此进行一下纪念。免得那天需要修改的时候，一脸懵逼。直接上干货 官网地址：http://
WebView加载页面的两种方式——网络页面和本地页面
WebView加载页面的两种方式 一、加载网络页面 加载网络页面，是最简单的一种方式，只需要传入http的URL就可以，实现WebView加载网络页面 代码如下图： 二、加载本地页面 1、加载assets目录下的HTML页面： 加载assets目录的页面，大多数可以用来做页面数据的存储打包，这样可以
Android 全局使用第三方字体
给APP全局设置字体主要分为两个方面来介绍 一、给原生界面设置第三方字体 1、准备工作-下载第三方字体：传送门 将文件放入工程assets目录下。（一般个人习惯单独命名一个文件夹放字体文件，也可直接放入根目录，但记得改引用路径） 2、代码实现 a、自定义application，将第三方的字体，替换当
Android中粗字体
前言 最近UI大牛出了一版新的效果图，按照IOS的效果做的，页面里面有普通字体、中粗字体、加粗字体。对于IOS的小伙伴，分分钟搞定，但是对于Android开发的我，瞬间懵逼了。WTF！ 安卓只有粗和不粗呀，哪有中粗这回事。硬着头皮做出来一版之后，看到UI嫌弃的表情。深深的刺痛了我的完美心。说啥也要搞
TabLayout基本使用
前言 Tablayout继承自HorizontalScrollView，可以用作顶部标签效果、底部导航栏效果。一般多与ViewPager一起使用。 想直接了解如何实现短下滑效果的请看：TabLayout的高级用法 首先上几个效果图。 图： 使用方法 下面我们来看如何使用， 第一步，先在gradle引
AndroidStudio 各种异常情况处理大法
最近使用AndroidStudio出现了.java文件，显示为xml文件等问题，通过各种采坑之后，发现删除本地的缓存文件这个方法最管用，差不多可以根治95%的莫名其妙的问题。解决办法如下； 先将AS关闭，然后找到你电脑的目录C:\Users\用户名\.AndroidStudio3.5\system\
Android文件各种存储路径的比较
1、File cacheDir = context.getCacheDir(); 应用内部存储空间（数据文件私有）文件存储到这个路径下，不需要申请权限，当应用被卸载的时候，目录下的文件会被删除。 需要注意的是，这个文件的目录和应用的存储位置有关， 当应用被移动到外部存储设备的时候，文件的绝对路径也是
汉诺塔问题
汉诺塔问题 最近面试题遇到过汉诺塔的问题，当时竟然懵逼了，不会了！！大学研究的问题竟然都忘光了，于是抓紧捡起来。然而在网上看了看博客，发现非递归算法还真挺多。下面总结了一下。 一、递归算法 1、递归算法优缺点：递归算法算是最易于理解也是最容易实现的，但是对内存的消耗也是巨大的，因为递归需要系统堆栈来
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native