Post
Topic
Board Meta
Merits 1 from 1 user
Re: Time Series Analysis on Distributed Merits in the forum (daily, weekly, monthly)
by
tranthidung
on 20/01/2019, 04:10:33 UTC
⭐ Merited by Juggy777 (1)
Update:


ABSTRACT
Notes:
- The asbstract describes figures of intraday merits over the period from 19/2/2018 to 14/01/2019 (truncated dataset);
- Days from 24/1/2018 to 18/2/2018 truncated due to highly potential outliers; and days after 14/01/2019 truncated as well due to incomplete week (the third week of 2019 -2019w3);
- Statistics presented in the post are for truncated dataset.

(1) Potential outliers are days that have intraday total merits beyond 123 or 1163;
(2) Median of intraday merits over the period is 619, whilst the interquartile range is from 513 to 773;
(3) Friday is the day over weeks has lowest intraday merits in terms of both median and mean, at 542, and 617, respectively.
In contrast, Monday is the day over weeks has highest intraday merits in terms of both median and mean, at 748 and 657, respectively.




1) Time series plot
I used full dataset (only dropped the first two days due to extremely high merits distributed during those days), since 24/1/2018 to 14/1/2019 to draw the below plot

2) Basic statistics
- Mean +/- sd:  846 +/- 901
- Median (interquartile range): 637 (519 - 845)
- Min - max: 312 - 2463.

Let's compared with statistics for the previous report.

From the full dataset, we can easily identify potential outliers via the following formula:
IQR = Q3 – Q1 = 845 - 519 = 326;
1.5*IQR = 1.5*326 = 489
Potential outliers:
-   Above Q3 +1.5*IQR = 845 + 489 = 1334
-   Below Q1 – 1.5*IQR = 519 – 489 = 30
Let's see how many days that have total intraday merits beyond 30 or 1334?
Code:
. count if merit > 1334 | merit < 30 & merit != .
  31
In total, 31 days are extremely potential outliers, and none of them occured recent weeks (only days before 18/9/2018).
Code:
. list id date merit if merit > 1334 | merit < 30 & merit != .

     +-------------------------+
     |  id        date   merit |
     |-------------------------|
  1. |   1   24jan2018   13018 |
  2. |   2   25jan2018    6761 |
  3. |   3   26jan2018    4493 |
  4. |   4   27jan2018    3489 |
  5. |   5   28jan2018    3188 |
     |-------------------------|
  6. |   6   29jan2018    3799 |
  7. |   7   30jan2018    4192 |
  8. |   8   31jan2018    2820 |
  9. |   9   01feb2018    2545 |
 10. |  10   02feb2018    2568 |
     |-------------------------|
 11. |  11   03feb2018    1867 |
 12. |  12   04feb2018    2167 |
 13. |  13   05feb2018    2077 |
 14. |  14   06feb2018    2308 |
 15. |  15   07feb2018    2141 |
     |-------------------------|
 16. |  16   08feb2018    2141 |
 17. |  17   09feb2018    1448 |
 18. |  18   10feb2018    1747 |
 19. |  19   11feb2018    1442 |
 21. |  21   13feb2018    1579 |
     |-------------------------|
 22. |  22   14feb2018    2513 |
 23. |  23   15feb2018    1991 |
 24. |  24   16feb2018    1411 |
 25. |  25   17feb2018    1608 |
 27. |  27   19feb2018    1403 |
     |-------------------------|
 32. |  32   24feb2018    1409 |
 34. |  34   26feb2018    1382 |
 38. |  38   02mar2018    1696 |
 48. |  48   12mar2018    1354 |
236. | 236   16sep2018    2463 |
     |-------------------------|
237. | 237   17sep2018    1862 |
     +-------------------------+

Let's identify potential outliers of the truncated dataset (from 19/2/2018 to 14/1/2019):
IQR = Q3 – Q1 = 773 – 513 = 260;
1.5*IQR = 1.5*260  = 390
Potential outliers:
-   Above Q3 +1.5*IQR = 773 + 390 = 1163
-   Below Q1 – 1.5*IQR = 513 - 390 = 123
Potential outliers are days that have intraday merits beyond 123 or 1163.
Let's see how many days that have total intraday merits beyond 123 or 1163 ?
Code:
. count if (merit >= 1163 | merit <= 123) & merit != . & id >26
  19
19 outliers in total, and there is no potential outlier day happened in early weeks of 2019.
Code:
. list id date merit if (merit >= 1163 | merit <= 123) & merit != . & id >26

     +-------------------------+
     |  id        date   merit |
     |-------------------------|
 27. |  27   19feb2018    1403 |
 28. |  28   20feb2018    1169 |
 29. |  29   21feb2018    1266 |
 30. |  30   22feb2018    1279 |
 32. |  32   24feb2018    1409 |
     |-------------------------|
 33. |  33   25feb2018    1186 |
 34. |  34   26feb2018    1382 |
 35. |  35   27feb2018    1326 |
 37. |  37   01mar2018    1333 |
 38. |  38   02mar2018    1696 |
     |-------------------------|
 41. |  41   05mar2018    1245 |
 48. |  48   12mar2018    1354 |
 56. |  56   20mar2018    1322 |
 57. |  57   21mar2018    1227 |
 68. |  68   01apr2018    1233 |
     |-------------------------|
236. | 236   16sep2018    2463 |
237. | 237   17sep2018    1862 |
238. | 238   18sep2018    1294 |
239. | 239   19sep2018    1268 |
     +-------------------------+

2) The 50 lowest day in terms of daily merits
Code:
. list merit id date dofw day month2 year week month

     +-------------------------------------------------------------------------------+
     | merit    id        date        dofw   day   month2   year      week     month |
     |-------------------------------------------------------------------------------|
  1. |   312   335   24dec2018      Monday    24       12   2018   2018w52   2018m12 |
  2. |   316   333   22dec2018    Saturday    22       12   2018   2018w51   2018m12 |
  3. |   325   340   29dec2018    Saturday    29       12   2018   2018w52   2018m12 |
  4. |   347   338   27dec2018    Thursday    27       12   2018   2018w52   2018m12 |
  5. |   347   298   17nov2018    Saturday    17       11   2018   2018w46   2018m11 |
     |-------------------------------------------------------------------------------|
  6. |   348   304   23nov2018      Friday    23       11   2018   2018w47   2018m11 |
  7. |   370   122   25may2018      Friday    25        5   2018   2018w21    2018m5 |
  8. |   376   191   02aug2018    Thursday     2        8   2018   2018w31    2018m8 |
  9. |   376   342   31dec2018      Monday    31       12   2018   2018w52   2018m12 |
 10. |   377   326   15dec2018    Saturday    15       12   2018   2018w50   2018m12 |
     |-------------------------------------------------------------------------------|
 11. |   379   220   31aug2018      Friday    31        8   2018   2018w35    2018m8 |
 12. |   383   217   28aug2018     Tuesday    28        8   2018   2018w35    2018m8 |
 13. |   385   214   25aug2018    Saturday    25        8   2018   2018w34    2018m8 |
 14. |   386   339   28dec2018      Friday    28       12   2018   2018w52   2018m12 |
 15. |   389   341   30dec2018      Sunday    30       12   2018   2018w52   2018m12 |
     |-------------------------------------------------------------------------------|
 16. |   394   345   03jan2019    Thursday     3        1   2019    2019w1    2019m1 |
 17. |   395   228   08sep2018    Saturday     8        9   2018   2018w36    2018m9 |
 18. |   397   320   09dec2018      Sunday     9       12   2018   2018w49   2018m12 |
 19. |   399   262   12oct2018      Friday    12       10   2018   2018w41   2018m10 |
 20. |   402   329   18dec2018     Tuesday    18       12   2018   2018w51   2018m12 |
     |-------------------------------------------------------------------------------|
 21. |   405   287   06nov2018     Tuesday     6       11   2018   2018w45   2018m11 |
 22. |   412   222   02sep2018      Sunday     2        9   2018   2018w35    2018m9 |
 23. |   415   278   28oct2018      Sunday    28       10   2018   2018w43   2018m10 |
 24. |   415   109   12may2018    Saturday    12        5   2018   2018w19    2018m5 |
 25. |   418   186   28jul2018    Saturday    28        7   2018   2018w30    2018m7 |
     |-------------------------------------------------------------------------------|
 26. |   420   187   29jul2018      Sunday    29        7   2018   2018w30    2018m7 |
 27. |   421   192   03aug2018      Friday     3        8   2018   2018w31    2018m8 |
 28. |   422   140   12jun2018     Tuesday    12        6   2018   2018w24    2018m6 |
 29. |   424   313   02dec2018      Sunday     2       12   2018   2018w48   2018m12 |
 30. |   424   276   26oct2018      Friday    26       10   2018   2018w43   2018m10 |
     |-------------------------------------------------------------------------------|
 31. |   426   277   27oct2018    Saturday    27       10   2018   2018w43   2018m10 |
 32. |   430   284   03nov2018    Saturday     3       11   2018   2018w44   2018m11 |
 33. |   430   264   14oct2018      Sunday    14       10   2018   2018w41   2018m10 |
 34. |   432   221   01sep2018    Saturday     1        9   2018   2018w35    2018m9 |
 35. |   432   208   19aug2018      Sunday    19        8   2018   2018w33    2018m8 |
     |-------------------------------------------------------------------------------|
 36. |   433   282   01nov2018    Thursday     1       11   2018   2018w44   2018m11 |
 37. |   435   154   26jun2018     Tuesday    26        6   2018   2018w26    2018m6 |
 38. |   435   190   01aug2018   Wednesday     1        8   2018   2018w31    2018m8 |
 39. |   444   182   24jul2018     Tuesday    24        7   2018   2018w30    2018m7 |
 40. |   445   143   15jun2018      Friday    15        6   2018   2018w24    2018m6 |
     |-------------------------------------------------------------------------------|
 41. |   451   206   17aug2018      Friday    17        8   2018   2018w33    2018m8 |
 42. |   454   283   02nov2018      Friday     2       11   2018   2018w44   2018m11 |
 43. |   455   167   09jul2018      Monday     9        7   2018   2018w28    2018m7 |
 44. |   455   229   09sep2018      Sunday     9        9   2018   2018w36    2018m9 |
 45. |   457   216   27aug2018      Monday    27        8   2018   2018w35    2018m8 |
     |-------------------------------------------------------------------------------|
 46. |   458   324   13dec2018    Thursday    13       12   2018   2018w50   2018m12 |
 47. |   458   227   07sep2018      Friday     7        9   2018   2018w36    2018m9 |
 48. |   460   263   13oct2018    Saturday    13       10   2018   2018w41   2018m10 |
 49. |   461   130   02jun2018    Saturday     2        6   2018   2018w22    2018m6 |
 50. |   462   306   25nov2018      Sunday    25       11   2018   2018w47   2018m11 |
     |-------------------------------------------------------------------------------|

3) The 50 highest day in terms of daily merits
Code:
. list merit id date dofw day month2 year week month

     +-------------------------------------------------------------------------------+
     | merit    id        date        dofw   day   month2   year      week     month |
     |-------------------------------------------------------------------------------|
  1. | 13018     1   24jan2018   Wednesday    24        1   2018    2018w4    2018m1 |
  2. |  6761     2   25jan2018    Thursday    25        1   2018    2018w4    2018m1 |
  3. |  4493     3   26jan2018      Friday    26        1   2018    2018w4    2018m1 |
  4. |  4192     7   30jan2018     Tuesday    30        1   2018    2018w5    2018m1 |
  5. |  3799     6   29jan2018      Monday    29        1   2018    2018w5    2018m1 |
     |-------------------------------------------------------------------------------|
  6. |  3489     4   27jan2018    Saturday    27        1   2018    2018w4    2018m1 |
  7. |  3188     5   28jan2018      Sunday    28        1   2018    2018w4    2018m1 |
  8. |  2820     8   31jan2018   Wednesday    31        1   2018    2018w5    2018m1 |
  9. |  2568    10   02feb2018      Friday     2        2   2018    2018w5    2018m2 |
 10. |  2545     9   01feb2018    Thursday     1        2   2018    2018w5    2018m2 |
     |-------------------------------------------------------------------------------|
 11. |  2513    22   14feb2018   Wednesday    14        2   2018    2018w7    2018m2 |
 12. |  2463   236   16sep2018      Sunday    16        9   2018   2018w37    2018m9 |
 13. |  2308    14   06feb2018     Tuesday     6        2   2018    2018w6    2018m2 |
 14. |  2167    12   04feb2018      Sunday     4        2   2018    2018w5    2018m2 |
 15. |  2141    16   08feb2018    Thursday     8        2   2018    2018w6    2018m2 |
     |-------------------------------------------------------------------------------|
 16. |  2141    15   07feb2018   Wednesday     7        2   2018    2018w6    2018m2 |
 17. |  2077    13   05feb2018      Monday     5        2   2018    2018w6    2018m2 |
 18. |  1991    23   15feb2018    Thursday    15        2   2018    2018w7    2018m2 |
 19. |  1867    11   03feb2018    Saturday     3        2   2018    2018w5    2018m2 |
 20. |  1862   237   17sep2018      Monday    17        9   2018   2018w38    2018m9 |
     |-------------------------------------------------------------------------------|
 21. |  1747    18   10feb2018    Saturday    10        2   2018    2018w6    2018m2 |
 22. |  1696    38   02mar2018      Friday     2        3   2018    2018w9    2018m3 |
 23. |  1608    25   17feb2018    Saturday    17        2   2018    2018w7    2018m2 |
 24. |  1579    21   13feb2018     Tuesday    13        2   2018    2018w7    2018m2 |
 25. |  1448    17   09feb2018      Friday     9        2   2018    2018w6    2018m2 |
     |-------------------------------------------------------------------------------|
 26. |  1442    19   11feb2018      Sunday    11        2   2018    2018w6    2018m2 |
 27. |  1411    24   16feb2018      Friday    16        2   2018    2018w7    2018m2 |
 28. |  1409    32   24feb2018    Saturday    24        2   2018    2018w8    2018m2 |
 29. |  1403    27   19feb2018      Monday    19        2   2018    2018w8    2018m2 |
 30. |  1382    34   26feb2018      Monday    26        2   2018    2018w9    2018m2 |
     |-------------------------------------------------------------------------------|
 31. |  1354    48   12mar2018      Monday    12        3   2018   2018w11    2018m3 |
 32. |  1333    37   01mar2018    Thursday     1        3   2018    2018w9    2018m3 |
 33. |  1331    20   12feb2018      Monday    12        2   2018    2018w7    2018m2 |
 34. |  1326    35   27feb2018     Tuesday    27        2   2018    2018w9    2018m2 |
 35. |  1322    56   20mar2018     Tuesday    20        3   2018   2018w12    2018m3 |
     |-------------------------------------------------------------------------------|
 36. |  1294   238   18sep2018     Tuesday    18        9   2018   2018w38    2018m9 |
 37. |  1289    26   18feb2018      Sunday    18        2   2018    2018w7    2018m2 |
 38. |  1279    30   22feb2018    Thursday    22        2   2018    2018w8    2018m2 |
 39. |  1268   239   19sep2018   Wednesday    19        9   2018   2018w38    2018m9 |
 40. |  1266    29   21feb2018   Wednesday    21        2   2018    2018w8    2018m2 |
     |-------------------------------------------------------------------------------|
 41. |  1245    41   05mar2018      Monday     5        3   2018   2018w10    2018m3 |
 42. |  1233    68   01apr2018      Sunday     1        4   2018   2018w13    2018m4 |
 43. |  1227    57   21mar2018   Wednesday    21        3   2018   2018w12    2018m3 |
 44. |  1186    33   25feb2018      Sunday    25        2   2018    2018w8    2018m2 |
 45. |  1169    28   20feb2018     Tuesday    20        2   2018    2018w8    2018m2 |
     |-------------------------------------------------------------------------------|
 46. |  1161   351   09jan2019   Wednesday     9        1   2019    2019w2    2019m1 |
 47. |  1159    50   14mar2018   Wednesday    14        3   2018   2018w11    2018m3 |
 48. |  1146    69   02apr2018      Monday     2        4   2018   2018w14    2018m4 |
 49. |  1138   153   25jun2018      Monday    25        6   2018   2018w26    2018m6 |
 50. |  1130    51   15mar2018    Thursday    15        3   2018   2018w11    2018m3 |
     |-------------------------------------------------------------------------------|

4) Intraday merits over days of week
- In medians of intraday merits, and GMT time, lowest days are Friday, Saturday and Sunday, at 542, 587 and 603 respectively.
- In means of intraday merits, and GMT time, lowest days are Friday, Saturday, and Thursday at 617, 623, and 670.
- The highest day in terms of means and medians are both Monday, at 657 and 748, respectively.
More details in the raw results below.

Code:
. tabstat merit, s(n mean sd p50 p25 p75 min max) format(%9.1f) by(dofw)

Summary for variables: merit
     by categories of: dofw

     dofw |         N      mean        sd       p50       p25       p75       min       max
----------+--------------------------------------------------------------------------------
   Sunday |      47.0     704.4     346.2     603.0     464.0     829.0     389.0    2463.0
   Monday |      48.0     747.1     311.0     656.5     535.0     853.0     312.0    1862.0
  Tuesday |      47.0     696.6     238.4     626.0     567.0     767.0     383.0    1326.0
Wednesday |      47.0     719.0     226.7     652.0     558.0     761.0     435.0    1268.0
 Thursday |      47.0     669.5     224.8     636.0     509.0     774.0     347.0    1333.0
   Friday |      47.0     616.6     239.5     542.0     463.0     733.0     348.0    1696.0
 Saturday |      47.0     622.3     224.8     587.0     460.0     695.0     316.0    1409.0
----------+--------------------------------------------------------------------------------
    Total |     330.0     682.4     264.4     618.5     513.0     773.0     312.0    2463.0
-------------------------------------------------------------------------------------------

Plots:
- Outliers displayed with red circles.

- Outliers non-displayed.