source: trunk/Puzzlebox/Synapse/Session.py @ 397

Last change on this file since 397 was 397, checked in by sc, 8 years ago
  • Updates for packet counter fix
File size: 20.2 KB
Line 
1# -*- coding: utf-8 -*-
2
3# Copyright Puzzlebox Productions, LLC (2010-2012)
4#
5# This code is released under the GNU Pulic License (GPL) version 2
6# For more information please refer to http://www.gnu.org/copyleft/gpl.html
7
8__changelog__ = """\
9Last Update: 2012.05.07
10"""
11
12__todo__ = """
13"""
14
15### IMPORTS ###
16import os, sys, time
17
18import Puzzlebox.Synapse.Configuration as configuration
19
20if configuration.ENABLE_PYSIDE:
21        try:
22                import PySide as PyQt4
23                from PySide import QtCore, QtGui
24        except Exception, e:
25                print "ERROR: [Synapse:Session] Exception importing PySide:",
26                print e
27                configuration.ENABLE_PYSIDE = False
28        else:
29                print "INFO: [Synapse:Session] Using PySide module"
30
31if not configuration.ENABLE_PYSIDE:
32        print "INFO: [Synapse:Session] Using PyQt4 module"
33        from PyQt4 import QtCore, QtGui
34
35
36try:
37        import cPickle as pickle
38except:
39        import pickle
40
41
42#####################################################################
43# Globals
44#####################################################################
45
46DEBUG = configuration.DEBUG
47
48DEFAULT_SIGNAL_LEVEL_MESSAGE = \
49        {"poorSignalLevel": 0}
50                # A quantifier of the quality of the brainwave signal.
51                # This is an integer value that is generally in the
52                # range of 0 to 200, with 0 indicating a
53                # good signal and 200 indicating an off-head state.
54
55DEFAULT_EEG_POWER_MESSAGE = \
56        {"eegPower": { \
57                'delta': 0, \
58                'theta': 0, \
59                'lowAlpha': 0, \
60                'highAlpha': 0, \
61                'lowBeta': 0, \
62                'highBeta': 0, \
63                'lowGamma': 0, \
64                'highGamma': 0, \
65                }, \
66        } # A container for the EEG powers. These may
67          # be either integer or floating-point values.
68          # Maximum values are undocumented but assumed to be 65535
69
70DEFAULT_ESENSE_MESSAGE = \
71        {"eSense": { \
72                'attention': 0, \
73                'meditation': 0, \
74                }, \
75        } # A container for the eSense™ attributes.
76          # These are integer values between 0 and 100,
77          # where 0 is perceived as a lack of that attribute
78          # and 100 is an excess of that attribute.
79
80DEFAULT_BLINK_MESSAGE = {"blinkStrength": 255}
81        # The strength of a detected blink. This is
82        # an integer in the range of 0-255.
83
84DEFAULT_RAWEEG_MESSAGE = {"rawEeg": 255}
85        # The raw data reading off the forehead sensor.
86        # This may be either an integer or a floating-point value.
87
88DEFAULT_PACKET = {}
89DEFAULT_PACKET.update(DEFAULT_EEG_POWER_MESSAGE)
90DEFAULT_PACKET.update(DEFAULT_SIGNAL_LEVEL_MESSAGE)
91DEFAULT_PACKET.update(DEFAULT_ESENSE_MESSAGE)
92
93PACKET_MINIMUM_TIME_DIFFERENCE_THRESHOLD = 0.75
94
95#####################################################################
96# Classes
97#####################################################################
98
99class puzzlebox_synapse_session(QtGui.QWidget):
100       
101        def __init__(self, log, \
102                     DEBUG=DEBUG, \
103                     parent=None, \
104                     ):
105               
106                self.log = log
107                self.DEBUG = DEBUG
108                self.parent=parent
109               
110                if self.parent == None:
111                        QtGui.QWidget.__init__(self, parent)
112                        #self.setupUi(self)
113               
114                        self.configureSettings()
115                        self.connectWidgets()
116               
117                self.name = "Synapse:Session"
118               
119               
120                if (sys.platform == 'win32'):
121                        self.homepath = os.path.join( \
122                           os.environ['HOMEDRIVE'], \
123                           os.environ['HOMEPATH'], \
124                           'Desktop')
125                elif (sys.platform == 'darwin'):
126                        desktop = os.path.join(os.environ['HOME'], 'Documents')
127                        if os.path.exists(desktop):
128                                self.homepath = desktop
129                        else:
130                                self.homepath = os.environ['HOME']
131                else:
132                        desktop = os.path.join(os.environ['HOME'], 'Desktop')
133                        if os.path.exists(desktop):
134                                self.homepath = desktop
135                        else:
136                                self.homepath = os.environ['HOME']
137               
138               
139                if not os.path.exists(self.homepath):
140                        if self.DEBUG:
141                                print "WARNING: [Synapse:Session] User default path not found"
142                        self.homepath = os.getcwd()
143       
144       
145        ##################################################################
146       
147        def configureSettings(self):
148               
149                pass
150       
151       
152        ##################################################################
153       
154        def connectWidgets(self):
155               
156                pass
157       
158       
159        ##################################################################
160       
161        def updateProfileSessionStatus(self, source=None, target=None):
162               
163                session_time = self.calculateSessionTime()
164               
165                #if source == None:
166                        #if self.parent == None:
167                                #source = self
168                        #else:
169                                #source = self.parent
170               
171                #if target == None:
172                        #if self.parent == None:
173                                #target = self
174                        #else:
175                                #target = self.parent
176               
177                #target.textLabelSessionTime.setText(session_time)
178                self.textLabelSessionTime.setText(session_time)
179               
180                        #self.parent.packet_count)
181                        #self.synapseServer.protocol.packet_count)
182               
183                try:
184                        packet_count = self.parent.plugin_eeg.getPacketCount()
185                except:
186                        try:
187                                packet_count = self.synapseServer.protocol.packet_count
188                        except:
189                                packet_count = 0
190               
191                self.textLabelPacketsReceived.setText( "%i" % packet_count)
192               
193               
194                try:
195                        bad_packets = self.parent.plugin_eeg.getBadPackets()
196                except:
197                        try:
198                                bad_packets = self.synapseServer.protocol.bad_packets
199                        except:
200                                bad_packets = 0
201               
202                self.textLabelPacketsDropped.setText( "%i" % bad_packets)
203       
204       
205        ##################################################################
206       
207        def calculateSessionTime(self):
208               
209                session_time = self.getSessionTime()
210               
211                session_time = time.time() - session_time
212                session_time = int(session_time)
213                session_time = self.convert_seconds_to_datetime(session_time)
214               
215                return (session_time)
216       
217       
218        ##################################################################
219       
220        def getSessionTime(self):
221               
222                return (self.synapseServer.session_start_timestamp)
223       
224       
225        ##################################################################
226       
227        def collectData(self, source=None, target=None):
228               
229                if source == None:
230                        if self.parent == None:
231                                source = self
232                        else:
233                                source = self.parent
234               
235                if target == None:
236                        if self.parent == None:
237                                target = self
238                        else:
239                                target = self.parent
240               
241                data = {}
242               
243                data['rawEeg'] = source.packets['rawEeg']
244                data['signals'] = source.packets['signals']
245               
246                data['sessionTime'] = self.calculateSessionTime()
247               
248                data['profileName'] = str(target.lineEditSessionProfile.text())
249               
250                return(data)
251       
252       
253        ##################################################################
254       
255        def parseTimeStamp(self, timestamp, local_version=False, truncate_time_zone=False):
256               
257                try:
258                        decimal = '%f' % timestamp
259                        decimal = decimal.split('.')[1]
260                except:
261                        decimal = '0'
262               
263                localtime = time.localtime(timestamp)
264               
265                if local_version:
266                        date = time.strftime('%x', localtime)
267                        localtime = time.strftime('%X', localtime)
268               
269                elif truncate_time_zone:
270                        date = time.strftime('%Y-%m-%d', localtime)
271                        localtime = time.strftime('%H:%M:%S', localtime)
272                        localtime = '%s.%s' % (localtime, decimal[:3])
273               
274                else:
275                        date = time.strftime('%Y-%m-%d', localtime)
276                        localtime = time.strftime('%H:%M:%S', localtime)
277                        localtime = '%s.%s %s' % (localtime, decimal, \
278                                       time.strftime('%Z', time.localtime(timestamp)))
279               
280               
281                return(date, localtime)
282       
283       
284        ##################################################################
285       
286        def saveData(self, source=None, target=None, output_file=None, use_default=False):
287               
288                if source == None:
289                        if self.parent == None:
290                                source = self
291                        else:
292                                source = self.parent
293               
294                if target == None:
295                        if self.parent == None:
296                                target = self
297                        else:
298                                target = self.parent
299               
300                data = self.collectData(source=source, target=target)
301               
302                (date, localtime) = self.parseTimeStamp(time.time())
303               
304                default_filename = '%s %s.synapse' % (date, \
305                                      target.lineEditSessionProfile.text())
306                                     
307                default_filename = os.path.join(self.homepath, default_filename)
308               
309                if output_file == None:
310                       
311                        # use_default controls whether or not a file is automatically saves using the
312                        # default name and path (as opposed to raising a GUI file selection menu)
313                        # whenever an explicit filepath is not defined
314                        if use_default:
315                                       
316                                        output_file = default_filename
317                       
318                        else:
319                       
320                                output_file = QtGui.QFileDialog.getSaveFileName(parent=target, \
321                                                 caption="Save Session Data to File", \
322                                                 dir=default_filename, \
323                                                 filter="Puzzlebox Synapse Data File (*.synapse)")
324                               
325                                try:
326                                        output_file = output_file[0]
327                                except:
328                                        output_file = ''
329               
330               
331                if output_file == '':
332                        return
333               
334                file = open(str(output_file), 'w')
335                pickle.dump(data, file)
336                file.close()
337       
338       
339        ##################################################################
340       
341        def exportData(self, parent=None, source=None, target=None, output_file=None, use_default=False):
342               
343                if parent == None:
344                        if self.parent == None:
345                                parent = self
346                        else:
347                                parent = self.parent
348               
349                if source == None:
350                        if self.parent == None:
351                                source = self
352                        else:
353                                source = self.parent
354               
355                if target == None:
356                        if self.parent == None:
357                                target = self
358                        else:
359                                target = self.parent
360               
361               
362                try:
363                        export_csv_raw = target.configuration.EXPORT_CSV_RAW_DATA
364                except:
365                        export_csv_raw = False
366               
367               
368                (date, localtime) = self.parseTimeStamp(time.time())
369               
370                default_filename = '%s %s.csv' % (date, \
371                                      target.lineEditSessionProfile.text())
372               
373                default_filename = os.path.join(target.homepath, default_filename)
374               
375               
376                if output_file == None:
377                       
378                        # use_default controls whether or not a file is automatically saves using the
379                        # default name and path (as opposed to raising a GUI file selection menu)
380                        # whenever an explicit filepath is not defined
381                        if use_default:
382                                       
383                                        output_file = default_filename
384                       
385                        else:
386                                output_file = QtGui.QFileDialog.getSaveFileName(parent=target, \
387                                                 caption="Export Session Data to File", \
388                                                 dir=default_filename, \
389                                                 filter="CSV File (*.csv);;Text File (*.txt)")
390                               
391                                try:
392                                        output_file = output_file[0]
393                                except:
394                                        output_file = ''
395               
396               
397                if output_file == '':
398                        return
399               
400               
401                if str(output_file).endswith('.csv'):
402                       
403                        outputData = self.exportDataToCSV(parent=parent, source=source, target=target)
404               
405               
406                else:
407                       
408                        try:
409                                outputData = self.textEditDebugConsole.toPlainText()
410                        except:
411                                outputData = self.exportDataToCSV()
412               
413               
414                file = open(str(output_file), 'w')
415                file.write(outputData)
416                file.close()
417               
418               
419                # if
420               
421                if export_csv_raw:
422                       
423                        output_file = output_file.replace('.csv', '-rawEeg.csv')
424                       
425                        outputData = self.exportRawDataToCSV(parent=parent, source=source, target=target)
426                       
427                       
428                        file = open(str(output_file), 'w')
429                        file.write(outputData)
430                        file.close()
431       
432       
433        ##################################################################
434       
435        def exportDataToCSV(self, parent=None, source=None, target=None):
436               
437                # handle importing class from multiple sources
438                if parent == None:
439                        if self.parent == None:
440                                parent = self
441                        else:
442                                parent = self.parent
443               
444                if source == None:
445                        if self.parent == None:
446                                source = self
447                        else:
448                                source = self.parent
449               
450                if target == None:
451                        if self.parent == None:
452                                target = self
453                        else:
454                                target = self.parent
455               
456                try:
457                        truncate_csv_timezone = target.configuration.EXPORT_CSV_TRUNCATE_TIMEZONE
458                except:
459                        truncate_csv_timezone = False
460               
461               
462                # NOTE: no need to scrub emulated data
463                try:
464                        scrub_data = target.configuration.EXPORT_CSV_SCRUB_DATA
465                except:
466                        scrub_data = False
467               
468                try:
469                        if self.parent.plugin_eeg.emulate_headset_data:
470                                scrub_data = False
471                except:
472                        pass
473               
474               
475                headers = 'Date,Time'
476               
477               
478                customDataHeaders = []
479                for header in parent.customDataHeaders:
480                        customDataHeaders.append(header)
481                for plugin in parent.activePlugins:
482                        print plugin.name
483                        for header in plugin.customDataHeaders:
484                                customDataHeaders.append(header)
485               
486                for each in customDataHeaders:
487                        headers = headers + ',%s' % each
488               
489                headers = headers + '\n'
490               
491               
492                csv = {}
493               
494                for packet in source.packets['signals']:
495                       
496                       
497                        # NOTE: Move this to ThinkGear Server object
498                        if 'rawEeg' in packet.keys():
499                                continue
500                       
501                       
502                        if packet['timestamp'] not in csv.keys():
503                               
504                                #if 'blinkStrength' in packet.keys():
505                                        ## Skip any blink packets from log
506                                        #continue
507                               
508                               
509                                timestamp = packet['timestamp']
510                                #(date, localtime) = self.parseTimeStamp(timestamp, \
511                                                    #truncate_time_zone=truncate_csv_timezone)
512                                (date, localtime) = source.parseTimeStamp(timestamp, \
513                                                    truncate_time_zone=truncate_csv_timezone)
514                               
515                                csv[timestamp] = {}
516                                csv[timestamp]['Date'] = date
517                                csv[timestamp]['Time'] = localtime
518                               
519                               
520                                for plugin in parent.activePlugins:
521                                        if plugin.customDataHeaders != []:
522                                                try:
523                                                        csv[timestamp] = plugin.processPacketForExport(output=csv[timestamp], packet=packet)
524                                                except Exception, e:
525                                                        if self.DEBUG:
526                                                                print "ERROR: [Synapse:Session] Exception calling processPacketForExport on",
527                                                                print plugin.name
528                       
529                       
530                        for header in customDataHeaders:
531                               
532                                #if header in packet.keys():
533                                        #csv[timestamp][header] = packet[header]
534                               
535                                if 'custom' in packet.keys() and \
536                                   header in packet['custom'].keys():
537                                        csv[timestamp][header] = packet['custom'][header]
538               
539               
540                if scrub_data:
541                        csv = self.scrubData(csv, truncate_csv_timezone, source=source)
542               
543               
544                output = headers
545               
546                timestamps = csv.keys()
547                timestamps.sort()
548               
549                for timestamp in timestamps:
550                       
551                        row = '%s,%s' % \
552                              (csv[timestamp]['Date'], \
553                               csv[timestamp]['Time'])
554                       
555                        for header in customDataHeaders:
556                                row = row + ',%s' % csv[timestamp][header]
557                       
558                        row = row + '\n'
559                       
560                        output = output + row
561               
562               
563                return(output)
564       
565       
566        ##################################################################
567       
568        def exportRawDataToCSV(self, parent=None, source=None, target=None):
569               
570                # handle importing class from multiple sources
571                if parent == None:
572                        if self.parent == None:
573                                parent = self
574                        else:
575                                parent = self.parent
576               
577                if source == None:
578                        if self.parent == None:
579                                source = self
580                        else:
581                                source = self.parent
582               
583                if target == None:
584                        if self.parent == None:
585                                target = self
586                        else:
587                                target = self.parent
588               
589               
590                headers = 'Date,Time,rawEeg'
591               
592                csv = {}
593               
594                for packet in source.packets['signals']:
595                       
596                        # NOTE: Move this to ThinkGear Server object
597                        if 'rawEeg' in packet.keys():
598                               
599                                if packet['timestamp'] not in csv.keys():
600                                       
601                                        timestamp = packet['timestamp']
602                                       
603                                        (date, localtime) = source.parseTimeStamp(timestamp, \
604                                                            truncate_time_zone=truncate_csv_timezone)
605                                       
606                                        csv[timestamp] = {}
607                                        csv[timestamp]['Date'] = date
608                                        csv[timestamp]['Time'] = localtime
609                                        csv[timestamp]['rawEeg'] = packet['rawEeg']
610               
611               
612                output = headers
613               
614                timestamps = csv.keys()
615                timestamps.sort()
616               
617                for timestamp in timestamps:
618                       
619                        row = '%s,%s,%s' % \
620                              (csv[timestamp]['Date'], \
621                               csv[timestamp]['Time'], \
622                               csv[timestamp]['rawEeg'])
623                       
624                        row = row + '\n'
625                       
626                        output = output + row
627               
628               
629                return(output)
630       
631       
632        #################################################################
633       
634        def scrubData(self, csv, truncate_csv_timezone=False, source=None):
635               
636                # If there are missing packets, repeat a given packet once per missing
637                # second until there is a gap between 1 and 2 seconds, in which case
638                # produce a final duplicate packet at the mid-point between the packets
639               
640                if self.DEBUG:
641                        print "INFO: Scrubbing Data"
642               
643                if source == None:
644                        if self.parent == None:
645                                source = self
646                        else:
647                                source = self.parent
648               
649                last_time = None
650                last_recorded_time = None
651               
652                output = {}
653               
654                csv_keys = csv.keys()
655                csv_keys.sort()
656               
657                for key in csv_keys:
658                       
659                        timestamp = key
660                       
661                        if last_time == None:
662                                # First entry in log
663                                last_time = timestamp
664                                last_recorded_time = timestamp
665                                #output[key] = csv[key]
666                                if key not in output.keys():
667                                        output[key] = DEFAULT_PACKET.copy()
668                                output[key].update(csv[key])
669                                continue
670                       
671                        else:
672                               
673                                #time_difference = timestamp - last_time
674                                #time_difference = timestamp - last_recorded_time
675                                time_difference = abs(timestamp - last_recorded_time)
676                               
677                                if (time_difference <= 1) and \
678                                   (time_difference >= PACKET_MINIMUM_TIME_DIFFERENCE_THRESHOLD):
679                                        # Skip packets within the correct time threshold
680                                        last_time = timestamp
681                                        last_recorded_time = timestamp
682                                        #output[key] = csv[key]
683                                        if key not in output.keys():
684                                                output[key] = DEFAULT_PACKET.copy()
685                                        output[key].update(csv[key])
686                                       
687                                        #print "<=1 and >=min"
688                                        continue
689                               
690                                else:
691                                       
692                                        if self.DEBUG > 1:
693                                                print "time_difference:",
694                                                print time_difference
695                                                print "timestamp:",
696                                                print source.parseTimeStamp(timestamp)[-1].split(' ')[0]
697                                                print "last_time:",
698                                                print source.parseTimeStamp(last_time)[-1].split(' ')[0]
699                                                print "last_recorded_time:",
700                                                print source.parseTimeStamp(last_recorded_time)[-1].split(' ')[0]
701                                       
702                                       
703                                        #new_packet = csv[key].copy()
704                                        if key not in output.keys():
705                                                new_packet = DEFAULT_PACKET.copy()
706                                        new_packet.update(csv[key])
707                                       
708                                        if time_difference >= 2:
709                                               
710                                                ##new_time = last_time + 1
711                                                #new_time = last_recorded_time + 1
712                                               
713                                                count = int(time_difference)
714                                                while count >= 1:
715                                                        #new_packet = csv[key].copy()
716                                                        if key not in output.keys():
717                                                                new_packet = DEFAULT_PACKET.copy()
718                                                        new_packet.update(csv[key])
719                                                       
720                                                        new_time = last_recorded_time + 1
721                                                        (date, formatted_new_time) = source.parseTimeStamp(new_time, \
722                                                         truncate_time_zone=truncate_csv_timezone)
723                                                        new_packet['Time'] = formatted_new_time
724                                                        last_recorded_time = new_time
725                                                        last_time = timestamp
726                                                        if key not in output.keys():
727                                                                output[new_time] = new_packet
728                                                        else:
729                                                                output[new_time].update(new_packet)
730                                                        count = count - 1
731                                                continue
732                                       
733                                                #print ">=2"
734                                       
735                                       
736                                        elif time_difference < PACKET_MINIMUM_TIME_DIFFERENCE_THRESHOLD:
737                                                # Spread out "bunched up" packets
738                                                #new_time = last_time + 1
739                                                new_time = last_recorded_time + 1
740                                                #new_time = last_recorded_time
741                                                #print "<min"
742                                       
743                                       
744                                        elif (time_difference < 2) and (time_difference > 1):
745                                               
746                                                #new_time = last_time + ((last_time - timestamp) / 2)
747                                                #new_time = last_recorded_time + ((last_recorded_time - timestamp) / 2)
748                                                #new_time = last_time + 1
749                                                #new_time = last_recorded_time + 1
750                                                new_time = last_recorded_time
751                                                #print "<2"
752                                       
753                                       
754                                        (date, formatted_new_time) = source.parseTimeStamp(new_time, \
755                                           truncate_time_zone=truncate_csv_timezone)
756                                       
757                                        new_packet['Time'] = formatted_new_time
758                                       
759                                        #last_time = new_time
760                                        last_recorded_time = new_time
761                                        #last_time = timestamp
762                                        last_time = new_time
763                                        try:
764                                                output[new_time].update(new_packet)
765                                        except Exception, e:
766                                                output[new_time] = new_packet
767                                                #print e
768                                       
769                                        if self.DEBUG > 1:
770                                                print "WARN: Scrubbing new packet:",
771                                                print new_packet
772                                                print
773               
774               
775                return(output)
776       
777       
778        ##################################################################
779       
780        def resetData(self, source=None):
781               
782                if source == None:
783                        if self.parent == None:
784                                source = self
785                        else:
786                                source = self.parent
787               
788                source.packets['rawEeg'] = []
789                source.packets['signals'] = []
790               
791                if self.synapseServer != None:
792                        self.synapseServer.protocol.resetSessionStartTime()
793                else:
794                        self.resetSessionStartTime()
795               
796                if self.synapseServer != None:
797                        source.synapseServer.protocol.packet_count = 0
798                        source.synapseServer.protocol.bad_packets = 0
799                else:
800                        source.packet_count = 0
801                        source.bad_packets = 0
802               
803                self.updateProfileSessionStatus()
804               
805                try:
806                        source.textEditDebugConsole.setText("")
807                except:
808                        pass
809       
810       
811        #####################################################################
812       
813        def resetSessionStartTime(self, source=None):
814               
815                self.session_start_timestamp = time.time()
816               
817               
818        #####################################################################
819       
820        def convert_seconds_to_datetime(self, duration):
821               
822                duration_hours = duration / (60 * 60)
823                duration_minutes = (duration - (duration_hours * (60 * 60))) / 60
824                duration_seconds = (duration - (duration_hours * (60 * 60)) - (duration_minutes * 60))
825               
826                duration_hours = '%i' % duration_hours
827                if (len(duration_hours) == 1):
828                        duration_hours = "0%s" % duration_hours
829               
830                duration_minutes = '%i' % duration_minutes
831                if (len(duration_minutes) == 1):
832                        duration_minutes = "0%s" % duration_minutes
833               
834                duration_seconds = '%i' % duration_seconds
835                if (len(duration_seconds) == 1):
836                        duration_seconds = "0%s" % duration_seconds
837               
838                datetime = '%s:%s:%s' % (duration_hours, duration_minutes, duration_seconds)
839               
840                return(datetime)
841
Note: See TracBrowser for help on using the repository browser.